Résumé Technique : VISAFF

Énoncé du Problème

La Reconnaissance des Émotions dans la Conversation (ERC) vise à identifier l'état émotionnel des locuteurs dans des dialogues à tours multiples. Bien que les premières méthodes basées sur le texte soient simples, elles échouent dans des scénarios complexes (par exemple, l'ironie) en négligeant des informations non verbales vitales comme les expressions faciales et les gestes corporels. Les approches récentes utilisant des Modèles Vision-Langage (VLM) tentent d'analyser directement la vidéo mais se heurtent à trois limitations critiques :

1. Manque de Concentration sur le Locuteur : Les VLM généraux ne sont pas intrinsèquement adaptés à l'ERC ; ils se concentrent souvent sur des régions visuellement saillantes mais émotionnellement non pertinentes (par exemple, l'arrière-plan, les auditeurs passifs) plutôt que sur le locuteur actif.
2. Coût Computationsnel : Le fine-tuning de grands VLM ou l'utilisation d'une adaptation efficace en paramètres (par exemple, LoRA) pour l'ERC entraîne des coûts computationnels prohibitifs et nécessite d'importantes ressources annotées.
3. Ambiguïté Visuelle : Les signaux visuels isolés sont fréquemment ambigus ou techniquement compromis (par exemple, flou de mouvement) sans le contexte du contenu linguistique et de la prosodie vocale. Un sourire, par exemple, peut ne pas indiquer le bonheur sans le contexte conversationnel.

L'article aborde deux défis fondamentaux : (1) Comment débloquer les capacités de raisonnement ERC latentes des VLM figés en utilisant une approche sans réglage pour se concentrer sur les indices émotionnels du locuteur actif ; et (2) Comment concevoir un mécanisme adaptatif pour exploiter dynamiquement les modalités textuelles et acoustiques afin de compenser l'incertitude visuelle.

Méthodologie : VISAFF

Les auteurs proposent VISAFF (Apprentissage de caractéristiques affectives VISuelles centré sur le locuteur), un cadre en deux étapes qui fonctionne sans fine-tuning du VLM sous-jacent.

Étape 1 : Ancrage Affectif Centrée sur le Locuteur (SCAG)

Cette étape utilise un VLM figé comme extracteur de caractéristiques à l'inférence en zéro-shot. Pour guider efficacement le VLM sans entraînement, les auteurs introduisent deux groupes d'entrées :

• Entrées VLM Guidées par Prompt (PGVI) : Cela inclut des trames vidéo échantillonnées ($F_i$), une image de référence du locuteur cible ($R_i$) servant de contrainte de localisation, et un prompt de tâche ($P_{task,i}$) qui instruit explicitement le modèle à effectuer une analyse affective centrée sur le locuteur plutôt qu'une description générique de la scène.
• Entrées de Guidance Sémantique Affective (ASGI) : Pour fournir le contexte émotionnel nécessaire que les trames isolées ne possèdent pas, cette entrée concatène des prompts dérivés du contexte du dialogue ($P_{ctx}$), des descriptions audio ($P_{aud}$) et des priors lexicaux Valence-Éveil-Dominance (VAD) ($P_{vad}$).

Le VLM figé traite ces entrées combinées pour extraire des caractéristiques visuelles affectives centrées sur le locuteur ($v_i$). Aucun gradient n'est rétropropagé vers les paramètres du VLM.

Étape 2 : Complément Affectif Guidé par la Fiabilité (RGAC)

Reconnaissant que les indices visuels peuvent être peu fiables, cette étape intègre de manière adaptative les modalités textuelles et acoustiques en fonction de la fiabilité visuelle.

• Récupération Inter-Modale Guidée par la Vision : Les caractéristiques textuelles (RoBERTa) et acoustiques (emotion2vec) sont projetées dans un espace partagé. En utilisant la caractéristique visuelle comme requête, le modèle récupère des références affectives textuelles et acoustiques ($\tilde{h}_i^{(m)}$) via une attention croisée. Celles-ci sont traitées comme des références externes pour interpréter les indices visuels, et non comme des modalités dominantes indépendantes.
• Complément Résiduel à Portes Guidé par la Fiabilité : Un score de fiabilité visuelle ($c_i$) est calculé (via un classificateur visuel auxiliaire). Le modèle calcule un complément résiduel ($\Delta_i$) représentant l'écart entre les références externes récupérées et l'état visuel actuel. La représentation visuelle finale est mise à jour comme suit :
  $$h_i^{(v)*} = h_i^{(v)} + (1 - c_i)\Delta_i$$
  Lorsque les indices visuels sont fiables ($c_i \approx 1$), le complément externe est supprimé. Lorsque les indices visuels sont incertains ($c_i \approx 0$), les références textuelles et acoustiques fournissent une compensation plus forte.
• Prédiction : La représentation visuelle complétée est concaténée avec les références textuelles et audio récupérées pour la classification finale des émotions.

Objectifs d'Entraînement

Le cadre est optimisé en utilisant trois pertes :

1. Perte de Classification ($L_{cls}$) : Supervise la prédiction finale de l'émotion.
2. Perte Visuelle Auxiliaire ($L_{aux}$) : Supervise un classificateur uniquement vidéo pour stabiliser le score de fiabilité visuelle et préserver la capacité discriminative de la branche visuelle.
3. Perte d'Alignement Sémantique ($L_{cl}$) : Régularise l'espace de caractéristiques multimodales en utilisant InfoNCE et l'apprentissage contrastif supervisé avant l'interaction inter-modale.

L'article fournit une borne théorique d'erreur de généralisation (Théorème 1) soutenant la conception guidée par la fiabilité, montrant que la borne supérieure se resserre lorsque la confiance visuelle est négativement corrélée à la perte visuelle et positivement corrélée à l'utilité des modalités externes.

Contributions Clés

1. Cadre VISAFF : Un cadre d'apprentissage de caractéristiques visuelles affectives centré sur le locuteur qui active les VLM figés pour le raisonnement visuel sans fine-tuning spécifique à l'ERC, réduisant considérablement la surcharge computationnelle.
2. Mécanisme SCAG : Une méthode d'ancrage en zéro-shot utilisant des Entrées VLM Guidées par Prompt et une Guidance Sémantique Affective pour orienter les VLM figés vers les indices visuels émotionnels du locuteur actif.
3. Mécanisme RGAC : Un module de complément affectif guidé par la fiabilité qui intègre de manière adaptative les informations textuelles et acoustiques pour compenser l'incertitude visuelle, contrôlé par une porte de fiabilité visuelle apprise.
4. Validation Empirique : Des expériences extensives sur deux jeux de données réels (MELD et IEMOCAP) démontrant des performances compétitives par rapport aux méthodes de l'état de l'art, y compris celles utilisant des grands modèles fine-tunés.

Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données MELD et IEMOCAP en utilisant Qwen3-VL-Embedding comme colonne vertébrale figée.

• Performance : VISAFF a obtenu les meilleurs scores F1 pondérés (W-F1) parmi les méthodes ERC traditionnelles et les méthodes basées sur de grands modèles qui n'utilisent ni fine-tuning ni adaptation LoRA.
  • IEMOCAP : 77,30 % W-F1 (contre 63,78 % pour DialogueLLM sans LoRA).
  • MELD : 67,12 % W-F1 (contre 64,42 % pour DialogueLLM sans LoRA).
• Études d'Ablation :
  • La suppression de SCAG (alimentation de trames brutes au VLM) a entraîné une baisse significative des performances, confirmant la nécessité de l'ancrage du locuteur et de la guidance sémantique.
  • La suppression de RGAC a conduit à un déclin net, validant l'importance du complément guidé par la fiabilité.
  • L'analyse des composants a montré que les références textuelles et acoustiques, ainsi que la porte de fiabilité, contribuent positivement à la prédiction finale.
• Analyse de Fiabilité : Le cadre a montré les gains de performance les plus significatifs dans les bins visuels à faible confiance (par exemple, +24,1 % de gain sur IEMOCAP pour le bin de confiance 0,2–0,4), démontrant que le modèle exploite efficacement le texte/l'audio lorsque les indices visuels sont ambigus.

Signification et Revendications

L'article revendique que VISAFF fournit un cadre hautement efficace pour le raisonnement multimodal dans des scénarios de dialogue dynamiques. Sa signification principale réside dans la démonstration que :

1. Les VLM figés sont viables pour l'ERC : Avec un ancrage guidé par la tâche et un prompting sémantique appropriés, les VLM figés peuvent extraire des caractéristiques visuelles affectives de haute qualité centrées sur le locuteur sans le coût prohibitif du fine-tuning.
2. La Concentration Centrée sur le Locuteur est Critique : Guider explicitement le modèle vers le locuteur actif et ses indices émotionnels, plutôt que de s'appuyer sur des caractéristiques vidéo globales, est essentiel pour une ERC précise.
3. La Fiabilité Contextuelle Compte : Les signaux visuels sont intrinsèquement ambigus ; un mécanisme conscient de la fiabilité qui complète dynamiquement l'incertitude visuelle avec un contexte linguistique et acoustique améliore considérablement la robustesse.

Les auteurs positionnent ce travail comme une perspective orientée vers la vision pour l'ERC, encourageant les recherches futures sur le raisonnement visuel centré sur le locuteur et le complément multimodal conscient de la fiabilité.