Technische Samenvatting: VISAFF

Probleemstelling

Emotieherkenning in gesprekken (ERC) heeft tot doel de emotionele toestand van sprekers in meer-draai-dialogen te identificeren. Hoewel vroege tekstgebaseerde methoden rechttoe rechtaan zijn, falen ze in complexe scenario's (bijvoorbeeld sarcasme) door vitale niet-verbale informatie zoals gezichtsuitdrukkingen en lichaamsgesten te negeren. Recentere benaderingen die Vision-Language Modellen (VLM's) gebruiken, proberen video direct te analyseren, maar stuiten op drie kritieke beperkingen:

1. Gebrek aan Sprekerfocus: Algemene VLM's zijn niet inherent op ERC toegesneden; ze richten zich vaak op visueel opvallende maar emotioneel irrelevante gebieden (bijvoorbeeld achtergrond, passieve luisteraars) in plaats van op de actieve spreker.
2. Berekeningskosten: Het fijnafstemmen van grote VLM's of het gebruik van parameter-efficiënte aanpassing (bijvoorbeeld LoRA) voor ERC brengt verbodsbepalende berekeningskosten met zich mee en vereist uitgebreide geannoteerde bronnen.
3. Visuele Ambiguïteit: Geïsoleerde visuele signalen zijn vaak ambigu of technisch aangetast (bijvoorbeeld bewegingsonscherpte) zonder de context van linguïstische inhoud en vocale prosodie. Een glimlach bijvoorbeeld, geeft niet per se geluk aan zonder gesprekscontext.

Het artikel adresseert twee kernuitdagingen: (1) Hoe de latente ERC-resonantievermogens van bevroren VLM's te ontsluiten met een instel-vrije aanpak om zich te richten op de emotionele aanwijzingen van de actieve spreker; en (2) Hoe een adaptief mechanisme te ontwerpen om tekstuele en akoestische modaliteiten dynamisch te benutten om visuele onzekerheid te compenseren.

Methodologie: VISAFF

De auteurs stellen VISAFF (Speaker-Centered VISual AFFective feature learning) voor, een tweefasenframework dat werkt zonder het onderliggende VLM te fijnafstemmen.

Fase 1: Spreker-gecentreerde Affectieve Verankering (SCAG)

Deze fase maakt gebruik van een bevroren VLM als zero-shot feature-extractor tijdens de inferentie. Om het VLM effectief te sturen zonder training, introduceren de auteurs twee inputgroepen:

• Prompt-Gestuurde VLM-inputs (PGVI): Dit omvat bemonsterde videoframes ($F_i$), een referentieafbeelding van de doel spreker ($R_i$) als localisatiebeperking, en een taakprompt ($P_{task,i}$) die het model expliciet instrueert om spreker-gecentreerde affectieve analyse uit te voeren in plaats van een generieke sceneschets.
• Affectieve Semantische Gids-inputs (ASGI): Om de nodige emotionele context te bieden die geïsoleerde frames missen, voegt deze input prompts samen die zijn afgeleid van dialogcontext ($P_{ctx}$), audiobeschrijvingen ($P_{aud}$) en lexicaal Valentie-Arousal-Dominantie (VAD) priors ($P_{vad}$).

Het bevroren VLM verwerkt deze gecombineerde inputs om spreker-gecentreerde visuele affectieve features ($v_i$) te extraheren. Er worden geen gradiënten teruggepropageerd naar de VLM-parameters.

Fase 2: Betrouwbaarheidsgeleide Affectieve Complementatie (RGAC)

Omdat visuele aanwijzingen onbetrouwbaar kunnen zijn, integreert deze fase tekstuele en akoestische modaliteiten adaptief op basis van visuele betrouwbaarheid.

• Visueel-Gestuurde Cross-Modal Retrieval: Tekstuele (RoBERTa) en akoestische (emotion2vec) features worden geprojecteerd in een gedeelde ruimte. Met het visuele kenmerk als query, haalt het model tekstuele en akoestische affectieve referenties ($\tilde{h}_i^{(m)}$) op via cross-attention. Deze worden behandeld als externe referenties om visuele aanwijzingen te interpreteren, niet als onafhankelijke dominante modaliteiten.
• Betrouwbaarheids-Gesloten Residuele Complementatie: Een visuele betrouwbaarheidsscore ($c_i$) wordt berekend (via een aanvullende visuele classifier). Het model berekent een residu complement ($\Delta_i$) dat de discrepantie vertegenwoordigt tussen de opgehaalde externe referenties en de huidige visuele staat. De uiteindelijke visuele representatie wordt bijgewerkt als:
  $$h_i^{(v)*} = h_i^{(v)} + (1 - c_i)\Delta_i$$
  Wanneer visuele aanwijzingen betrouwbaar zijn ($c_i \approx 1$), wordt het externe complement onderdrukt. Wanneer visuele aanwijzingen onzeker zijn ($c_i \approx 0$), bieden tekstuele en akoestische referenties sterkere compensatie.
• Voorspelling: Het aangevulde visuele representatie wordt gecombineerd met de opgehaalde tekst- en audio-referenties voor de uiteindelijke emotieclassificatie.

Trainingsdoelen

Het framework wordt geoptimaliseerd met drie verliezen:

1. Classificatieverlies ($L_{cls}$): Superviseert de uiteindelijke emotievoorspelling.
2. Aanvullend Visueel Verlies ($L_{aux}$): Superviseert een video-only classifier om de visuele betrouwbaarheidsscore te stabiliseren en het onderscheidend vermogen van de visuele tak te behouden.
3. Semantische Uitlijningsverlies ($L_{cl}$): Regulariseert de multimodale feature-ruimte met InfoNCE en supervised contrastive learning voordat cross-modale interactie plaatsvindt.

Het artikel biedt een theoretische generalisatiefoutgrens (Stelling 1) die het betrouwbaarheidsgeleide ontwerp ondersteunt, waarbij wordt aangetoond dat de bovengrens strakker wordt wanneer visuele vertrouwen negatief gecorreleerd is met visueel verlies en positief gecorreleerd met het nut van externe modaliteiten.

Kernbijdragen

1. VISAFF Framework: Een spreker-gecentreerd framework voor visuele affectieve feature learning dat bevroren VLM's activeert voor visuele redenering zonder ERC-specifieke fijnafstemming, wat de rekenkundige overhead aanzienlijk verlaagt.
2. SCAG Mechanisme: Een zero-shot verankeringsmethode met Prompt-Gestuurde VLM-inputs en Affectieve Semantische Gids om bevroren VLM's te sturen naar de emotionele visuele aanwijzingen van de actieve spreker.
3. RGAC Mechanisme: Een betrouwbaarheidsgeleide module voor affectieve complementatie die tekstuele en akoestische informatie adaptief integreert om visuele onzekerheid te compenseren, gecontroleerd door een geleerde visuele betrouwbaarheidsschakelaar.
4. Empirische Validatie: Uitgebreide experimenten op twee real-world datasets (MELD en IEMOCAP) die concurrerende prestaties tonen ten opzichte van state-of-the-art methoden, inclusief die welke fijnafgestemde grote modellen gebruiken.

Experimentele Resultaten

Experimenten werden uitgevoerd op de MELD en IEMOCAP datasets met Qwen3-VL-Embedding als bevroren backbone.

• Prestaties: VISAFF behaalde de beste Weighted F1 (W-F1) scores onder traditionele ERC-methoden en methoden op basis van grote modellen die geen fijnafstemming of LoRA-aanpassing gebruiken.
  • IEMOCAP: 77,30% W-F1 (vs. 63,78% voor DialogueLLM zonder LoRA).
  • MELD: 67,12% W-F1 (vs. 64,42% voor DialogueLLM zonder LoRA).
• Ablatiestudies:
  • Het verwijderen van SCAG (het voeden van ruwe frames naar het VLM) veroorzaakte een significante daling in prestaties, wat de noodzaak bevestigt van spreker-verankering en semantische gids.
  • Het verwijderen van RGAC leidde tot een duidelijke achteruitgang, wat het belang van betrouwbaarheidsgeleide complementatie valideert.
  • Componentanalyse toonde aan dat zowel tekstuele als akoestische referenties, evenals de betrouwbaarheidsschakelaar, positief bijdragen aan de uiteindelijke voorspelling.
• Betrouwbaarheidsanalyse: Het framework toonde de meest significante prestatiewinsten in visuele bins met lage vertrouwen (bijvoorbeeld +24,1% winst op IEMOCAP voor de 0,2–0,4 vertrouwen bin), wat aantoont dat het model effectief gebruikmaakt van tekst/audio wanneer visuele aanwijzingen ambigu zijn.

Betekenis en Claims

Het artikel beweert dat VISAFF een zeer efficiënt framework biedt voor multimodale redenering in dynamische dialogscenario's. De primaire betekenis ligt in het aantonen dat:

1. Bevroren VLM's levensvatbaar zijn voor ERC: Met de juiste taakgeleide verankering en semantische prompting kunnen bevroren VLM's hoogwaardige spreker-gecentreerde visuele affectieve features extraheren zonder de verbodsbepalende kosten van fijnafstemming.
2. Spreker-gecentreerde Focus is Kritiek: Het expliciet sturen van het model naar de actieve spreker en hun emotionele aanwijzingen, in plaats van te vertrouwen op globale video-features, is essentieel voor accurate ERC.
3. Contextuele Betrouwbaarheid is Belangrijk: Visuele signalen zijn inherent ambigu; een betrouwbaarheidsbewust mechanisme dat visuele onzekerheid dynamisch aanvult met linguïstische en akoestische context, verbetert de robuustheid aanzienlijk.

De auteurs positioneren dit werk als een visueel-georiënteerd perspectief voor ERC, en moedigen toekomstig onderzoek aan naar spreker-gecentreerde visuele redenering en betrouwbaarheidsbewuste multimodale complementatie.