Technische Samenvatting: AffectVerse: Emotionele Wereldmodellen voor Multimodale Affectieve Computatie

1. Probleemstelling

Huidige Multimodale Grote Taalmodellen (MLLM's) behandelen emotieherkenning doorgaans als een statische patroonherkenningsopdracht over volledige audiovisuele-tekstinput. Dit paradigma faalt in het vastleggen van de temporele dynamiek van affect, zoals escalatie, herstel of cross-modale conflicten, en reduceert complexe emotionele processen tot statische momentopnames. Waar mensen emoties afleiden door waargenomen aanwijzingen te integreren met voorspellingen over hoe affectieve toestanden zich kunnen ontwikkelen, ontbreekt bestaande MLLM's een mechanisme om deze "voorspellende overtuigingsstaten" onder gedeeltelijke waarnemingen te modelleren. Het artikel identificeert een kloof tussen statische multimodale herkenning en de temporeel zich ontwikkelende aard van menselijke affectieve inferentie.

2. Methodologie

De auteurs stellen AffectVerse voor, een model gebaseerd op Qwen2.5-Omni dat een Emotiewereldmodule (EWM) integreert. In tegenstelling tot traditionele wereldmodellen die in versterkingslering worden gebruikt en toekomstige toestanden voorspellen op basis van acties en beloningen, hanteert AffectVerse een actie-vrije formulering die specifiek is ontworpen voor affectieve inferentie. De EWM werkt volgens het principe van predictieve verwerking, waarbij het model latente toekomstige audiovisuele representaties voorspelt op basis van waargenomen voorvoegsels om de overtuigingsstaat van de LLM bij te werken.

De EWM bestaat uit drie kerncomponenten:

2.1 Cross-Modale Temporele Imaginatie

Gebaseerd op theorieën van predictieve verwerking en multisensorische integratie, voorspelt deze module toekomstige video- en audiorepresentaties uit verleden tokens.

• Mechanisme: Het maakt gebruik van een multi-stap rollout-proces ($S=3$) met leerbare toekomstige query-tokens ($N_s=8$).
• Cross-Modale Context: De imaginatie-tak van elke modality let op zowel zijn eigen verleden tokens als de verleden tokens van de andere modality, onderscheiden door leerbare tag-embeddings ($e_{self}, e_{cross}$).
• Trainingsignaal: De module wordt getraind via een zelftoezicht-objectief waarbij de voorspelde toekomstige tokens worden vergeleken met de daadwerkelijke toekomstige tokens (losgekoppeld van de hoofdgradiëntstroom) met een combinatie van MSE- en Cosine-afstandverliezen. Dit dwingt het model om overgangsregulariteiten te leren zonder toekomstige data te vereisen tijdens de inferentie.

2.2 MAMA (Modality-Aware Multi-step Attention) Overtuigingsaggregatie

Geïnspireerd door het Component Process Model van Scherer, aggregeert deze module de multi-stap geimagineerde tokens tot compacte "overheidstokens".

• Proces: Het assembleert geimagineerde video- en audiotoekens in een geheugenbank, onderscheiden door type-embeddings.
• Dynamische Capaciteit: Het aantal overtuigingsquery-tokens ($N_q$) past zich aan de beschikbare modaliteiten aan (8 voor dual-modality, 4 voor single-modality).
• Randinjectie: Om context op het temporele splitsingspunt te behouden, worden de geaggregeerde overtuigingstokens verrijkt met een residuale injectie van de laatste waargenomen "grenstokens" ($v_b, a_b$) uit het verleden.

2.3 Overtuigingsinjectie

De resulterende compacte overtuigingstokens worden geprojecteerd terug naar de verborgen dimensie van de LLM en ingevoegd in de tokensequentie op twee specifieke posities:

1. Direct na de laatste audiovisuele token (om tekstcodering te verrijken met affectieve context).
2. Direct voor het antwoordgebied (om een "emotionele prior" te bieden voor responsgeneratie).
   Deze strategie zorgt ervoor dat de LLM zowel tijdens het redeneren kan letten op waargenomen bewijs als op geimagineerde affectieve voortzettingen.

2.4 Trainingsstrategie

• Temporele Splitsing: Tijdens training wordt een willekeurige behoudsverhouding $\kappa \sim \text{Uniform}[0.7, 1.0)$ toegepast om toekomstige tokens te verkorten, wat gedeeltelijke waarnemingen simuleert.
• Modality Dropout: Een modality wordt willekeurig verwijderd met een waarschijnlijkheid $p=0.15$ om de robuustheid tegen ontbrekende sensorische bewijzen te verbeteren.
• Objectieven: Het model wordt end-to-end getraind met twee verliezen: Taalmodelverlies ($L_{lm}$) voor taakprestatie en Imaginatieverlies ($L_{imagine}$) voor predictieve representatieleren, gebalanceerd met $\lambda_{img}=1.0$.

3. Belangrijkste Bijdragen

1. Actievrij Wereldmodel voor Affect: Een nieuwe aanpassing van predictieve representatieleren in de stijl van wereldmodellen voor affectieve computatie, waarbij de noodzaak voor acties, beloningen of controlebeleid wordt verwijderd.
2. Emotiewereldmodule (EWM): Een specifieke architectuur bestaande uit Cross-Modale Temporele Imaginatie, MAMA Overtuigingsaggregatie en Overtuigingsinjectie die MLLM's in staat stelt te redeneren over latente affectieve dynamiek.
3. Modelleren van Predictieve Overtuigingsstaten: Het aantonen dat het formuleren van emotiebegrip als predictieve overtuigingsstaten-modellering onder gedeeltelijke waarnemingen superieure prestaties oplevert ten opzichte van statische fusiebenaderingen.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over negen benchmarks (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+) die consistente verbeteringen tonen.

4. Experimentele Resultaten

AffectVerse werd geëvalueerd op negen benchmarks onder drie modaliteitsinstellingen (Audio+Tekst, Video+Tekst, Audio+Video+Tekst).

• Hoofdresultaten: In de volledige Audio+Video+Tekst-instelling behaalde AffectVerse een gemiddelde score van 77,34%, wat de sterke Qwen2.5-Omni-baseline (74,76%) en AffectGPT (74,77%) met +2,57% overtrof. Het behaalde de eerste plaats op 8 van de 9 benchmarks.
• Robuustheid: Het model toonde een soepele degradatie onder temporele verkorting (variërend $\kappa$) en ontbrekende modaliteiten. Opmerkelijk is dat matige temporele verkorting tijdens training fungeerde als een regularisator, wat soms de prestaties verbeterde boven volledige waarnemingstraining op specifieke datasets (bijv. CMU-MOSI).
• Ablatiestudies:
  • Temporele Voorspelling: Het alleen toevoegen van temporele splitsing verbeterde de baseline met +0,87%.
  • Cross-Modale Imaginatie: Dit leverde de grootste enkele winst op (+1,00% boven temporele splitsing), wat het belang onderstreept van het benutten van complementaire cross-modale aanwijzingen.
  • Overheidsconstructie: De MAMA-aggregatie, ingevoegde injectie en residuale randinjectie droegen additieve winsten bij, wat de noodzaak van de volledige EWM-pijplijn bevestigt.
  • Hyperparameters: Optimale prestaties werden gevonden bij $S=3$ rollout-stappen en een modality-dropout-waarschijnlijkheid van $p=0.15$.

5. Betekenis en Beweringen

Het artikel beweert dat predictieve overtuigingsstaten-modellering een praktische en effectief alternatief is voor affectieve computatie. Door emotie niet te behandelen als een vaste perceptuele categorie maar als een temporeel zich ontwikkelend proces dat wordt gevormd door predictieve inferentie, stelt AffectVerse modellen in staat hun begrip bij te werken naarmate nieuw bewijs arriveert, en zo tijdelijke aanwijzingen te scheiden van definitieve affectieve staten.

De auteurs positioneren dit werk als een brug tussen affectieve wetenschap (specifiek predictieve verwerking en beoordelingstheorieën) en multimodale deep learning. Zij stellen dat hun "actie-vrije" wereldmodule succesvol overgangsaanwijzingen codeert die voorspellend zijn voor daaropvolgende affectieve verandering, waardoor robuustere en dynamischere emotieherkenning mogelijk wordt zonder onzichtbare signalen te vereisen tijdens de inferentie.

Erkende Beperkingen:
De auteurs merken op dat de huidige evaluatie rust op vaste rollout- en behoudsverhoudings-hyperparameters. De robuustheidsanalyse richt zich op modaliteit en temporele gedeeltelijke waarnemingen in plaats van bredere domeinverschuivingen (bijv. ruis, accent, onderwerpwisselingen). Toekomstig werk wordt voorgesteld om predictieve overtuigingsmodelleren uit te breiden tot sterkere alignering, domeinverschuivings-evaluatie en emotie-tracking op dialoogniveau.