💻 computer science

AffectVerse: Emotional World Models for Multimodal Affective Computing

AffectVerse ist ein multimodales großes Sprachmodell, das das emotionale Schlussfolgern verbessert, indem es ein Emotion World Module integriert, um kurzfristige latente affektive Vorhersagen durch cross-modale zeitliche Imagination und Glaubensaggregation durchzuführen, wodurch affektive Dynamiken erfasst und eine überlegene Leistung über neun Benchmarks hinweg erreicht wird.

Ursprüngliche Autoren: Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen sich eine Fernsehsendung mit einer Jobinterview-Situation an. Der Kandidat beginnt zu sprechen, und seine Stimme beginnt nur ganz leicht zu zittern. Sein Lächeln wirkt etwas zu straff, wie eine Maske. Ein Mensch, der dies beobachtet, wartet nicht ab, bis der Satz zu Ende ist, um zu erraten, wie sich die Person fühlt. Stattdessen startet unser Gehirn sofort eine „Was-wäre-wenn"-Simulation: „Wenn sie so weiterreden, werden sie zusammenbrechen? Oder sind sie nur nervös?" Wir aktualisieren unsere Vermutung (unseren „Glauben") in Echtzeit, sobald neue Hinweise eintreffen.

Aktuelle Computermodelle zur Emotionserkennung sind ein wenig wie ein Fotograf, der erst ein Foto macht, nachdem das Ereignis vorbei ist. Sie betrachten das gesamte Video, Audio und den Text und sagen dann: „Okay, das war traurig." Sie verpassen den dynamischen Prozess, wie sich die Emotion aufgebaut hat.

Dieser Artikel stellt AffectVerse vor, ein neues KI-Modell, das versucht, mehr wie ein menschlicher Beobachter zu denken. Anstatt nur zu betrachten, was passiert ist, lernt es, vorherzusagen, was als Nächstes passieren wird, basierend auf dem, was es bisher gesehen hat.

So funktioniert es, aufgeteilt in einfache Schritte:

1. Die Kernidee: Das „Emotion World Module"

Stellen Sie sich das Gehirn der KI als eine spezielle „Imaginationsmaschine" vor, die Emotion World Module (EWM) genannt wird. Während Standard-KI-Modelle nur die Vergangenheit lesen, erledigt diese Maschine drei Dinge:

Schritt 1: Der Zeitreisende (Cross-Modal Temporal Imagination)
Stellen Sie sich vor, Sie schauen einen Film, und der Bildschirm wird für eine Sekunde schwarz. Ein Mensch könnte erraten, was als Nächstes passiert, basierend auf der Musik und dem Gesicht des Schauspielers. AffectVerse macht dies mathematisch. Es betrachtet das Video und Audio, die es bisher gesehen hat, und versucht vorherzusagen, wie das Video und Audio aussehen würden, ein paar Sekunden später. Es sieht die Zukunft nicht tatsächlich; es erstellt eine „Geister"-Version der Zukunft, um sein Verständnis zu testen.
- Die Analogie: Es ist wie ein Schachspieler, der drei Züge vorausdenkt. Er spielt die Züge noch nicht, simuliert sie aber, um den Fluss des Spiels zu verstehen.
Schritt 2: Der Zusammenfasser (MAMA Belief Aggregation)
Die KI hat nun diese „Geister"-Zukunftsklippets generiert. Aber sie kann nicht einen ganzen Film zurück in ihr Gehirn einspeisen. Also verwendet sie einen intelligenten Filter namens MAMA, um all diese imaginierten Zukunftsmomente in einige wenige „Glaubens-Token" zu komprimieren.
- Die Analogie: Denken Sie daran wie einen Nachrichtensprecher, der eine aktuelle Story zusammenfasst. Anstatt das ganze Skript vorzulesen, geben sie Ihnen die „Überschrift" dessen, was als Nächstes wahrscheinlich passieren wird. Diese Überschriften sind die „Glaubenssätze".
Schritt 3: Die Injektion (Belief Injection)
Schließlich nimmt die KI diese „Glaubens-Überschriften" und fügt sie wieder in ihr Hauptgespräch ein. Jetzt, wenn die KI entscheidet, welche Emotion die Person fühlt, schaut sie nicht nur auf die Vergangenheit; sie berücksichtigt auch ihre eigene Vorhersage der Zukunft.
- Die Analogie: Es ist wie ein Detektiv, der nicht nur den Tatort betrachtet (die Vergangenheit), sondern auch eine Ahnung hat, wer der Täter wahrscheinlich sein wird (die zukünftige Glaubensvorhersage). Diese Ahnung hilft ihm, den Fall schneller und genauer zu lösen.

2. Wie es lernt (Das Training)

Das Modell wird mit einem cleveren Trick trainiert. Es wird ein Videoclip gezeigt, aber der Bildschirm wird früh abgeschnitten (wie eine „spoiler-freie" Version).

Die KI muss erraten, wie der Rest des Videos klingt und aussieht.
Wenn sie richtig rät, erhält sie eine Belohnung.
Dies zwingt die KI, die Muster zu lernen, wie sich Emotionen über die Zeit verändern (z. B. wie sich ein Lächeln in eine Stirnrunzelung verwandelt oder wie eine ruhige Stimme zu zittern beginnt).

Sobald es diese Fähigkeit zur „Zukunftsvorhersage" erlernt hat, muss der Bildschirm nicht mehr abgeschnitten werden. Wenn es ein vollständiges Video betrachtet, nutzt es dieselbe Fähigkeit, um ein stärkeres und genaueres Verständnis der Emotion aufzubauen.

3. Die Ergebnisse

Die Forscher haben AffectVerse an neun verschiedenen Datensätzen getestet (Sammlungen von Videos mit Audio und Text).

Das Ergebnis: AffectVerse schnitt deutlich besser ab als andere Top-Modelle (wie AffectGPT und Qwen2.5-Omni) (im Durchschnitt etwa 2,5 % bis 5 % besser).
Warum es wichtig ist: Der Artikel zeigt, dass die KI, indem sie lernt, die nächsten paar Sekunden einer Interaktion zu „imaginieren", viel besser darin wird, komplexe, sich verändernde Emotionen zu verstehen. Sie kommt mit Situationen, in denen Audio oder Video fehlen oder abgeschnitten sind, viel besser zurecht als Modelle, die nur statische Schnappschüsse betrachten.

Zusammenfassung

Kurz gesagt ist AffectVerse eine KI, die nicht nur die Gegenwart betrachtet; sie simuliert ständig die unmittelbare Zukunft. Indem sie „imaginiert", wie sich eine Emotion entwickeln könnte, baut sie einen robusteren „Glauben" darüber auf, was die Person fühlt, was zu einer intelligenteren und genaueren Emotionserkennung führt. Sie verwandelt die Emotionserkennung von einem statischen Foto in einen dynamischen Film.

Technische Zusammenfassung: AffectVerse: Emotionale Weltmodelle für multimodale affektive Computierung

1. Problemstellung

Aktuelle multimodale Large Language Models (MLLMs) behandeln Emotionserkennung typischerweise als statische Mustererkennungsaufgabe über vollständige audiovisuelle-textuelle Eingaben. Dieses Paradigma erfasst die zeitlichen Dynamiken von Affekten, wie Eskalation, Erholung oder konfliktäre Wechselwirkungen zwischen Modalitäten, nicht und reduziert komplexe emotionale Prozesse auf statische Momentaufnahmen. Während Menschen Emotionen ableiten, indem sie beobachtete Hinweise mit Vorhersagen darüber integrieren, wie sich affektive Zustände entwickeln könnten, fehlt bestehenden MLLMs ein Mechanismus, um diese „vorhersagenden Glaubenszustände" unter teilweisen Beobachtungen zu modellieren. Die Arbeit identifiziert eine Lücke zwischen statischer multimodaler Erkennung und der zeitlich sich entfaltenden Natur menschlicher affektiver Inferenz.

2. Methodik

Die Autoren schlagen AffectVerse vor, ein Modell, das auf Qwen2.5-Omni aufbaut und ein Emotion World Module (EWM) integriert. Im Gegensatz zu traditionellen Weltmodellen im Reinforcement Learning, die zukünftige Zustände basierend auf Aktionen und Belohnungen vorhersagen, verwendet AffectVerse eine aktionsfreie Formulierung, die speziell für affektive Inferenz entwickelt wurde. Das EWM operiert nach dem Prinzip der prädiktiven Verarbeitung, wobei das Modell latente zukünftige audiovisuelle Repräsentationen aus beobachteten Präfixen vorhersagt, um den Glaubenszustand des LLM zu aktualisieren.

Das EWM besteht aus drei Kernkomponenten:

2.1 Cross-Modal Temporal Imagination (Kreuzmodale zeitliche Imagination)

Verankert in Theorien der prädiktiven Verarbeitung und multisensorischen Integration, sagt dieses Modul zukünftige Video- und Audio-Repräsentationen aus vergangenen Tokens voraus.

Mechanismus: Es nutzt einen mehrstufigen Rollout-Prozess ( $S=3$ ) mit lernbaren zukünftigen Query-Tokens ( $N_s=8$ ).
Kreuzmodaler Kontext: Jeder Imaginationzweig einer Modalität achtet sowohl auf ihre eigenen vergangenen Tokens als auch auf die vergangenen Tokens der anderen Modalität, unterschieden durch lernbare Tag-Embeddings ( $e_{self}, e_{cross}$ ).
Trainingsignal: Das Modul wird durch ein selbstüberwachtes Ziel trainiert, bei dem die vorhergesagten zukünftigen Tokens mit den tatsächlichen zukünftigen Tokens (getrennt vom Hauptgradientenfluss) unter Verwendung einer Kombination aus MSE- und Kosinus-Ähnlichkeitsverlusten verglichen werden. Dies zwingt das Modell, Übergangsregularitäten zu lernen, ohne zukünftige Daten zur Inferenzzeit zu benötigen.

2.2 MAMA (Modality-Aware Multi-step Attention) Belief Aggregation (Modality-bewusste mehrstufige Aufmerksamkeits-Glaubensaggregation)

Inspiriert vom Component Process Model von Scherer, fasst dieses Modul die mehrstufig imaginierten Tokens zu kompakten „Glaubens-Tokens" zusammen.

Prozess: Es fügt imaginierte Video- und Audio-Tokens zu einer Speicherbank zusammen, unterschieden durch Typ-Embeddings.
Dynamische Kapazität: Die Anzahl der Glaubens-Query-Tokens ( $N_q$ ) passt sich den verfügbaren Modalitäten an (8 für Dual-Modalität, 4 für Single-Modalität).
Boundary Injection: Um den Kontext am zeitlichen Trennpunkt zu bewahren, werden die aggregierten Glaubens-Tokens um eine residuale Injektion der letzten beobachteten „Boundary-Tokens" ( $v_b, a_b$ ) aus der Vergangenheit erweitert.

2.3 Belief Injection (Glaubens-Injektion)

Die resultierenden kompakten Glaubens-Tokens werden zurück in die verborgene Dimension des LLM projiziert und an zwei spezifischen Positionen in die Token-Sequenz eingefügt:

Unmittelbar nach dem letzten audiovisuellen Token (zur Anreicherung der Textkodierung mit affektivem Kontext).
Unmittelbar vor dem Antwortbereich (zur Bereitstellung eines „emotionalen Priors" für die Antwortgenerierung).
Diese Strategie stellt sicher, dass das LLM sowohl während der Inferenz als auch während der Argumentation beobachtete Beweise als auch imaginierte affektive Fortsetzungen beachten kann.

2.4 Trainingsstrategie

Zeitliche Aufteilung: Während des Trainings wird ein zufälliger Keep-Verhältnis $\kappa \sim \text{Uniform}[0.7, 1.0)$ angewendet, um zukünftige Tokens zu truncieren und teilweise Beobachtungen zu simulieren.
Modality Dropout: Eine Modalität wird mit einer Wahrscheinlichkeit von $p=0.15$ zufällig entfernt, um die Robustheit gegenüber fehlenden sensorischen Beweisen zu verbessern.
Ziele: Das Modell wird End-to-End mit zwei Verlustfunktionen trainiert: Language Modeling Loss ( $L_{lm}$ ) für die Aufgabenleistung und Imagination Loss ( $L_{imagine}$ ) für das Lernen prädiktiver Repräsentationen, ausgeglichen mit $\lambda_{img}=1.0$ .

3. Hauptbeiträge

Aktionsfreies Weltmodell für Affekte: Eine neuartige Anpassung des prädiktiven Repräsentationslernens im Stil von Weltmodellen an die affektive Computierung, die das Bedürfnis nach Aktionen, Belohnungen oder Kontrollpolitiken beseitigt.
Emotion World Module (EWM): Eine spezifische Architektur, bestehend aus Kreuzmodaler zeitlicher Imagination, MAMA-Glaubensaggregation und Glaubens-Injektion, die es MLLMs ermöglicht, über latente affektive Dynamiken zu reasoning.
Modellierung prädiktiver Glaubenszustände: Der Nachweis, dass die Formulierung des Emotionsverständnisses als Modellierung prädiktiver Glaubenszustände unter teilweisen Beobachtungen im Vergleich zu statischen Fusionsansätzen überlegene Leistung erzielt.
Umfassende Evaluation: Umfangreiche Experimente über neun Benchmarks (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+), die konsistente Verbesserungen zeigen.

4. Experimentelle Ergebnisse

AffectVerse wurde unter drei Modalitätseinstellungen (Audio+Text, Video+Text, Audio+Video+Text) auf neun Benchmarks evaluiert.

Hauptergebnisse: In der vollständigen Audio+Video+Text-Einstellung erreichte AffectVerse einen Durchschnittswert von 77,34 % und übertraf damit die starke Qwen2.5-Omni-Baseline (74,76 %) und AffectGPT (74,77 %) um +2,57 %. Es belegte bei 8 von 9 Benchmarks den ersten Platz.
Robustheit: Das Modell zeigte eine graceful Degradation unter zeitlicher Truncierung (variierendes $\kappa$ ) und fehlenden Modalitäten. Bemerkenswerterweise wirkte moderate zeitliche Truncierung während des Trainings als Regularisierer und verbesserte die Leistung in bestimmten Datensätzen (z. B. CMU-MOSI) manchmal gegenüber dem Training mit vollständiger Beobachtung.
Ablationsstudien:
- Zeitliche Vorhersage: Die alleinige Hinzufügung der zeitlichen Aufteilung verbesserte die Baseline um +0,87 %.
- Kreuzmodale Imagination: Dies lieferte den größten einzelnen Gewinn (+1,00 % gegenüber der zeitlichen Aufteilung) und unterstreicht die Bedeutung der Nutzung komplementärer kreuzmodaler Hinweise.
- Glaubenskonstruktion: Die MAMA-Aggregation, die interleaved Injektion und die residuale Boundary-Injektion trugen additive Gewinne bei und bestätigten die Notwendigkeit der vollständigen EWM-Pipeline.
- Hyperparameter: Die optimale Leistung wurde bei $S=3$ Rollout-Schritten und einer Modality-Dropout-Wahrscheinlichkeit von $p=0.15$ festgestellt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Modellierung prädiktiver Glaubenszustände eine praktische und effektive Alternative für die affektive Computierung darstellt. Indem Emotion nicht als feste perceptuelle Kategorie, sondern als zeitlich sich entfaltender Prozess behandelt wird, der durch prädiktive Inferenz geformt wird, ermöglicht AffectVerse Modellen, ihr Verständnis zu aktualisieren, sobald neue Beweise eintreffen, und trennt transiente Hinweise von finalen affektiven Zuständen.

Die Autoren positionieren diese Arbeit als Brücke zwischen affektiver Wissenschaft (insbesondere prädiktiver Verarbeitung und Bewertungs-Theorien) und multimodalem Deep Learning. Sie behaupten, dass ihr „aktionsfreies" Weltmodul erfolgreich Übergangshinweise kodiert, die für nachfolgende affektive Veränderungen prädiktiv sind, und damit eine robustere und dynamischere Emotionserkennung ermöglicht, ohne zur Inferenzzeit unsichtbare Signale zu benötigen.

Anerkannte Einschränkungen:
Die Autoren stellen fest, dass die aktuelle Evaluation auf festen Rollout- und Keep-Ratio-Hyperparametern beruht. Die Robustheitsanalyse konzentriert sich auf Modalitäts- und zeitliche teilweise Beobachtungen und nicht auf breitere Domänenverschiebungen (z. B. Rauschen, Akzent, Themenwechsel). Als zukünftige Arbeit wird vorgeschlagen, die Modellierung prädiktiver Glaubenszustände auf stärkere Ausrichtung, Domänenverschiebungs-Evaluation und Emotionsverfolgung auf Dialogebene zu erweitern.