💻 computer science

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

Dieses Paper präsentiert ein multimodales Framework zur Erkennung von Ambivalenz und Zögern in Videos, welches Text-, Audio- und visuelle Merkmale mittels bidirektionaler Cross-Attention und einer Gated Multimodal Unit fusioniert, um einen Macro-F1-Score von 0,7394 zu erreichen, womit die sowohl unimodalen Baselines als auch Zero-Shot-Modelle bei der ABAW11-Challenge auf der ECCV 2026 signifikant übertroffen werden.

Ursprüngliche Autoren: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Veröffentlicht 2026-07-20

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du versuchst zu erraten, wie sich ein Freund fühlt, indem du ihn einfach nur beobachtest. Manchmal ist es einfach: ein breites Lächeln bedeutet glücklich, ein Stirnrunzeln bedeutet traurig. Aber was ist mit jenen kniffligen Momenten, in denen jemand hin- und hergerissen ist? Vielleicht sagt jemand „Mir geht es gut“, während die Stimme zittrig klingt und das Gesicht so aussieht, als stünde die Person kurz vor dem Weinen. Dieses verwirrende Gemisch aus Gefühlen wird Ambivalenz oder Zögern genannt. Es ist dieser interne Tauziehkampf zwischen dem Wunsch, etwas zu tun, und der Angst, es zu tun. Wissenschaftler, die Computer und menschliches Verhalten untersuchen (ein Feld namens Affective Computing), versuchen, Maschinen beizubringen, diese subtilen, gemischten Signale zu erkennen. Sie wissen, dass es oft nicht ausreicht, nur einen einzigen Hinweis zu betrachten – wie etwa nur auf die Stimme zu hören oder nur das Gesicht zu beobachten. Um einen Menschen wirklich zu verstehen, muss ein Computer wie ein super-schlauer Detektiv agieren, der Wörter, Tonfall und Mimik gleichzeitig zusammensetzt, um das Rätsel zu lösen, was jemand wirklich fühlt.

In dieser Arbeit haben Forscher namens Oussama, Yassine und Larbi beschlossen, genau dieses Rätsel zu lösen, indem sie einen Super-Detektiv-Computer bauten. Sie nahmen an einem Wettbewerb namens ABAW11 teil, bei dem es darum ging, Ambivalenz und Zögern in Videoaufnahmen zu erkennen. Sie begannen damit, drei verschiedene „Sinne“ einzeln zu testen: ein Gehirn, das Texttranskripte liest, ein Gehirn, das Audio hört, und ein Gehirn, das Gesichtsvideos betrachtet. Sie fanden heraus, dass der Textleser der beste Einzeldetektiv war und etwa 66,6 % der Antworten richtig löste (gemessen an einem Wert namens Macro F1). Der Audio-Hörer lag dicht dahinter mit 62,8 %, und der Video-Beobachter war mit 57,3 % etwas schwächer. Interessanterweise testeten sie eine berühmte „Zero-Shot“-KI (eine, die nicht speziell für diese Daten trainiert wurde), und diese erreichte nur 28,3 %, was bewies, dass man seine KI wirklich spezifisch für diese schwierige Aufgabe trainieren muss.

Aber die wahre Magie geschah, als sie aufhörten, die Detektive alleine arbeiten zu lassen, und sie stattdessen als Team arbeiten ließen. Die Forscher bauten ein spezielles System, in dem die Text-, Audio- und Video-Gehirne miteinander kommunizieren konnten. Sie verwendeten eine Technik namens Cross-Attention, was so ist, als würde man jedem Detektiv ein Walkie-Talkie geben, um die anderen zu fragen: „Hey, ich sehe hier eine zittrige Stimme, sieht dein Gesicht einen nervösen Ausdruck?“ und „Ich sehe ein zögerliches Wort, hört dein Audio eine Pause?“ Dies ermöglichte es ihnen, Widersprüche zu entdecken, wie etwa wenn jemand „Ja“ sagt, aber unsicher klingt. Sie fügten auch eine Gated Multimodal Unit hinzu, die wie ein kluger Manager fungiert. Wenn ein Detektiv ein verschwommenes Gesicht sieht oder schlechtes Audio hört, kann der Manager sagen: „Ignoriere dieses verrauschte Signal für einen Moment, lass uns uns stattdessen auf den klaren Text konzentrieren.“

Nachdem sie dieses Team mit einem intelligenten Suchwerkzeug namens Optuna trainiert hatten, um die perfekten Einstellungen zu finden, waren die Ergebnisse beeindruckend. Das Team aus drei Kräften, die zusammenarbeiteten, erreichte 73,9 % in ihrem Test, was eine Verbesserung von 11,0 % gegenüber dem besten Einzeldetektiv darstellt. Dies deutet darauf an, dass die Computer, indem sie die verschiedenen Sinne gegenseitig überprüfen lassen, die subtilen, widersprüchlichen Hinweise, die Ambivalenz ausmachen, viel besser erfassen können, als es ein einzelner Sinn allein könnte. Die Forscher sind zuversichtlich, dass diese Methode der expliziten Teamarbeit zwischen Text, Ton und Video der Schlüssel zur Entschlüsselung dieser schwierigen menschlichen Emotionen ist, und sie haben ihren Code öffentlich zugänglich gemacht, damit auch andere ihn ausprobieren können.

Technische Zusammenfassung: Erkennung von multimodaler Ambivalenz und Zögern mittels Cross-Attention und Gated Fusion

Problemdefinition
Diese Arbeit befasst sich mit der Herausforderung der automatischen Erkennung von Ambivalenz und Zögern (Ambivalence and Hesitancy, A/H) in Videoaufnahmen, einer Aufgabe, die zentral für die ABAW11-Challenge bei der ECCV 2026 ist. A/H stellt einen subtilen affektiven Zustand dar, bei dem ein Individuum widersprüchliche Emotionen oder Motivationen erlebt, was häufig zu Verzögerungen bei Verhaltensänderungen führt. Die Herausforderung besteht darin, dass A/H durch komplexe, teils widersprüchliche Signale über mehrere Modalitäten hinweg manifestiert wird: lexikalische Abschwächungen (Hedging) in Transkripten, prosodische Variationen in der Audio-Spur und Mikroexpressionen im Gesichtsvideo. Die Autoren nutzen den BAH-Datensatz, der .1427 Videoaufnahmen mit binären Labels zur Anwesenheit oder Abwesenheit von A/H enthält, um eine Lösung zu entwickeln, die über eine einfache unimodale Analyse oder naive Fusion hinausgeht.

Methodik
Der vorgeschlagene Ansatz ist eine strukturierte Pipeline, die aus Merkmalsextraktion, Etablierung unimodaler Baselines und einer neuartigen multimodalen Fusionsarchitektur besteht.

Merkmalsextraktion: Um die feingliedrige zeitliche Dynamik zu bewahren, verzichten die Autoren während der Extraktion auf globales Pooling. Stattdessen extrahieren sie vollständige Sequenz-Token-Repräsentationen unter Verwendung von drei hochmodernen, vortrainierten Encodern:
- Text: F2LLM-v2-0.6B (basierend auf Qwen3-0.6B) verarbeitet Transkripte und behält die vollständige last_hidden_state-Sequenz ( $N_t \times 1024$ ) bei.
- Audio: WavLM-Large verarbeitet 16 kHz Mono-Audio und extrahiert die vollständige zeitliche Sequenz ( $N_a \times 1024$ ), um prosodische Nuancen zu erfassen.
- Visuell: VideoMAE V2 (Base) verarbeitet ausgerichtete Gesichtsbilder (256x256). Die Videos werden in 16-Frame-Chunks unterteilt, und die Patch-Level-Token-Sequenzen werden konkateniert, um den spatio-temporalen Kontext zu bewahren ( $N_v \times 768$ ).
Unimodale Baselines: Vor der Fusion etablieren die Autoren robuste Baselines, indem sie klassische Klassifikatoren (MLP, Random Forest und GBDT) unabhängig für jede Modalität trainieren. Diese Modelle werden mittels Optuna (100 Versuche pro Klassifikator) unter Verwendung von Macro F1 als Metrik optimiert.
Multimodale Fusionsarchitektur: Der Kernbeitrag ist ein Fusionsmodell, das bidirektionale Cross-Attention und eine Gated Multimodal Unit (GMU) kombiniert:
- Projektion & Positional Encoding: Variabel lange Sequenzen aus allen Modalitäten werden linear auf eine gemeinsame Embedding-Dimension ( $d_{model}$ ) projiziert und mit sinusförmigen Positional Encodings ergänzt.
- Bidirektionale Cross-Attention: Ein MultimodalCrossAttention-Modul implementiert sechs gerichtete Attention-Stacks (z. B. Text achtet auf Audio, Audio auf Video usw.). Dies ermöglicht es jeder Modalität, die Repräsentationen der anderen abzufragen und darauf zu achten, wodurch Mehrdeutigkeiten durch die Nutzung komplementärer Signale aufgelöst werden.
- Pooling: Kontextualisierte Token-Sequenzen werden durch eine konfigurierbare Pooling-Strategie (Mittelwert, Maximum oder gelernte Attention) zu einzelnen Vektoren reduziert.
- Gated Fusion (GMU): Die gepoolten Vektoren werden konkateniert und von einer GMU verarbeitet. Diese Einheit berechnet einen Kontextvektor, um ein Sigmoid-Gate für jede Modalität zu generieren, welches den Beitrag jedes Streams dynamisch skaliert. Dieser Mechanismus ermöglicht es dem Modell, verrauschte oder nicht informative Modalitäten (z. B. verdeckte Gesichter) für spezifische Instanzen zu unterdrücken.
- Klassifikation: Die finale fusionierte Repräsentation durchläuft ein MLP, um eine binäre Vorhersage auszugeben.

Zentrale Beiträge

Umfassende unimodale Benchmarks: Die Arbeit etabliert starke unimodale Baselines unter Verwendung spezifischer Konfigurationen von F2LLM, WavLM und VideoMAE und zeigt damit, dass domänenspezifisches Training die Zero-Shot-Baselines deutlich übertrifft.
Systematische Klassifikatorevaluierung: Eine vergleichende Analyse von MLP, Random Forest und GBDT über die Modalitäten hinweg, optimiert durch Optuna.
Neuartige Fusionsarchitektur: Die Integration von bidirektionaler Cross-Attention mit einer Gated Multimodal Unit, die speziell durch eine 50-Versuche-starke Optuna-Suche auf intra- und intermodale Interaktionen abgestimmt wurde.
Reproduzierbare Pipeline: Ein modulares, Open-Source-Framework, das variabel lange Token-Sequenzen durch die gesamte Pipeline hindurch beibehält und somit zukünftige Erweiterungen zu Cross-Attention oder multimodalen LLMs erleichtert.

Ergebnisse

Unimodale Leistung: Textmerkmale erwiesen sich isoliert betrachtet als am diskriminativsten, wobei ein Random Forest Klassifikator einen Macro F1 von 0,6659 auf dem Testset erreichte. Dies übertraf den Zero-Shot Video-LLaVA Baseline (Macro F1: 0,2827) deutlich. Audio- und visuelle Modalitäten folgten mit Macro F1-Werten von 0,6275 bzw. 0,5727.
Multimodale Leistung: Das vorgeschlagene Cross-Attention + GMU Modell erreichte einen Macro F1 von 0,7394 auf dem Validierungsset. Dies entspricht einer relativen Verbesserung von 11,0 % gegenüber der besten unimodalen Baseline und einem signifikanten Gewinn gegenüber der Zero-Shot-Baseline.
Hyperparameter-Optimierung: Die beste Konfiguration nutzte eine gemeinsame Embedding-Dimension von 256, einen einzelnen Attention-Head, zwei Cross-Attention-Layer pro Modalitätspaar und Mean-Pooling.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Ergebnisse die Hypothese bestätigen, dass explizite cross-modale Interaktion essenziell für die Erkennung von A/H ist. Der Leistungszuwachs gegenüber unimodalen Modellen deutet darauf hin, dass A/H über komplementäre Signale verfügt, die durch keine einzelne Modalität isoliert erfasst werden können. Darüber hinaus zeigt die Fehleranalyse, dass unimodale Modelle (insbesondere Text) zwar sensitiv auf Marker reagieren, aber dazu neigen, bei neutralen Merkmalen zu oft auszulösen; die multimodale Architektur hilft dabei, die Entscheidungsgrenze durch die Nutzung orthogonaler Signale aus Audio- und visuellen Streams zu verfeinern.

Die Arbeit positioniert ihren Ansatz als einen fundierten Schritt nach vorn in der affektiven Computertechnik und demonstriert, dass die Modellierung von Interaktionen innerhalb und zwischen Modalitäten überlegene Ergebnisse liefert im Vergleich zu naivem Late-Fusion oder der Abhängigkeit von einzelnen Modalitäten. Während die Leistung (0,7394) die Ergebnisse des ABAW10-Gewinner-Systems BROTHER annähert, merken die Autoren an, dass ein direkter Vergleich aufgrund von Unterschieden in den Datensatzversionen und Challenge-Editionen vorsichtig zu betrachten ist. Die Arbeit schließt mit dem Hinweis, dass zukünftige Verbesserungen in reichhaltigerer zeitlicher Modellierung, Personalisierung und effizientem Parameter-Tuning von multimodalen LLMs liegen könnten.

Mehr davon