💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

Diese Arbeit stellt ein multimodales System für den BLEMORE-Challenge vor, das durch die späte Fusion von sechs Encoder-Familien – darunter erstmals Gemini Embedding 2.0 – und spezifische Anpassungen wie das Einfrieren von Wav2Vec2-Schichten eine Rangplatzierung 6 mit einem Score von 0,279 erreicht.

Ursprüngliche Autoren: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Veröffentlicht 2026-03-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Schauspieler in einem Film. Er ist nicht nur traurig oder nicht nur wütend. Er ist wütend und gleichzeitig verängstigt. Vielleicht ist die Wut 70 % stark und die Angst 30 %. Oder es ist eine Mischung aus 50/50. Das ist das Problem, das dieses Papier löst: Wie erkennt ein Computer nicht nur dass jemand eine Emotion hat, sondern auch wie stark die verschiedenen Gefühle gemischt sind?

Die Forscher der Universität Zürich haben für einen Wettbewerb namens "BLEMORE" ein System gebaut, das wie ein Super-Team aus Detektiven funktioniert. Hier ist die Erklärung, wie das Ganze funktioniert, ohne komplizierte Fachbegriffe:

1. Das Team: Sechs Experten mit unterschiedlichen Brillen

Statt einen einzigen riesigen Roboter zu bauen, haben die Forscher sechs verschiedene "Experten" zusammengestellt, die sich alle das gleiche Video ansehen, aber durch unterschiedliche Linsen schauen:

Der Gesichts-Experte (S4D-ViTMoE): Dieser schaut nur auf das Gesicht. Er ist wie ein Spezialist, der gelernt hat, winzige Muskelzuckungen zu lesen. Wichtig: Er wurde so trainiert, dass er versteht, wenn Emotionen "gemischt" sind, nicht nur wenn sie rein sind.
Der Körper-Experte (TimeSformer & VideoMAE): Diese beiden schauen nicht auf das Gesicht, sondern auf den ganzen Körper. Wenn jemand wütend ist, ballt er vielleicht die Fäuste oder stampft mit dem Fuß. Diese Experten fangen diese Gesten auf, die das Gesicht vielleicht nicht zeigt.
Der Audio-Experte (Wav2Vec2): Dieser hört nur zu. Aber hier gibt es einen Trick: Die Schauspieler sprechen keine Wörter, sondern machen Geräusche wie Seufzen, Lachen oder Stöhnen. Der Computer hat gelernt, dass die oberen Schichten eines normalen Sprachmodells für Wörter zuständig sind (die hier nutzlos sind), aber die mittleren Schichten (6 bis 12) perfekt die Stimmung und den Rhythmus der Stimme einfangen. Es ist, als würde man einen Übersetzer fragen, der nur die Melodie der Stimme versteht, nicht den Text.
Der "Allwissende" (Gemini Embedding 2.0): Das ist der neueste Star im Team. Es ist ein riesiges KI-Modell, das normalerweise für alles Mögliche trainiert wurde. Die Forscher haben es getestet, ob es Emotionen aus nur 2 Sekunden Video erkennen kann. Das ist wie ein Blitzlichtgewitter: Der Computer sieht nur einen kurzen Schnappschuss, versteht aber sofort die Stimmung. Das war bisher noch nie bei Emotionen gemacht worden!
Die Basis-Experten: Dazu kommen noch einige andere vorgefertigte Modelle, die als Sicherheitsnetz dienen.

2. Die Abstimmung: Wie das Team entscheidet

Jeder dieser Experten gibt eine Wahrscheinlichkeit ab (z. B. "Ich bin zu 80 % sicher, dass es Wut ist").
Jetzt kommt der Moderator ins Spiel (die "Late Fusion"). Er nimmt alle Meinungen, wägt sie ab und rechnet einen Durchschnittswert.

Der "Allwissende" (Gemini) bekam das größte Vertrauen und hatte den größten Einfluss auf die Entscheidung.
Die Experten für den Körper und das Gesicht haben ebenfalls stark mitgewogen.

3. Das große Problem: Der "Schwellenwert" (Die Ziehung der Linie)

Hier wird es spannend und ein bisschen frustrierend für die Forscher.
Am Ende muss das System eine harte Entscheidung treffen: "Ist die Angst da oder nicht?" und "Ist sie 70 % oder 30 % stark?". Dazu müssen sie eine unsichtbare Linie ziehen (einen Schwellenwert).

Die Entdeckung: Die Forscher stellten fest, dass diese Linie für jeden Schauspieler anders sein muss!

Bei Person A reicht ein kleiner Anstieg der Wahrscheinlichkeit, um eine Emotion zu erkennen.
Bei Person B muss die Wahrscheinlichkeit viel höher sein, weil sie sich anders ausdrückt.

Das ist, als ob Sie versuchen würden, einen Schalter zu finden, der bei jedem Menschen anders funktioniert. Wenn Sie den Schalter für Person A auf "An" stellen, geht er bei Person B vielleicht aus. Das ist der Hauptgrund, warum Computer bei solchen gemischten Emotionen noch nicht perfekt sind: Jeder Mensch drückt Gefühle auf seine ganz eigene Art aus.

4. Das Ergebnis

Am Ende landete ihr Team auf Platz 6 beim Wettbewerb.

Sie haben gezeigt, dass man bei kleinen Datensätzen (wenige Schauspieler) oft besser damit fährt, bereits trainierte Teile eines Modells zu nutzen (wie die mittleren Schichten des Audio-Modells), statt das ganze Modell neu zu lernen. Das ist wie ein Koch, der eine gute Basis-Sauce nimmt und sie nur leicht würzt, statt alles von Grund auf neu zu kochen.
Sie haben bewiesen, dass riesige KI-Modelle (wie Gemini) Emotionen auch aus sehr kurzen Videos (nur 2 Sekunden!) sehr gut verstehen können.

Zusammenfassung in einem Satz

Die Forscher haben ein Team aus verschiedenen KI-Experten zusammengestellt, die Gesicht, Körper und Stimme analysieren, um gemischte Gefühle zu erkennen, und dabei herausgefunden, dass die größte Hürde nicht die Rechenkraft ist, sondern dass jeder Mensch Gefühle so individuell ausdrückt, dass es keine "einen" Maßstab für alle gibt.

1. Problemstellung

Das Paper adressiert die Herausforderung der Erkennung von gemischten Emotionen (Blended Emotions) mit einer Vorhersage der relativen Salienz (Bedeutung/Gewichtung) der einzelnen Emotionen. Im Gegensatz zu klassischen Aufgaben, bei denen nur eine dominante Emotion erkannt wird, müssen Systeme hier mehrere Emotionen gleichzeitig identifizieren und deren relative Gewichtung (z. B. 70 % Wut / 30 % Angst) bestimmen.

Die Evaluation erfolgt auf dem BLEMORE-Datensatz, der 3.050 Videoclips von 58 Schauspielern enthält. Die Bewertungsmetrik „Score" setzt sich aus zwei Komponenten zusammen:

ACCP (Presence): Genauigkeit bei der Erkennung, welche Emotionen vorhanden sind.
ACCS (Salience): Genauigkeit bei der Vorhersage der relativen Gewichtung der Emotionen.
Score: $0.5 \cdot ACCP + 0.5 \cdot ACCS$ .

Ein zentrales Problem ist die Diskretisierung der kontinuierlichen Modellausgaben durch Schwellenwerte ( $\alpha$ für das Vorhandensein, $\beta$ für die Salienz), was zu einer starken Abhängigkeit von den individuellen Ausdrucksstilen der Schauspieler führt.

2. Methodik

Das vorgestellte System ist ein multimodaler Ensemble-Ansatz, der sechs verschiedene Encoder-Familien kombiniert, deren Wahrscheinlichkeitsausgaben durch eine späte Fusion (Late Probability Fusion) zusammengeführt werden.

A. Visuelle Encoder (Gesicht und Körper)

S4D-ViTMoE (Gesicht): Ein auf dem S4D-Framework basierender Video-Transformer, der für die Erkennung gemischter Emotionen adaptiert wurde.
- Anpassungen: Gesichtsausschnitte (Face Crops) werden verwendet, um die Verteilung des Pre-Trainings (VoxCeleb2) beizubehalten. Statt Cross-Entropy wird KL-Divergenz mit Soft-Labels verwendet, um die genauen Mischungsverhältnisse (z. B. 0.7/0.3) während des Trainings zu erhalten.
- Training: Nur die Adapter-Layer und der Klassifikationskopf werden feinabgestimmt (Fine-Tuning), der Backbone bleibt teilweise eingefroren.
Körpersprache-Encoder (TimeSformer & VideoMAE): Zwei separate Transformer-Modelle, die auf Vollbildern (ohne Gesichtsausschnitt) trainiert werden, um Gesten und Körperhaltung zu erfassen, die bei gemischten Emotionen oft stärkere Signale liefern als das Gesicht allein.

B. Audio-Encoder

Layer-selektive Wav2Vec2-Features: Da die Audioaufnahmen im BLEMORE-Datensatz nicht-sprachliche Lautäußerungen (Lachen, Weinen, Stöhnen) enthalten, sind phonetische Schichten eines für ASR trainierten Modells irrelevant.
- Strategie: Es werden nur die mittleren Schichten (6–12) des Wav2Vec2-Modells extrahiert, die Prosodie und paralinguistische Merkmale kodieren. Diese Features werden eingefroren und von einem leichten MLP klassifiziert.
- Ergebnis: Dieser Ansatz übertrifft das End-to-End-Fine-Tuning des gesamten Modells signifikant, da Fine-Tuning bei kleinen Datensätzen zu Overfitting führt.

C. Large Multimodal Model (LMM) Embeddings

Gemini Embedding 2.0: Ein neuartiger Ansatz, bei dem Embeddings eines großen multimodalen Modells (LMM) als Features verwendet werden.
- Besonderheit: Trotz der Beschränkung auf die ersten 2 Sekunden des Videos (bei einer Gesamtlänge von 3–8 Sekunden) erzielt dieses Modell konkurrenzfähige Ergebnisse. Es fängt semantische emotionale Informationen bereits in sehr kurzen Zeitfenstern ein.

D. Fusion und Nachverarbeitung

Late Fusion: Die Wahrscheinlichkeitsvektoren aller Encoder werden durch gewichtete Mittelung kombiniert. Die Gewichte werden durch eine grid search auf den Validierungsdaten optimiert.
Post-Processing: Die fusionierten Wahrscheinlichkeiten werden durch Schwellenwerte in diskrete Vorhersagen umgewandelt:
- $\alpha$ : Schwellenwert für das Vorhandensein einer Emotion.
- $\beta$ : Schwellenwert zur Bestimmung, ob eine 50/50- oder 70/30-Mischung vorliegt.

3. Wichtige Beiträge und Erkenntnisse

Adaptation von S4D-ViTMoE: Entwicklung einer vollständigen Pipeline für gemischte Emotionen mit Soft-Label-Training, die die Salienz-Informationen bewahrt.
Überlegenheit gefrorener Audio-Features: Die selektive Extraktion von Prosodie-Layern (6–12) aus Wav2Vec2 übertrifft das End-to-End-Fine-Tuning um 22 % (Score 0.207 vs. 0.161). Dies zeigt, dass bei kleinen, nicht-sprachlichen Datensätzen die richtige Auswahl der vortrainierten Schichten wichtiger ist als eine vollständige Anpassung.
LMM-Embeddings für Emotionen: Erstmals werden Embeddings eines LLM (Gemini 2.0) für die feinkörnige Erkennung gemischter Emotionen eingesetzt. Das Modell erreicht mit nur 2 Sekunden Video eine ACCP von 0.317, was die Leistung spezialisierter Encoder auf dem gesamten Clip fast erreicht.
Instabilität der Schwellenwerte: Eine kritische Analyse zeigt, dass der optimale Salienz-Schwellenwert $\beta$ zwischen den Validierungs-Folds extrem variiert (0.05 bis 0.43). Dies deutet darauf hin, dass individuelle Ausdrucksstile der Schauspieler die größte Hürde darstellen und nicht die Modellkapazität.

4. Ergebnisse

Das System erreichte auf dem Testset folgende Werte:

Gesamtscore: 0.279 (Platz 6 im Wettbewerb).
ACCP (Vorhandensein): 0.391 (deutlich besser als der beste Baseline-Wert von 0.332).
ACCS (Salienz): 0.168.

Das 12-Encoder-Ensemble (inklusive Gemini) verbesserte den Score gegenüber einem 9-Encoder-Setup um 6,5 %. Gemini Embedding 2.0 erhielt dabei das höchste Gewicht im Ensemble (0.192), was seine komplementäre Informationsquelle unterstreicht.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass die Kombination aus spezialisierten, adaptierten Encodern und allgemeinen Foundation-Model-Embeddings (LMMs) ein vielversprechender Weg für die Emotionserkennung ist.

Die wichtigste Erkenntnis ist jedoch die Limitierung aktueller Evaluierungsmethoden: Die starke Abhängigkeit der optimalen Schwellenwerte von den individuellen Schauspielern zeigt, dass personalisierte Ausdrucksstile das Hauptproblem bei der Erkennung gemischter Emotionen sind. Zukünftige Arbeiten sollten sich auf schwellenwertfreie Regression, aktor-adaptive Normalisierung oder die Nutzung von LMMs mit längeren Videosequenzen konzentrieren, um diese Lücke zu schließen.