💻 computer science

Hierarchical Granularity Alignment and State Space Modeling for Robust Multimodal AU Detection in the Wild

Diese Arbeit stellt ein neuartiges multimodales Framework vor, das auf Hierarchischer Granularitätsausrichtung und State-Space-Modellen (Vision-Mamba) basiert, um durch die Nutzung von Foundation-Modellen wie DINOv2 und WavLM sowie einer asymmetrischen Cross-Attention robuste und state-of-the-art Ergebnisse bei der Erkennung von Gesichtshandlungseinheiten in unkontrollierten Umgebungen zu erzielen.

Ursprüngliche Autoren: Jun Yu, Yunxiang Zhang, Naixiang Zheng, Lingsi Zhu, Guoyuan Wang

Veröffentlicht 2026-03-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jun Yu, Yunxiang Zhang, Naixiang Zheng, Lingsi Zhu, Guoyuan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Gefühle eines Menschen zu lesen, der sich mitten in einem lauten, chaotischen Konzert befindet. Er lacht, weint, zuckt mit den Augenbrauen und atmet schwer. Das ist die Herausforderung, vor der die Forscher aus dem Paper stehen: Gesichtsausdrücke (sogenannte "Action Units") in der wilden Natur zu erkennen.

Bisherige Computerprogramme waren wie ein Tourist mit einer schlechten Kamera und einem verstaubten Wörterbuch. Sie konnten nur grobe Dinge sehen und hörten oft nur das, was gesagt wurde, nicht aber das Seufzen oder das Zittern in der Stimme.

Hier ist die neue Lösung der Forscher, erklärt mit einfachen Bildern:

1. Die neuen "Super-Augen" und "Super-Ohr" (Foundation Models)

Früher haben die Computer gelernt, Gesichter zu erkennen, indem sie wie ein Schüler mit einem kleinen Notizbuch geübt haben. Sie haben oft Details verloren, wenn das Licht schlecht war oder der Kopf schief stand.

Die Forscher haben stattdessen zwei Super-Experten (genannt DINOv2 und WavLM) geholt:

Das Super-Auge (DINOv2): Stellen Sie sich einen Künstler vor, der nicht nur das ganze Gesicht malt, sondern jeden einzelnen Muskelstrich, jedes Poren-Muster und jede winzige Bewegung der Lippen sieht – egal ob es dunkel ist oder der Kopf verdreht ist.
Das Super-Ohr (WavLM): Früher hörten Computer nur auf die Wörter (wie ein Dolmetscher). Dieser neue Experte hört aber auch auf das Gefühl: Das tiefe Seufzen, das schnelle Atmen oder die zitternde Stimme. Diese "Nebenklänge" verraten oft mehr über die Emotion als die Worte selbst.

2. Der "Zoom-Verstärker" (Hierarchical Granularity Alignment)

Ein Problem: Wenn man nur auf das ganze Gesicht schaut, verliert man die kleinen Details (z. B. ein leichtes Zucken am Mund). Schaut man nur auf den Mund, verliert man den Kontext (z. B. ob der Kopf geneigt ist).

Die Forscher haben einen intelligenten Zoom-Verstärker gebaut:

Er schaut sich erst das ganze Bild an (den Kontext).
Dann zoomt er automatisch auf die wichtigen Stellen (die Augen, die Lippen).
Die Magie: Er verbindet diese beiden Ansätze. Er sagt dem Computer: "Hey, schau dir diesen kleinen Muskel am Mund an, aber vergiss nicht, dass der Kopf gerade schief steht." So versteht der Computer sowohl die grobe Stimmung als auch die winzigen Details gleichzeitig.

3. Der "Unendliche Zeit-Roller" (State Space Model / Mamba)

Gesichter bewegen sich über die Zeit. Ein Lächeln beginnt langsam und wird breiter. Frühere Computer hatten ein kurzes Gedächtnis (wie ein Fisch, der nur 3 Sekunden zurückdenken kann). Sie konnten lange Videos nicht verstehen, weil sie den Anfang vergaßen, wenn sie das Ende sahen.

Die Forscher haben einen Zeit-Roller (genannt Vision-Mamba) eingebaut:

Dieser Roller hat ein unendliches Gedächtnis. Er kann sich an das erinnern, was vor 100 Sekunden passiert ist, während er jetzt das Ende des Videos betrachtet.
Der Clou: Er wird vom Audio gesteuert. Wenn die Person im Video plötzlich seufzt, sagt der Roller dem Computer: "Achtung! Jetzt passiert etwas Wichtiges im Gesicht, schau genau hin!" Er synchronisiert also das Gehörte mit dem Gesehenen, um die Emotionen perfekt zu timen.

4. Der "Gerechte Richter" (Asymmetric Loss)

In den Daten gibt es ein riesiges Problem: Die meisten Gesichter sind neutral (langweilig), aber die interessanten Emotionen (Wut, Freude) sind selten.
Frühere Computer waren wie faule Schüler: Sie sagten einfach "Nichts passiert" zu allem, weil das meistens richtig lag.

Die Forscher haben einen gerechten Richter eingeführt:

Wenn der Computer sagt "Nichts passiert" bei einem neutralen Gesicht, bekommt er nur einen kleinen Tadel.
Aber wenn er sagt "Nichts passiert" bei einem echten Lachen oder Weinen, bekommt er eine riesige Strafe.
So wird der Computer gezwungen, sich besonders auf die seltenen und wichtigen Momente zu konzentrieren, statt sich auf das Einfache zu verstecken.

Das Ergebnis

Durch diese Kombination aus Super-Augen, Super-Ohr, intelligentem Zoom, unendlichem Gedächtnis und gerechter Bewertung hat das System einen neuen Weltrekord aufgestellt. Es ist jetzt so gut darin, Gefühle in chaotischen, echten Situationen zu lesen, dass es den ersten Platz in einem großen internationalen Wettbewerb (ABAW) gewonnen hat.

Kurz gesagt: Die Forscher haben dem Computer beigebracht, nicht nur zu schauen und zu hören, sondern wirklich zu fühlen, was in den winzigen Details und über die Zeit hinweg passiert.

1. Problemstellung

Die Erkennung von Gesichtsbewegungen (Facial Action Units, AUs) in unkontrollierten Umgebungen („in the wild") stellt eine enorme Herausforderung dar. Die Hauptprobleme sind:

Räumlich-zeitliche Heterogenität: Extreme Variationen in Beleuchtung, Kopfpositionen und Verdeckungen.
Begrenzte Feature-Extraktoren: Traditionelle visuelle Encoder (z. B. ResNet) verlieren durch Downsampling feine räumliche Details, die für subtile Muskelbewegungen essenziell sind.
Fehlende paralinguistische Hinweise: Herkömmliche Audio-Modelle (wie ASR) filtern nicht-sprachliche Signale (Seufzen, Atmen, Tonhöhenänderungen) als Rauschen heraus, obwohl diese stark mit emotionalen Zuständen korrelieren.
Zeitliche Modellierung: Herkömmliche Methoden (TCNs oder Transformer) haben entweder einen begrenzten rezeptiven Feld oder skalieren quadratisch ( $O(T^2)$ ) mit der Sequenzlänge, was die Modellierung ultra-langer Videos unmöglich macht.
Daten-Ungleichgewicht: AUs folgen einer langschwänzigen Verteilung; die meisten Frames sind neutral, was zu einem „Majority-Class Collapse" führt.

2. Methodik

Das vorgeschlagene Framework integriert Foundation Models, eine hierarchische Ausrichtung und State Space Models (SSM) in einem multimodalen Ansatz.

A. Robuste Feature-Extraktion durch Foundation Models

Anstatt traditioneller Encoder werden leistungsstarke Foundation Models eingesetzt:

Visuell (DINOv2): Ein selbstüberwachtes Vision Transformer-Modell, das auf großen, uncuratierten Datensätzen trainiert wurde. Es liefert dichte, patch-level Repräsentationen, die extrem empfindlich auf lokale Texturen und Mikroexpressionen reagieren, ohne aufgabenspezifisches Fine-Tuning der Basisarchitektur.
Auditiv (WavLM): Ein Modell, das für die Maskierung von Sprache und Rauschunterdrückung trainiert wurde. Im Gegensatz zu ASR-Modellen behält es paralinguistische Merkmale (Stimmhöhe, Atmen) bei, die für die Emotionserkennung entscheidend sind.

B. Hierarchical Granularity Alignment (HGA)

Dieses Modul verbindet globale Gesichtskontexte mit feinkörnigen lokalen Aktivierungen:

Landmarken-gesteuerte Extraktion: 2D-Gesichtspunkte werden genutzt, um anatomische Regionen von Interesse (RoIs, z. B. Augen, Mund) zu definieren.
Globale vs. Lokale Fusion: Es werden lokale Patches (für Muskelbewegungen) und globale Pools (für Pose/Beleuchtung) extrahiert.
Cross-Attention: Ein Multi-Head Cross-Attention-Mechanismus erlaubt es den lokalen Regionen, dynamisch den globalen Feature-Map abzufragen, um unverschleierte, komplementäre Kontexte zu finden. Dies sorgt für eine robuste Ausrichtung auch bei extremen Posen.

C. Audio-Guided Selective State Space Model (AG-SSM)

Zur zeitlichen Modellierung wird eine Vision-Mamba-Architektur verwendet:

Lineare Komplexität: Im Gegensatz zu Transformern ( $O(T^2)$ ) bietet Mamba eine lineare Komplexität ( $O(T)$ ) und einen unendlichen rezeptiven Feld, was die Erfassung ultra-langer temporaler Abhängigkeiten ermöglicht.
Audio-Gesteuerte Selektion: Ein asymmetrischer Cross-Attention-Mechanismus synchronisiert Audio und Video. Die Audio-Features ( $X_a$ $X_{a}$ ) steuern dynamisch die Selektionsparameter ( $\Delta, B, C$ $Δ, B, C$ ) des SSM für den visuellen Stream.
- Beispiel: Ein plötzliches Einatmen (Audio) führt zu einem größeren $\Delta_t$ , wodurch der visuelle Zustand stärker auf den aktuellen Frame fokussiert wird.
- Ein Audio-getriebener Gating-Mechanismus ( $g_t$ ) gewichtet visuelle Eingaben basierend auf Audio-Ereignissen.

D. Asymmetrischer Verlust (Asymmetric Loss - ASL)

Um das Klassen-Ungleichgewicht zu adressieren:

Der Verlust wird für positive und negative Klassen entkoppelt.
Negative Klassen: Ein großer Fokus-Parameter ( $\gamma_-$ ) und ein Verschiebungsparameter ( $m$ ) unterdrücken leicht klassifizierbare neutrale Frames („easy negatives") vollständig.
Positive Klassen: Ein sanfterer Parameter ( $\gamma_+$ ) stellt sicher, dass seltene AUs ausreichend gelernt werden.

3. Schlüsselbeiträge

Paradigmenwechsel zu Foundation Models: Ersetzung kapazitätsbegrenzter Encoder durch DINOv2 und WavLM für hochfidele, robuste Repräsentationen in „in-the-wild"-Szenarien.
HGA-Modul: Entwicklung einer dynamischen Ausrichtung globaler Semantik und lokaler Muskelaktivitäten mittels Gesichtspunkten und Cross-Attention.
Vision-Mamba Integration: Einführung von SSMs in die AU-Erkennung, um das Problem der ultra-langen temporalen Abhängigkeiten mit linearer Komplexität zu lösen.
Audio-Guided Mechanismus: Eine innovative Methode, bei der auditive Hinweise die zeitlichen Zustandsübergänge des visuellen Modells steuern.
Optimierung für Ungleichgewicht: Einsatz einer Asymmetric Loss-Strategie, die den „Majority-Class Collapse" verhindert und die Recall-Rate für seltene AUs signifikant erhöht.

4. Ergebnisse

Die Methode wurde auf dem Aff-Wild2-Datensatz evaluiert, dem Standard für AU-Erkennung in unkontrollierten Umgebungen.

Leistung: Das Modell erreichte einen durchschnittlichen F1-Score von 59,45 %, was einen neuen State-of-the-Art (SOTA) darstellt.
Ablationsstudie:
- Der Wechsel zu Foundation Models allein steigerte den Score um 15,91 %.
- Das HGA-Modul brachte weitere +2,77 %.
- Der AG-SSM (Vision-Mamba) fügte +2,64 % hinzu.
- Die Asymmetric Loss (ASL) war entscheidend für den finalen Anstieg auf 59,45 %.
Wettbewerbserfolg: Das Framework belegte die Top-Rankings im AU-Detection-Track des 10. ABAW-Wettbewerbs (Affective Behavior Analysis in-the-wild).

5. Bedeutung und Ausblick

Diese Arbeit demonstriert, dass die Kombination von Foundation Models (für robuste Features) und State Space Models (für effiziente, lange Zeitreihen) die Grenzen der aktuellen AU-Erkennung überwindet. Besonders die Nutzung von Audio nicht nur als zusätzliche Information, sondern als Steuermechanismus für die visuelle zeitliche Modellierung, stellt einen innovativen Ansatz dar. Die Lösung des Klassen-Ungleichgewichts durch ASL macht das System für reale Anwendungen praktikabel, wo seltene emotionale Ausdrücke oft übersehen werden. Zukünftige Arbeiten zielen auf parameter-effiziente Anpassungen für Edge-Geräte und cross-modale generative Vorverarbeitung ab.