💻 computer science

Causal Supervision of Attention for Affective Behaviour Analysis

Dieses Paper schlägt ein kausales Supervisionsframework für Aufmerksamkeitsmechanismen in der affektiven Verhaltensanalyse vor, das einen subjekt-invarianten Fokus erzwingt, nicht-redundante Repräsentationen durch Kreuzkovarianz-Regularisierung fördert und die Merkmalsausdrucksstärke durch gegatete nichtlineare Transformationen steigert, um eine State-of-the-Art-Leistung beim 11. Affective Behaviour Analysis in-the-wild Competition zu erzielen.

Ursprüngliche Autoren: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Ihr Gesicht zu lesen und zu erraten, wie Sie sich fühlen. Sie möchten, dass er ein echtes Lächeln oder ein Stirnrunzeln erkennt, richtig? Aber hier ist der knifflige Teil: Der Roboter lässt sich leicht ablenken. Er könnte denken: „Oh, diese Person sieht traurig aus, weil sie eine große Nase hat“, oder „Diese Person sieht glücklich aus, weil die Sonne auf ihre Stirn scheint“. Das sind wie Scheinkorrelationen – Hinweise, die nichts mit den tatsächlichen Gefühlen zu tun haben, aber in den Trainingsdaten häufig vorkommen. Wenn der Roboter diese schlechten Angewohnheiten lernt, wird er kläglich scheitern, wenn er jemandem mit einer anderen Nase oder unter anderen Lichtverhältnissen begegnet.

Die Autoren dieser Arbeit schlagen eine clevere neue Art vor, die „Aufmerksamkeit“ des Roboters zu trainieren, damit er aufhört, auf die falschen Dinge zu schauen, und stattdessen beginnt, sich auf die echten emotionalen Signale zu konzentrieren, egal wer vor der Kamera steht. Sie nennen ihre Methode Causal Supervision of Attention (Kausale Überwachung der Aufmerksamkeit).

Die drei Zaubertricks

Um die schlechten Angewohnheiten des Roboters zu korrigieren, fügte das Team drei spezielle Zutaten zu seinem Lernprozess hinzu:

1. Das „Was wäre wenn?“-Spiel (Causal Supervision)
Normalerweise schaut ein Roboter einfach auf ein Gesicht und rät. Dieses Team brachte den Roboter dazu, das „Was wäre wenn?“-Spiel zu spielen. Sie fragten ihn: „Wenn ich dich zwingen würde, die Nase zu ignorieren und nur auf die Augen zu schauen, würde sich deine Vermutung über die Emotion ändern?“
Sie erstellten eine „kontrafaktische“ Version der Aufmerksamkeit (eine gefälschte Version, in der der Robbot auf zufällige Stellen schaut) und verglichen diese mit der echten Aufmerksamkeit. Anstatt nur den rohen Unterschied in der Größenordnung zu maximieren, maximierten sie den Total Direct Effect (TDE) – ein spezifisches Maß für den kausalen Beitrag der Aufmerksamkeit zur Vorhersage. Durch dies wurde der Roboter dazu ermutigt, sich auf subjekt-invariante Gesichtsbereiche zu konzentrieren – Bereiche, die Emotionen bei verschiedenen Menschen konsistent vorhersagen, anstatt nur auf die spezifischen Merkmale einer einzelnen Person. Dies stellt sicher, dass der Roboter lernt, auf Regionen mit invariantem Vorhersagewert zu achten, wodurch er effektiv zwischen echten affektiven Merkmalen und Schein-Faktoren wie Identität oder Beleuchtung unterscheidet, ohne die Identität notwendigerweise ganz zu ignorieren.

2. Die „Keine Überschneidung“-Regel (Cross-Covariance Regularization)
Stellen Sie sich das Gehirn des Roboters als zwei Teams von Arbeitern vor: das Key-Team (die entscheiden, worauf man schauen soll) und das Value-Team (die die Details dessen sammeln, was sie sehen).
In Standardmodellen reden diese beiden Teams oft durcheinander und wiederholen dieselben Informationen. Es ist, als gäbe es zwei Personen im Raum, die beide gleichzeitig rufen: „Schau auf die Augen!“, während sie den Mund ignorieren. Die Autoren führten eine Regel ein, um sicherzustellen, dass diese beiden Teams komplementär, nicht redundant sind. Sie fügten eine Strafe hinzu, falls das Key- und das Value-Team anfingen, dasselbe zu sagen. Dies zwingt sie dazu, die Arbeit aufzuteilen: Das eine Team konzentriert sich vielleicht auf die Form der Augenbrauen, während das andere auf die Spannung im Kiefer achtet, was das Gesamtbild viel reicher macht.

3. Der „Super-Transformer“ (SwiGLU)
Schließlich verbesserte das Team die Rechenleistung des Robotergehirns. Standardmodelle verwenden einen einfachen, geradlinigen mathematischen Trick, um die gesammelten Details zu verarbeiten. Die Autoren ersetzten diesen durch ein schickes, nicht-lineares Werkzeug namens SwiGLU.
Stellen Sie sich vor, die alte Methode war eine gerade Rutsche, und die neue Methode ist eine sich drehende, kurvenreiche Achterbahn. Dies ermöglicht es dem Roboter, viel feinere, komplexere Details über Emotionen zu erfassen, die eine einfache Rutsche übersehen würde. Es macht das Verständnis des Roboters für „feingliedrige“ Gefühle viel schärfer.

Hat es funktioniert?

Das Team testete dies an einem massiven Datensatz von realen Videos namens s-Aff-Wild2, in denen Menschen in natürlichen Umgebungen all sorts von Dingen tun. Sie maßen den Erfolg mit einem Score namens P, der zusammenfasst, wie gut der Roboter bei drei Aufgaben abschnitt: das Erraten von Valenz-Arousal (wie positiv/negativ und wie intensiv das Gefühl ist), das Erkennen von Ausdrücken (wie glücklich oder traurig) und das Aufspüren von Action Units (winzige Muskelbewegungen im Gesicht).

Hier ist, was sie fanden:

Die Baseline: Der Standard-Roboter (unter Verwendung eines Modells namens ConvNeXt) erreichte einen Wert von 0,45 auf dem offiziellen Validierungssatz.
Die neue Methode: Als sie ihre neuen „Causal Supervision“-Tricks mit einem leistungsstarken visuellen Encoder namens FRoundation verwendeten, sprang der Score auf 1,2214.
Die Aufschlüsselung: Speziell für die Schätzung von Valenz-Arousal erreichten sie einen Wert von 0,5123. Für das Erkennen von Ausdrücken erhielten sie einen F1-Score von 0,3116, und für das Aufspüren von Muskelbewegungen 0,3974.

Sie führten den Test auch fünfmal hintereinander durch (eine sogenannte 5-fache Kreuzvalidierung), um sicherzustellen, dass die Ergebnisse nicht nur Glück waren. Die neue Methode schlug die alte Methode konsistent: Sie verbesserte den Durchschnittsscore von 0,8730 auf 0,9569 mit einer Art von Gehirn (DINOv2) und von 1,0524 auf 1,1948 mit der anderen (FRoundation).

Das Fazit

Die Arbeit legt nahe, dass wir, indem wir den Roboter dazu zwingen, echte emotionale Hinweise von „falschen“ Hinweisen (wie Identität oder Beleuchtung) zu unterscheiden und sich nur auf die Teile des Gesichts zu konzentrieren, die über verschiedene Subjekte hinweg einen invarianten Vorhersagewert haben, Systeme bauen können, die menschliche Gefühle viel besser verstehen. Sie haben dies nicht nur vermutet; sie haben es über tausende von Bildern gemessen und festgestellt, dass jeder ihrer drei neuen Tricks dem Roboter geholfen hat, besser zu werden. Obwohl der Roboter noch nicht perfekt ist (es gibt immer noch Raum zur Verbesserung dieser Werte), zeigt dieser Ansatz einen klaren Weg auf, um Maschinen zu erschaffen, die uns wirklich „verstehen“, anstatt nur basierend darauf zu raten, wie wir aussehen.

Technische Zusammenfassung: Kausale Überwachung der Aufmerksamkeit für die Analyse affektiven Verhaltens

Problemstellung
Die Analyse des affektiven Verhaltens (Affective Behaviour Analysis, ABA) zielt darauf ab, Maschinen zu befähigen, menschliche emotionale Zustände aus Verhaltenssignalen, insbesondere Gesichtsausdrücken, in unbeschränkten („in-the-wild“) Umgebungen zu inferieren. Während Deep-Learning-Modelle erhebliche Fortschritte gemacht haben, kämpfen sie oft mit der Generalisierung auf ungesehene Subjekte. Diese Einschränkung resultiert daraus, dass Modelle häufig spure-basierte Korrelationen (spurious correlations) ausnutzen – wie etwa Identität, Pose, Beleuchtung, Alter und demografische Variationen –, anstatt echte, invariante affektive Merkmale zu erlernen. Im Kontext des 11. Affective Behaviour Analysis in-the-wild (ABAW) Wettbewerbs wird diese Herausforderung durch ein Multi-Task-Learning-Framework (MTL) formalisiert, das eine simultane Schätzung von Valenz-Arousal (VA), Expression (EX) und Action Unit (AU) erfordert. Die Kernschwierigkeit besteht darin, zwischen emotionsrelevanten Signalen und diesen Störfaktoren zu unterscheiden, um robuste, subjekt-invariante Repräsentationen zu erreichen.

Methodik
Die Autoren schlagen ein kausal inspiriertes Attention-Pooling-Framework vor, das darauf ausgelegt ist, sowohl die Selektion als auch die Repräsentation affektiver Merkmale zu verbessern. Die Architektur basiert auf einer Standard-Pipeline, die ein eingefrorenes Vision Transformer (ViT) Backbone zur Merkmalsextraktion, gefolgt von einem Temporal Convolutional Network (TCN) zur zeitlichen Modellierung und taskspezifischen Vorhersageköpfen umfasst. Das Framework führt drei spezifische Modifikationen des Attention-Mechanismus ein, um Robustheit und Expressivität zu erhöhen:

Kausale Überwachung der Aufmerksamkeit (Causal Supervision for Attention, CSA): Um die Aufmerksamkeit auf Gesichtsbereiche mit invariantem prädiktivem Wert über verschiedene Subjekte hinweg zu erzwingen, integrieren die Autoren ein kausales Überwachungssignal. Dies beinhaltet einen „faktischen“ Pfad, in dem das Modell basierend auf gelernten Attention-Gewichten vorhersagt, und einen „kontrafaktischen“ Pfad, bei dem die Attention-Gewichte durch zufällige, normalisierte Vektoren ersetzt werden, die aus einer Gauß-Verteilung gezogen wurden. Das Modell wird darauf trainiert, den Total Direct Effect (TDE) zu maximieren – die Differenz zwischen den faktischen und kontrafaktischen Vorhersagen –, wodurch die Attention-Mechanismen dazu ermutigt werden, konsistent kausal relevante Gesichtsbereiche zu identifizieren, anstatt sich auf spure-basierte Korrelationen zu verlassen.
Kreuzkovarianz-Unabhängigkeitsregularisierung: Um Redundanz zwischen den Key- ( $K$ ) und Value- ( $V$ ) Projektionen in der skalierten Skalarprodukt-Attention zu adressieren, führen die Autoren eine Kreuzkovarianz-Regularisierungslos ein. Durch die Minimierung der Frobeniusnorm der Kreuzkovarianzmatrix zwischen zentrierten $K$ - und $V$ -Repräsentationen fördert die Methode eine komplementäre, nicht-redundante Merkodierung, wodurch mehr Modellkapazität für distinkte, aufgabenrelevante Informationen genutzt werden kann.
Nichtlineare SwiGLU-Value-Projektion: Die Standard-Linearprojektion für die Value-Komponente ( $V$ ) wird durch eine SwiGLU-Transformation (Sigmoid Linear Unit Gated Linear Unit) ersetzt. Diese nichtlineare Schicht erhöht die Repräsentationskapazität der Value-Projektion und ermöglicht es dem Modell, feinere affektive Merkmale vor dem Schritt der Attention-basierten Aggregation zu erfassen.

Wesentliche Beiträge
Das Paper präsentiert ein vereinheitlichtes Framework, das Prinzipien der kausalen Inferenz in Attention-Mechanismen integriert. Die primären Beiträge sind:

Die Einführung der Kausalen Überwachung der Aufmerksamkeit, welche die Generierung von Kontrafakten und die Maximierung des TDE nutzt, um die Aufmerksamkeit auf subjekt-invariante, emotionsrelevante Gesichtsbereiche zu lenken.
Die Formulierung einer Kreuzkovarianz-Unabhängigkeitsregularisierung, um Key- und Value-Repräsentationen zu entkoppeln und somit die Merkmalsredundanz zu reduzieren.
Der Ersatz von linearen Value-Projektionen durch SwiGLU-basierte nichtlineare Transformationen, um die Ausdrucksstärke der Merkmale zu erhöhen.
Eine umfassende Evaluierung auf dem s-Aff-Wild2 Datensatz, die zeigt, dass diese Komponenten kollektiv die Generalisierung über mehrere affektive Aufgaben hinweg verbessern.

Experimentelle Ergebnisse
Die Methode wurde auf dem s-Aff-Wild2 Datensatz unter Verwendung zweier verschiedener Backbones evaluiert: DINOv2 (vortrainiert auf allgemeiner Bilder) und FRoundation (spezialisiert auf Gesichtsbilder). Die Leistung wurde anhand der offiziellen ABAW MTL-Metrik $P$ gemessen, welche die mittlere Concordance Correlation Coefficient (CCC) für VA, den durchschnittlichen F1-Score für Expression ( $F_{EX}$ ) und den durchschnittlichen F1-Score für Action Units ( $F_{AU}$ ) summiert.

Baseline-Vergleich: Gegenüber der offiziellen Baseline (ConvNeXt mit MixAugment, $P=0,45$ ) erreichte die vorgeschlagene Methode signifikant höhere Werte. Mit dem FRoundation-Backbone erreichte die Methode einen Gesamtwert von 1,2214 auf dem offiziellen Validierungsset ( $CCC_{VA}=0,5123$ , $F_{EX}=0,3116$ , $F_{AU}=0,3974$ ).
Kreuzvalidierung: In einem Fünffach-Kreuzvalidierungsprotokoll übertraf das FRoundation-Backbone das DINOv2-Backbone konsistent. Die vorgeschlagene Methode verbesserte den mittleren Multi-Task-Score $P$ von 1,0524 (Baseline) auf 1,1948 mit FRoundation und von 0,8730 auf 0,9569 mit DINOv2.
Ablationsstudie: Die Studie bestätigte, dass jede Komponente zur Leistung beiträgt. Während SwiGLU allein je nach Backbone gemischte Ergebnisse zeigte, verbesserte die Kombination von SwiGLU mit entweder Kausaler Überwachung oder Kreuzkovarianz-Regularisierung konsistent die Leistung. Das vollständige Modell (alle drei Komponenten aktiv) lieferte die besten Ergebnisse und repräsentierte Gewinne von etwa 9,6 % (DINOv2) und 13,5 % (FRoundation) gegenüber ihren jeweiligen Baselines.

Bedeutung
Das Paper behauptet, dass das vorgeschlagene Framework erfolgreich die Herausforderung spure-basierter Korrelationen in der Analyse des affektiven Verhaltens adressiert, indem es eine subjekt-invariante Aufmerksamkeit fördert. Durch die explizite Modellierung des kausalen Beitrags der Aufmerksamkeit und die Reduzierung der Redundanz in den Merkmalsrepräsentationen erzeugt die Methode robustere und ausdrucksstärkere affektive Repräsentationen. Die Ergebnisse legen nahe, dass die Integration von kausaler Überwachung und struktureller Regularisierung in Attention-Mechanismen eine effektive Strategie ist, um die Generalisierung in unbeschränkten Aufgaben der affektiven Computertechnik zu verbessern, insbesondere wenn spezialisierte Gesicht-Backbones wie FRoundation genutzt werden.

Die drei Zaubertricks

Hat es funktioniert?

Das Fazit

Mehr davon