🤖 machine learning

Faithful Action-unit Causal Reasoning for Counterfactually Faithful Emotion Explanations

Dieses Paper führt FACR ein, ein Framework, das kontrafaktische Treue in der multimodalen Emotions-Argumentation erzwingt, indem es Modelle darauf trainiert, ihre Action Unit (AU)-Erklärungen mit einem strukturellen Kausalgraphen abzugleichen, wodurch sichergestellt wird, dass die aufgerufenen AUs kausal notwendig für Vorhersagen sind und verifizierbar in generiertem Text reflektiert werden.

Ursprüngliche Autoren: Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine intelligente Kamera, die in ein Gesicht blickt und sagt: „Diese Person hat Schmerzen.“ Normalerweise sind diese Kameras wie selbstbewusste, aber unehrliche Schüler: Sie liefern das richtige Ergebnis (den Schmerz), aber wenn man sie fragt, warum, erfinden sie eine Geschichte, die gut klingt, aber nicht dem entspricht, was sie eigentlich „gedacht“ haben. Sie könnten sagen: „Ich weiß, dass es Schmerz ist, weil die Augenbrauen hochgezogen sind“, obwohl die Kamera in Wirklichkeit auf etwas ganz anderes reagiert hat.

Dieses Paper stellt ein neues System namens FACR (Faithful Action-unit Causal Reasoning) vor. Sein Ziel ist es, die Kamera dazu zu zwingen, die Wahrheit darüber zu sagen, warum sie eine Entscheidung getroffen hat, und nicht nur eine plausible Geschichte zu erfinden.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „plausible Lügner“

Die meisten KI-Systeme sind wie ein Schüler, der die Lösungsschlüssel auswendig gelernt hat, aber die Mathematik dahinter nicht verstanden hat. Wenn man die Zahlen in der Matheaufgabe ändert (eine „kontrafaktische“ Änderung), gibt der Schüler immer noch die gleiche falsche Antwort mit der gleichen falellen Erklärung.

Das Problem: Aktuelle KIs können zwar die Gesichtsmuskeln benennen (genannt Action Units oder AUs), die sich bei Emotionen bewegen. Aber sie raten oft, welche Muskeln die Emotion verursacht haben, anstatt diese Muskeln tatsächlich zu nutzen, um die Entscheidung zu treffen.

2. Die Lösung: Das „strenge Regelwerk“

Die Autoren haben einen kausalen Graphen erstellt. Stellen Sie sich das wie ein strenges Regelwerk oder eine Landkarte vor.

Die Landkarte: Sie zeichnet explizit Linien, die bestimmte Muskelbewegungen mit bestimmten Emotionen verbinden. Zum Beispiel besagt sie: „Wenn du Schmerz erkennen willst, musst du auf Muskel A und Muskel B achten. Wenn du Muskel C siehst, spielt das für Schmerz keine Rolle.“
Der Clou: Anstatt diese Landkarte nur zum Erraten der Emotion zu nutzen, zwingen sie die KI dazu, die Landkarte zu befolgen, während sie sich erklärt.

3. Das Training: Der „Interventions-Test“

Um die KI ehrlich zu machen, verwenden sie eine Trainingsmethode namens Counterfactual Faithfulness (Kontrafaktische Treue). Stellen Sie sich vor, ein Lehrer spielt ein Spiel des „Was wäre wenn?“ mit dem Schüler:

Szenario A: „Okay, ich tue so, als ob Muskel A (den die Landkarte als Ursache für Schmerz definiert) eingefroren wäre und sich nicht bewegen könnte. Wenn dein System ehrlich ist, sollte sich deine Antwort von ‚Schmerz‘ zu ‚Kein Schmerz‘ ändern.“
Szenario B: „Jetzt tue ich so, als ob Muskel C (den die Landkarte als irrelevant für Schmerz definiert) eingefroren wäre. Deine Antwort sollte exakt gleich bleiben.“

Wenn die KI diesen Test nicht besteht – das heißt, wenn sie immer noch „Schmerz“ sagt, selbst wenn der entscheidende Muskel fehlt, oder wenn sie ihre Meinung ändert, wenn ein irrelevanter Muskel betroffen ist – wird sie bestraft. Dies zwingt die KI, ihr „Gehirn“ so umzuverdrahten, dass ihre Entscheidung tatsächlich von den Muskeln abhängt, die im Regelwerk aufgeführt sind.

4. Das Ergebnis: Eine „Wahrheits sprechende“ KI

Die Autoren haben dies an zwei Dingen getestet:

Schmerzerkennung: Sie verwendeten einen Datensatz, bei dem die „Wahrheit“ bekannt war (eine spezifische Formel aus Muskeln ergibt Schmerz).
- Vorher: Die Erklärung der KI entsprach nur in 8 % der Fälle der Wahrheit.
- Nachher: Mit diesem neuen Training entsprach die Erklärung in 57 % der Fälle der Wahrheit.
- Der Kompromiss (Trade-off): Die KI wurde etwas schlechter darin, einfach nur „Schmerz“ vs. „Kein Schmerz“ zu erraten (ein kleiner Rückgang der Genauigkeit), aber sie wurde viel besser darin, das Warum zu erklären. Es ist wie ein Arzt, der etwas langsamer bei der Diagnose ist, aber eine viel genauere Erklärung der Symptome liefert.
Datensatz-Transfer (Cross-Dataset Transfer): Sie testeten das System auf einem anderen Datensatz (allgemeine Emotionen, nicht nur Schmerz).
- Die KI lernte, sich auch bei neuen Daten an das Regelwerk zu halten.
- Wichtige Erkenntnis: Die KI ist nur so ehrlich wie das Regelwerk selbst. Wenn das Regelwerk Fehler enthält, folgt die KI den falschen Regeln treu. Aber wenn das Regelwerk verifiziert und korrekt ist, wird die Erklärung der KI zu einem wahren Spiegel der Realität.

5. Das „Sprach“-Upgrade

Schließlich haben sie ein Sprachmodell an dieses System gekoppelt.

Ohne die Korrektur: Die KI sieht das Gesicht, entscheidet, dass es glücklich ist, und generiert dann einfach einen Satz wie: „Die Person sieht glücklich aus, weil sie lächelt“, selbst wenn sie den „Lächeln“-Muskel gar nicht genutzt hat, um diese Entscheidung zu treffen.
Mit der Korrektur: Die KI ist „gesteuert“ (gated). Sie darf einen Muskel nur dann in ihrem Satz erwähnen, wenn dieser Muskel tatsächlich die Entscheidung ausgelöst hat. Wenn man den Muskel aus dem Bild entfernt, ist die KI gezwungen, ihn auch aus dem Satz zu entfernen. Die Erklärung wird nun durch Konstruktion wahrhaftig.

Zusammenfassung

Das Paper behauptet nicht, dass dies eine perfekte Ärztin oder eine Gedankenleserin macht. Es behauptet, dass FACR ein System schafft, dessen Erklärung treu (faithful) ist.

Alte KI: „Ich denke, es ist Schmerz, weil... nun ja, es sieht nach Schmerz aus.“ (Plausibel, aber vielleicht gelogen).
Neue KI (FACR): „Ich denke, es ist Schmerz, weil Muskel X und Muskel Y aktiv sind, und mein Regelwerk besagt, dass diese beiden Muskeln Schmerz bedeuten. Wenn ich sie entferne, würde ich nicht mehr sagen, dass es Schmerz ist.“ (Treue und überprüfbar).

Das Paper beweist, dass man eine KI darauf trainieren kann, „ehrlich“ über ihre Argumentation zu sein, selbst wenn das bedeutet, dass sie beim reinen Ratespiel etwas weniger präzise wird. Es ist ein Kompromiss: etwas weniger Geschwindigkeit/Genauigkeit für viel mehr Vertrauen und Transparenz.

Technisches Resümee: Faithful Action-unit Causal Reasoning (FACR)

1. Problemstellung

Automatische Gesichtsausdruckserkennungssysteme erfordern zunehmend Erklärungen, die nicht bloß plausibel, sondern treu (faithful) sind – das heißt, die Erklärung muss die tatsächlichen Faktoren widerspiegeln, die die Vorhersage antreiben. Aktuelle Ansätze lassen sich in zwei Kategorien unterteilen, die beide keine Treue aufweisen:

Strukturell-kausale Methoden: Diese modellieren Action Units (AUs) und Ausdrücke mittels kausaler Graphen, sind jedoch rein diskriminativ. Sie verwerfen die gewonnene Struktur bei der Inferenz und geben lediglich Labels oder Aufmerksamkeitskarten aus, ohne verbalisierte Begründungen zu liefern.
Multimodale Large Language Models (MLLMs): Diese generieren natürliche sprachliche Emotion-Rationales basierend auf AUs. Ihr Text ist jedoch nicht durch verifizierte kausale Strukturen beschränkt und wird nur auf Plausibilität (z. B. Textüberlappung oder GPT-basierte Richter) evaluiert. Infolgedessen ersetzen sie oft kausale Attribution durch Template-Matching und versagen dabei, ihre Erklärungen unter kontrafaktischen Edits zu aktualisieren.

Die zentrale Lücke ist das Fehlen eines Systems, das einen AU $\to$ Emotion-Reasoner in einem verifizierten kausalen Graphen verankert und kontrafaktische Treue erzwingt – also sicherstellt, dass eine Intervention in eine kausale AU sowohl die Vorhersage als auch die Begründung verändert, während eine Intervention in eine irrelevante AU diese unverändert lässt.

2. Methodik: FACR

Das vorgeschlagene System, Faithful Action-unit Causal Reasoning (FACR), adressiert diese Lücke durch drei integrierte Phasen:

A. Strukturelle AU $\to$ Emotion Kausale Graph-Induktion ( $G$ )

FACR induziert einen gerichteten, polaritätsbewussten kausalen Graphen $G = (A \cup C, E)$ unabhängig, anstatt externe Graphen wiederzuverwenden. Der Graph wird aus drei Quellen zusammengesetzt:

AU $\to$ Emotion Kanten: Geschätzt mittels L1-regularisierter logistischer Regression auf dem kombinierten AffectNet $\times$ FABA Korpus.
AU $\to$ AU Kanten: Geschätzt mittels Neighborhood Selection auf EmotioNet.
Verifizierte Substrukturen: Die Schmerz-Substruktur wird mittels der PSPI (Prkachin–Solomon Pain Intensity) Formel als Ground Truth fixiert. Für andere Emotionen werden Kanten aus EMFACS-Prototypen ergänzt.
Polarität: Jede Kante trägt ein Vorzeichen ( $s \in \{-1, +1\}$ ), das exzitatorische oder inhibitorische Beziehungen angibt.

B. Graph-konditionierter Reasoner

Das System bildet ein Eingangsgesicht $x$ auf einen disentangled AU-Latent $z \in \mathbb{R}^K$ ab, wobei jede Koordinate $z_k$ das Vorhandensein von AU $k$ repräsentiert.

Vorhersage: Ein graph-konditionierter Head sagt die Emotionsklasse $\hat{y}$ basierend auf $z$ voraus.
Rationale: Ein sprachlicher Verbalisierer generiert eine natürliche sprachliche Erklärung, die die aktiven AUs und ihre kausalen Kanten in $G$ benennt.
Interventionsmechanismus: Der Latent-Raum ermöglicht wohldefinierte $do$-Interventionen (z. B. $do(z_k=0)$ ), was das Entfernen einer AU simuliert.

C. Kontrafaktisch-Treue-Zielsetzung

FACR führt eine Trainingszielsetzung ein, die die Vorhersage und das Rationale über zwei Terme an den Graphen $G$ koppelt:

Sensitivitäts-Term ( $L_{sens}$ ): Erfordert, dass das Entfernen einer AU $a_k$ , welche $G$ als kausal für Klasse $c$ markiert, den Logit der Klasse in die durch die Kanten-Polarität implizierte Richtung bewegt.
Invarianz-Term ( $L_{inv}$ ): Erfordert, dass das Entfernen einer AU $a_k$ , die als irrelevant für Klasse $c$ markiert ist, den Klassen-Logit unverändert lässt.

Der Gesamtverlust kombiniert den Klassifikationsverlust, den AU-Grounding-Verlust und diese Treue-Terme:
$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$

D. Konstruktion verbalisierter Rationales

Um sicherzustellen, dass der generierte Text treu ist, wird der Verbalisierer durch Konstruktion gesteuert (gated by construction). Die Emission jedes AU-Tokens wird durch seine latente Aktivierung $z_k$ beeinflusst. Wenn eine AU im latenten Raum inaktiv ist, wird sie in der Benennung im Text stark unterdrückt. Dies stellt sicher, dass die Ablation einer AU im latenten Raum zuverlässig deren Entfernung aus der generierten Erklärung bewirkt.

3. Kernbeiträge

Formalisierung: Betrachtet das AU $\to$ Emotion Reasoning als ein Problem der kontrafaktischen Konsistenz zwischen dem Rationale, dem Label und einem kausalen Graphen.
FACR-System: Schlägt ein System vor, das einen MLLM-Reasoner in einem unabhängig induzierten, polaritätsbewussten kausalen Graphen verankert und Treue durch $do$-Interventionen in einem disentangled Latent-Raum erzwingt.
Treue-Metrik: Führt eine Metrik für kontrafaktische Treue (Sensitivität und Invarianz) ein, die gegen bekannte Strukturen (PSPI für Schmerz, EMFACS für Emotionen) evaluiert wird. Entscheidend ist, dass diese Metrik die Fidelität zur bereitgestellten Struktur auf gehaltenen Daten testet, nicht die Neuentdeckung der Struktur.
Empirische Validierung: Zeigt, dass die Treue-Zielsetzung die Übereinstimmung zwischen aufgerufenen AUs und kausalen Strukturen (PS erhöhte die Übereinstimmung zwischen aufgerufenen AUs und der verifizierten PSPI-Zusammensetzung von einem Baseline-Wert von 0,08 (ohne Zielsetzung) auf 0,57).

4. Experimentelle Ergebnisse

A. UNBC-PAIN (Schmerzerkennung)

Evaluiert mittels Leave-one-subject-out (LOSO) Kreuzvalidierung:

Gewinn an Treue: Die Treue-Zielsetzung steigerte die Übereinstimmung zwischen aufgerufenen AUs und der verifizierten PSPI-Zusammensetzung von einem Baseline-Wert von 0,08 (ohne Zielsetzung) auf 0,57.
Genauigkeits-Trade-off: Dieser Gewinn ging mit einem moderaten, quantifizierten Kostenfaktor für die Detektionsgenauigkeit einher, wobei der AUC von 0,83 (Kontrolle) auf 0,79 (FACR) sank.
Invarianz-Wiederherstellung: Die Anpassung des Invarianz-Gewichts ( $\lambda_i$ ) ermöglichte es dem Modell, sowohl Sensitivitäts- als auch Invarianz-Constraints gleichzeitig zu erfüllen.

B. Cross-Dataset Emotion Transfer (AffectNet $\times$ FABA $\to$ Aff-Wild2)

Generalisierung: Die Zielsetzung steigerte die graph-kausale Übereinstimmung von 0,50 auf 0,84 bei einer sieben-Klassen-Emotionsaufgabe.
Abhängigkeit von der Graphqualität:
- Mit einem gelernten (verrauschten) Graphen blieb die Übereinstimmung mit den tatsächlich aktiven AUs niedrig (0,24), passend zur Kontrolle.
- Mit einem verifizierten Graphen (EMFACS) stieg die Übereinstimmung mit den tatsächlich aktiven AUs auf 0,59, während die graph-kausale Übereinstimmung hoch blieb (0,74).
- Dies bestätigt, dass die Treue zum Graphen notwendig, aber nicht hinreichend ist; die Korrektheit des Graphen setzt die Obergrenze für die Ausrichtung an der Realität.
Vergleich mit EmoLA: Ein veröffentlichtes affektives MLLM (EmoLA) erreichte einen höheren Recall aktiver AUs (0,52 vs. 0,37), indem es viele AUs wahllos benannte. FACR mit einem verifizierten Graphen erreichte jedoch eine höhere Präzision (0,59 vs. 0,51) und eine höhere Treue zur kausalen Struktur (0,74 vs. 0,63), was zeigt, dass es die korrekten kausalen AUs auswählt, statt nur viele AUs.

C. Audit der verbalisierten Rationales

Konstruktion vs. Lernen: Ein Verbalisierer, der darauf trainiert wurde, aktive AUs zu benennen, ohne Gating, war untreu (nur 6 % der ablateden AUs wurden aus dem Text entfernt).
Erfolg des Gating: Mit der Gating-Beschränkung führte die Ablation einer kausalen AU zuverlässig zur Entfernung dieser aus dem generierten Text.
Backbone-Agnostik: Der Treue-Mechanismus übertrug sich auf ein zweites Sprachmodell-Backbone (Gemma 3), was bestätigt, dass der Mechanismus nicht spezifisch für das Basismodell ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass FACR einen Weg zu beschränkten (constrained), nicht bloß plausiblen Erklärungen im AU $\to$ Emotion Reasoning bietet.

Treue ist verschieden von Genauigkeit: Die Studie zeigt, dass Treue und Genauigkeit unterschiedliche Achsen sind; ein Modell kann treuer gemacht werden, ohne automatisch genauer zu werden, was separate Metriken erforderlich macht.
Interventions-Handle: Im Gegensatz zu vorherigen Arbeiten bietet FACR ein auditierbares Interventions-Handle (den AU-Latent), das die Abhängigkeit der Erklärung von der Vorhersage testbar macht.
Designprinzip: Treue ist am robustesten, wenn sie durch Konstruktion erzwungen wird (via Gating und kausalen Constraints) und nicht allein durch Kapazität oder Daten.
Limitierungen: Die Autoren geben explizit an, dass FACR kein State-of-the-Art Erkennungsmodell ist (moderate AUC/F1-Werte) und dass seine Ausrichtung an der Realität durch die Korrektheit des bereitgestellten kausalen Graphen begrenzt ist. Die Methode beansprucht nicht, die Struktur neu zu entdecken, sondern einer bereitgestellten Struktur treu zu folgen.