Technische Samenvatting: Getrouwe Action-unit Causale Redenering (FACR)

1. Probleemstelling

Automatische systemen voor gezichtsuitdrukkingherkenning vereisen steeds vaker verklaringen die niet louter plausibel zijn, maar ook getrouw (faithful) — wat betekent dat de verklaring de werkelijke factoren moet reflecteren die de voorspelling drijven. Huidige benaderingen vallen uiteen in twee categorieën, die beide een gebrek aan getrouwheid vertonen:

1. Structureel-causale methoden: Deze modelleren Action Units (AUs) en expressies met behulp van causale grafen, maar zijn puur discriminerend. Ze verwerpen de herstelde structuur tijdens de inferentie en geven enkel labels of aandachtskaarten (attention maps) uit zonder verbaal onderbouwde rationales.
2. Multimodale Large Language Models (MLLMs): Deze genereren natuurlijke taal-rationales voor emoties op basis van AUs. Hun tekst is echter niet beperkt door geverifieerde causale structuren en wordt enkel geëvalueerd op plausibiliteit (bijv. tekstoverlap of GPT-gebaseerde beoordelaars). Bijgevolg vervangen ze vaak causale attributie door sjabloonmatching en falen ze om hun verklaringen bij tegenfeitelijke bewerkingen (counterfactual edits) bij te werken.

De kernkloof is de afwezigheid van een systeem dat een AU→emotie-redeneerder fundeert in een geverifieerde causale graaf en tegenfeitelijke getrouwheid afdwingt, waarbij wordt gewaarborgd dat een interventie op een causale AU zowel de voorspelling als de rationale verandert, terwijl een interventie op een irrelevante AU deze ongewijzigd laat.

2. Methodologie: FACR

Het voorgestelde systeem, Faithful Action-unit Causal Reasoning (FACR), adresseert deze kloof via drie geïntegreerde stadia:

A. Structurele AU→Emotie Causale Graaf Inductie ($G$)

FACR induceert een gerichte, polariteitsbewuste causale graaf $G = (A \cup C, E)$ onafhankelijk, in plaats van externe grafen te hergebruiken. De graaf wordt samengesteld uit drie bronnen:

• AU→Emotie Randen: Geschat via L1-geregulariseerde logistische regressie op de AffectNet × FABA gezamenlijke corpus.
• AU→AU Randen: Geschat via neighborhood selection op EmotioNet.
• Geverifieerde Substructuren: De pijn-substructuur wordt vastgesteld met behulp van de PSPI (Prkachin–Solomon Pain Intensity) formule als grondwaarheid. Voor andere emoties worden randen ingevuld vanuit EMFACS prototypen.
• Polariteit: Elke rand draagt een teken ($s \in \{-1, +1\}$) dat exciterende of inhiberende relaties aangeeft.

B. Graaf-geconditioneerde Redeneerder

Het systeem brengt een invoergezicht $x$ in kaart naar een ontbonden AU-latent $z \in \mathbb{R}^K$, waarbij elke coördinaat $z_k$ de aanwezigheid van AU $k$ vertegenwoordigt.

• Voorspelling: Een graaf-geconditioneerde kop voorspelt de emotieklasse $\hat{y}$ op basis van $z$.
• Rationale: Een taal-verbalizer genereert een natuurlijk taalverklaring die de actieve AUs en hun causale randen in $G$ benoemt.
• Interventiemechanisme: De latente ruimte maakt goed gedefinieerde $do$-interventies mogelijk (bijv. $do(z_k=0)$), wat het verwijderen van een AU simuleert.

C. Tegenfeitelijke-Getrouwheidsobjectief

FACR introduceert een trainingsdoelstelling die de voorspelling en de rationale koppelt aan de graaf $G$ via twee termen:

1. Sensitiviteitsterm ($L_{sens}$): Vereist dat het verwijderen van een AU $a_k$ die door $G$ als causaal voor klasse $c$ wordt gemarkeerd, de klasse-logit in de richting beweegt die door de rand-polariteit wordt gesuggereerd.
2. Invariantieterm ($L_{inv}$): Vereist dat het verwijderen van een AU $a_k$ die als irrelevant voor klasse $c$ is gemarkeerd, de klasse-logit ongewijzigd laat.

De totale loss combineert classificatie-loss, AU-grounding loss en deze getrouwheidstermen:
$$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$$

D. Verbaal Geconstrueerde Rationale Constructie

Om te garanderen dat de gegenereerde tekst getrouw is, wordt de verbalizer door constructie gegate. De emissie van elk AU-token wordt gebiast door de latente activatie $z_k$. Als een AU inactief is in de latente ruimte, wordt deze sterk onderdrukt om niet in de tekst genoemd te worden. Dit zorgt ervoor dat het ablateren van een AU in de latente ruimte betrouwbaar leidt tot het verwijderen ervan uit de gegenereerde verklaring.

3. Belangrijkste Bijdragen

1. Formalisering: Beschouwt AU→emotie redeneren als een tegenfeitelijke consistentieprobleem tussen de rationale, de label en een causale graaf.
2. FACR Systeem: Stelt een systeem voor dat een MLLM-redeneerder fundeert in een onafhankelijk geïnduceerde, polariteitsbewuste causale graaf en getrouwheid afdwingt via $do$-interventies in een ontbonden latente ruimte.
3. Getrouwheidsmetriek: Introduceert een tegenfeitelijke getrouwheidsmetriek (sensitiviteit en invariantie) die wordt geëvalueerd tegen bekende structuren (PSPI voor pijn, EMFACS voor emotie). Cruciaal is dat deze metriek de getrouwheid aan de geleverde structuur test (op gehouden data), en niet de herontdekking van de structuur zelf.
4. Empirische Validatie: Toont aan dat de getrouwheidsobjectief de overeenstemming tussen aangeroepen AUs en causale structuren (PSPI en EMFACS) aanzienlijk verhoogt, terwijl het de trade-off met detectienauwkeurigheid expliciet kwantificeert.

4. Experimentele Resultaten

A. UNBC-PAIN (Pijn detectie)

Geëvalueerd met leave-one-subject-out (LOSO) cross-validatie:

• Winst in Getrouwheid: De getrouwheidsobjectief verhoogde de overeenstemming tussen aangeroepen AUs en de geverifieerde PSPI-compositie van een baseline van 0.08 (geen objectief) naar 0.57.
• Nauwkeurigheid Trade-off: Deze winst ging gepaard met een bescheiden, gekwantificeerde kostenpost voor de detectienauwkeurigheid, waarbij de AUC daalde van 0.83 (controle) naar 0.79 (FACR).
• Invariantie Herstel: Het aanpassen van de invariantie-weging ($\lambda_i$) maakte het mogelijk om zowel de sensitiviteits- als de invariantiebeperkingen simultaan te bevredigen.

B. Cross-Dataset Emotie Transfer (AffectNet × FABA $\to$ Aff-Wild2)

• Generalisatie: Het objectief verhoogde de graaf-causale overeenstemming van 0.50 naar 0.84 voor een zevenklasse emotie taak.
• Afhankelijkheid van Graafkwaliteit:
  • Met een geleerde (ruisende) graaf, bleef de overeenstemming met echt actieve AUs laag (0.24), passend bij de controle.
  • Met een geverifieerde graaf (EMFACS), steeg de overeenstemming met echt actieve AUs naar 0.59, terwijl de graaf-causale overeenstemming hoog bleef (0.74).
  • Dit bevestigt dat getrouwheid aan de graaf noodzakelijk maar niet voldoende is; de correctheid van de graaf bepaalt het plafond voor de uitlijning met de realiteit.
• Vergelijking met EmoLA: Een gepubliceerde affectieve MLLM (EmoLA) behaalde een hogere recall van actieve AUs (0.52 vs. 0.37) door veel AUs indiscriminant te benoemen. Echter, FACR met een geverifieerde graaf behaalde een hogere precisie (0.59 vs. 0.51) en een hogere getrouwheid aan de causale structuur (0.74 vs. 0.63), wat aantoont dat het de juiste causale AUs selecteert in plaats van simpelweg veel AUs.

C. Audit van de Verbaal Geconstrueerde Rationale

• Constructie vs. Leren: Een verbalizer getraind om actieve AUs te benoemen zonder gating was ongetrouw (slechts 6% van de geablateerde AUs werden uit de tekst verwijderd).
• Succes van Gating: Met de gating-beperking leidde het ableren van een causale AU betrouwbaar tot het verwijderen ervan uit de gegenereerde tekst.
• Backbone Agnostisch: Het getrouwheidsmechanisme werd overgedragen naar een tweede taalmodel-backbone (Gemma 3), wat bevestigt dat het mechanisme niet specifiek is voor het basismodel.

5. Betekenis en Claims

Het artikel claimt dat FACR een route biedt naar geconstrueerde, en niet louter plausibele verklaringen in AU→emotie redeneren.

• Getrouwheid is verschillend van Nauwkeurigheid: De studie toont aan dat getrouwheid en nauwkeurigheid afzonderlijke assen zijn; een model kan getrouwer worden gemaakt zonder nauwkeuriger te worden, wat aparte metrieken noodzakelijk maakt.
• Interventiehandle: In tegenstelling tot eerder werk, biedt FACR een auditeerbare interventiehandle (de AU-latente ruimte) die de afhankelijkheid van de voorspelling van de verklaring test.
• Ontwerpprincipe: Getrouwheid is het meest robuust wanneer het door constructie wordt afgedwongen (via gating en causale beperkingen) in plaats van enkel door capaciteit of data alleen te leren.
• Beperkingen: De auteurs geven expliciet aan dat FACR geen state-of-the-art herkenningsmodel is (bescheiden AUC/F1 scores) en dat de uitlijning met de realiteit begrensd wordt door de correctheid van de geleverde causale graaf. De methode claimt niet de structuur te herontdekken, maar er getrouw aan te voldoen.