💻 computer science

Causal Supervision of Attention for Affective Behaviour Analysis

Dit artikel stelt een causaal supervisiekader voor aandachtmechanismen in affectieve gedragsanalyse voor, dat subject-invariante focus afdwingt, niet-redundante representaties aanmoedigt door middel van cross-covariantieregulering en de expressiviteit van kenmerken versterkt via gated niet-lineaire transformaties om de state-of-the-art prestaties te bereiken in de 11e Affective Behaviour Analysis in-the-wild Competitie.

Oorspronkelijke auteurs: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om jouw gezicht te lezen en te raden hoe je je voelt. Je wilt dat de robot een oprechte glimlach of een frons herkent, toch? Maar hier komt het lastige deel: de robot is easily afleidbaar. De robot kan denken: "O, deze persoon ziet er verdrietig uit omdat hij een grote neus heeft," of "Deze persoon ziet er blij uit omdat de zon op hun voorhoofd schijt." Dit zijn spuriële correlaties—aanwijzingen die niets te maken hebben met werkelijke emoties, maar die toevallig vaak voorkomen in de trainingsdata. Als de robot deze slechte gewoonten aanleert, zal hij hopeloos falen wanneer hij iemand ontmoet met een andere neus of onder andere lichtomstandigheden.

De auteurs van dit artikel stellen een slimme nieuwe manier voor om de "aandacht" van de robot te trainen, zodat hij stopt met kijken naar de verkeerde dingen en begint te focussen op de echte emotionele signalen, ongeacht wie er voor de camera staat. Ze noemen hun methode Causal Supervision of Attention.

De Drie Magische Trucs

Om de slechte gewoonten van de robot te corrigeren, voegde het team drie speciale ingrediënten toe aan het leerproces:

1. Het "Wat als?" Spel (Causal Supervision)
Normaal gesproken kijkt een robot gewoon naar een gezicht en doet een gok. Dit team liet de robot een "Wat als?" spel spelen. Ze vroegen hem: "Als ik je zou dwingen om de neus te negeren en alleen naar de ogen te kijken, zou je gok over de emotie dan veranderen?"
Ze creëerden een "contrafactische" versie van de aandacht (een nepversie waarbij de robot naar willekeurige plekken kijkt) en vergeleken deze met de echte versie. In plaats van alleen de ruwe magnitude van het verschil te maximaliseren, maximaliseerden ze de Total Direct Effect (TDE)—een specifieke maatstaf voor de causale bijdrage van aandacht aan de voorspelling. Door dit te doen, moedigden ze de robot aan om te focussen op subject-invariante gezichtsregio's—gebieden die consistent emoties voorspellen bij verschillende mensen, in plaats van alleen specifieke kenmerken van één persoon. Dit zorgt ervoor dat de robot leert te letten op regio's met een invariante voorspellende waarde, waardoor hij effectief onderscheid maakt tussen ware affectieve signalen en spuriële factoren zoals identiteit of verlichting, zonder de identiteit noodzakelijkerwijs volledig te negeren.

2. De "Geen Overlap" Regel (Cross-Covariance Regularization)
Denk aan het brein van de robot als twee teams van werkers: het Key-team (die beslissen waar er gekeken wordt) en het Value-team (die de details verzamelen van wat ze zien).
In standaardmodellen praten deze twee teams vaak door elkaar heen en herhalen ze dezelfde informatie. Het is alsof er twee mensen in een kamer staan die beiden roepen: "Kijk naar de ogen!", terwijl ze de mond negeren. De auteurs introduceerden een regel om ervoor te zorgen dat deze twee teams complementair zijn, niet redundant. Ze voegden een straf toe als de Key- en Value-teams hetzelfde zouden zeggen. Dit dwingt hen om het werk te verdelen: de één focust misschien op de vorm van de wenkbrauwen, terwijl de ander zich richt op de spanning in de kaak, waardoor het uiteindelijke beeld veel rijker wordt.

3. De "Super-Transformer" (SwiGLU)
Ten slotte hebben ze de hersenkracht van de robot geüpgraded. Standaardmodellen gebruiken een simpele, rechte wiskundige truc om de verzamelde details te verwerken. De auteurs vervingen dit door een fancy, niet-lineair hulpmiddel genaamd SwiGLU.
Stel je voor dat de oude methode een rechte glijbaan was en de nieuwe methode een draaiende, kronkelende achtbaan. Dit stelt de robot in staat om veel fijnere, complexere details over emoties te vangen die een simpele glijbaan zou missen. Het maakt het begrip van de robot over "fijnmazige" gevoelens veel scherper.

Werkt het?

Het team testte dit op een enorme dataset van echte video's genaamd s-Aff-Wild2, waar mensen allerlei dingen doen in natuurlijke omgevingen. Ze maten het succes met een score genaamd P, die optelt hoe goed de robot presteerde bij drie taken: het raden van Valence-Arousal (hoe positief/negatief en hoe intens het gevoel is), het herkennen van Expressions (zoals blij of verdrietig), en het spotten van Action Units (kleine spierbewegingen in het gezicht).

Dit is wat ze vonden:

De Baseline: De standaard robot (die gebruikmaakt van een model genaamd ConvNeXt) scoorde een 0.45 op de officiële validatieset.
De Nieuwe Methode: Wanneer ze hun nieuwe "Causal Supervision"-trucs gebruikten met een krachtige visuele encoder genaamd FRoundation, sprong de score naar 1.2214.
De Uitsplitsing: Specifiek voor het raden van Valence-Arousal kregen ze een score van 0.5123. Voor het herkennen van expressies kregen ze een F1-score van 0.3116, en voor het spotten van spierbewegingen een 0.3974.

Ze hebben de test ook vijf keer uitgevoerd (via 5-fold cross-validation) om er zeker van te zijn dat de resultaten niet op geluk berustten. De nieuwe methode versloeg de oude methode consequent, waarbij de gemiddelde score verbeterde van 0.8730 naar 0.9569 met één type brein (DINOv2) en van 1.0524 naar 1.1948 met het andere (FRoundation).

De Kernboodschap

Het artikel suggereert dat door de robot te dwingen om ware emotionele signalen te onderscheiden van "valse" aanwijzingen (zoals identiteit of verlichting) en te focussen op de delen van het gezicht die een invariante voorspellende waarde hebben over verschillende subjecten heen, we systemen kunnen bouwen die menselijke gevoelens veel beter begrijpen. Ze hebben dit niet alleen geraden; ze hebben het gemeten over duizenden afbeeldingen en ontdekten dat elk een van hun drie nieuwe trucs de robot beter liet presteren. Hoewel de robot nog niet perfect is (er is nog steeds ruimte om die scores te verbeteren), laat deze aanpak een duidelijke weg zien naar het maken van machines die ons echt "begrijpen", in plaats van alleen maar te gokken op basis van hoe we eruitzien.

Technische Samenvatting: Causale Supervisie van Aandacht voor Affectieve Gedragsanalyse

Probleemstelling
Affectieve Gedragsanalyse (ABA) streeft ernaar machines in staat te stellen menselijke emotionele toestanden af te leiden uit gedragssignalen, met name gezichtsuitdrukkingen, in ongecontroleerde ("in-the-wild") omgevingen. Hoewel deep learning-modellen aanzienlijke vooruitgang hebben geboekt, worstelen ze vaak met generalisatie naar onbekende subjecten. Deze beperking komt voort uit het feit dat modellen vaak gebruikmaken van spuriële correlaties—zoals identiteit, pose, verlichting, leeftijd en demografische variaties—in plaats van ware, invariante affectieve signalen te leren. In de context van de 11e Affective Behaviour Analysis in-the-wild (ABAW) Competitie wordt deze uitdaging geformaliseerd via een Multi-Task Learning (MTL) raamwerk dat simultane Valence-Arousal (VA) Schatting, Expressie (EX) Herkenning en Action Unit (AU) Detectie vereist. De kern van de moeilijkheid ligt in het onderscheiden van emotie-relevante signalen van deze verstorende factoren om robuuste, subject-invariante representaties te bereiken.

Methodologie
De auteurs stellen een causaal geïnspireerd attention pooling-raamwerk voor dat is ontworpen om zowel de selectie als de representatie van affectieve signalen te verbeteren. De architectuur is gebaseerd op een standaard pijplijn bestaande uit een bevroren Vision Transformer (ViT) backbone voor feature extractie, gevolgd door een Temporal Convolutional Network (TCN) voor temporele modellering, en taakspecifieke predictiekoppen. Het raamwerk introduceert drie specifieke modificaties aan het aandachtsmecanisme om de robuustheid en expressiviteit te vergroten:

Causale Supervisie voor Aandacht (CSA): Om aandacht af te dwingen op gezichtsregio's met een invariante voorspellende waarde over verschillende subjecten heen, integreren de auteurs een causaal supervisiesignaal. Dit omvat een "factueel" pad waarbij het model voorspelt op basis van geleerde aandachtsgewichten, en een "contrafactueel" pad waarbij aandachtsgewichten worden vervangen door willekeurige, genormaliseerde vectoren die zijn gesampled uit een Gaussische distributie. Het model wordt getraind om de Total Direct Effect (TDE) te maximaliseren—het verschil tussen de factuele en contrafactuele voorspellingen—waardoor het aandachtsmecanisme wordt aangemoedigd om consequent causaal relevante gezichtsregio's te identificeren in plaats van te vertrouwen op spuriële correlaties.
Cross-Covariantie Onafhankelijkheidsregularisatie: Om redundantie tussen de Key ( $K$ ) en Value ( $V$ ) projecties in scaled dot-product attention aan te pakken, introduceren de auteurs een cross-covariantie regularisatieverlies. Door de Frobenius-norm van de cross-covariantie-matrix tussen gecentreerde $K$ - en $V$ -representaties te minimaliseren, stimuleert de methode complementaire, niet-redundante feature-codering, waardoor meer modelcapaciteit kan worden toegewezen aan onderscheidende, taak-relevante informatie.
Nietlineaire SwiGLU Value Projectie: De standaard lineaire projectie voor de Value ( $V$ ) component wordt vervangen door een SwiGLU (Sigmoid Linear Unit Gated Linear Unit) transformatie. Deze nietlineaire laag verhoogt de representatieve capaciteit van de value-projectie, waardoor het model fijnere affectieve signalen kan vastleggen vóór de aandacht-gebaseerde aggregatiestap.

Belangrijkste Bijdragen
Het artikel presenteert een verenigd raamwerk dat principes van causale inferentie integreert in aandachtsmecanismen voor affectieve computing. De primaire bijdragen zijn:

De introductie van Causale Supervisie voor Aandacht, die gebruikmaakt van contrafactuele generatie en TDE-maximalisatie om aandacht te sturen naar subject-invariante, emotie-relevante gezichtsregio's.
De formulering van een cross-covariantie onafelijkheidsregularisatie verlies om Key- en Value-representaties te ontkoppelen, wat redundantie in features vermindert.
De vervanging van lineaire Value-projecties door SwiGLU-gebaseerde nietlineaire transformaties om de expressiviteit van features te verhogen.
Een uitgebreide evaluatie op de s-Aff-Wild2 dataset die aantoont dat deze componenten gezamenlijk de generalisatie over meerdere affectieve taken verbeteren.

Experimentele Resultaten
De methode is geëvalueerd op de s-Aff-Wild2 dataset met behulp van twee verschillende backbones: DINOv2 (voorgetraind op algemene afbeeldingen) en FRoundation (gespecialiseerd voor gezichtsafbeeldingen). Prestaties werden gemeten met de officiële ABAW MTL-metriek $P$ , die de gemiddelde Concordance Correlation Coefficient (CCC) voor VA, de gemiddelde F1-score voor Expressie ( $F_{EX}$ ) en de gemiddelde F1-score voor Action Units ( $F_{AU}$ ) optelt.

Baseline Vergelijking: Tegenover de officiële baseline (ConvNeXt met MixAugment, $P=0.45$ ) behaalde de voorgestelde methode aanzienlijk hogere scores. Met de FRoundation backbone bereikte de methode een totale score van 1.2214 op de officiële validatieset ( $CCC_{VA}=0.5123$ , $F_{EX}=0.3116$ , $F_{AU}=0.3974$ ).
Cross-Validatie: In een vijf-voudig cross-validatieprotocol presteerde de FRoundation backbone consistent beter dan DINOv2. De voorgestelde methode verbeterde de gemiddelde multitask score $P$ van 1.0524 (baseline) naar 1.1948 met FRoundation, en van 0.8730 naar 0.9569 met DINOv2.
Ablatieonderzoek: De studie bevestigde dat elke component bijdraagt aan de prestaties. Hoewel SwiGLU alleen gemengde resultaten liet zien afhankelijk van de backbone, verbeterde de combinatie van SwiGLU met ofwel Causale Supervisie ofwel Covariantie-regularisatie consequent de prestaties. Het volledige model (alle drie de componenten actief) leverde de beste resultaten op, wat winsten van ongeveer 9,6% (DINOv2) en 13,5% (FRoundation) betekende ten opzichte van hun respectievelijke baselines.

Betekenis
Het artikel beweert dat het voorgestelde raamwerk succesvol de uitdaging van spuriële correlaties in affectieve gedragsanalyse aanpakt door subject-invariante aandacht te bevorderen. Door de causale bijdrage van aandacht expliciet te modelleren en redundantie in feature-representaties te verminderen, produceert de methode robuustere en expressievere affectieve representaties. De resultaten suggereren dat het integreren van causale supervisie en structurele regularisatie in aandachtsmecanismen een effectieve strategie is om de generalisatie in ongecontroleerde affectieve computing-taken te verbeteren, met name bij het gebruik van gespecialiseerde gezicht-backbones zoals FRoundation.

De Drie Magische Trucs

Werkt het?

De Kernboodschap

Meer zoals dit