💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINO is een multi-task leer-systeem voor de 11e ABAW challenge dat een conditionele rectified-flow kop op een DINOv3 backbone gebruikt om de ambiguïteit van gezichtsuitdrukkingen te modelleren via onzekerheidsbewuste generatieve voorspellingen, waarbij het significante prestatiewinsten behaalt in valentie-arousal schatting, expressieclassificatie en action unit detectie.

Oorspronkelijke auteurs: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden hoe een vriend zich voelt door alleen naar één foto van zijn gezicht te kijken. Het is een lastig spel. Een kleine glimlach kan betekenen dat iemand gelukkig is, of misschien is iemand gewoon beleefd terwijl hij zich eigenlijk verdrietig voelt. Een gefronste wenkbrauw kan duiden op boosheid, of simpelweg op diepe concentratie. Dit is de wereld van "affective computing" — computers leren om menselijke emoties te lezen. Lange tijd probeerden wetenschappers modellen te bouwen die werkten als een strenge rechter, die elk gezicht in één enkel hokje dwongen: "Dit is 100% Blij" of "Dit is 100% Verdrietig." Maar menselijke gezichten zijn rommelig en ambigu. Soms bevat een gezicht een mix van gevoelens, of maakt de belichting een subtiele expressie moeilijk leesbaar. De grote vraag in dit vakgebied is: Hoe leren we een computer dat een gezicht niet slechts één enkel antwoord is, maar een heel spectrum aan mogelijkheden?

Dit artikel introduceert een nieuw systeem genaamd AffectFlow-DINO, ontworpen om precies dat probleem op te lossen. In plaats van de computer te dwingen om slechts één "beste gok" te kiezen voor de stemming van een persoon, heeft het team een model gebouwd dat leert om veel mogelijke stemmingen tegelijk te visualiseren. Denk aan een weervoorspeller. Een traditioneel model zou kunnen zeggen: "Het gaat om 14:00 uur regenen." Een beter, onzekerheidsbewust model zegt: "Er is een kans van 70% op regen, een kans van 20% op bewolking en een kans van 10% op zonneschijn." AffectFlow-DINO doet dit voor emoties. Het gebruikt een slimme wiskundige truc genaamd "rectified flow" om een wolk van plausibele emotionele staten te genereren voor elk gezicht dat het ziet. Door deze mogelijkheden te middelen, vindt het vaak een nauwkeuriger antwoord dan een standaardmodel ooit zou kunnen. De onderzoekers testten dit op een enorme dataset van echte gezichten en ontdekten dat hun systeem, door onzekerheid te omarmen, aanzienlijk beter werd in het herkennen van subtiele gevoelens, vooral voor zeldzame emoties zoals angst of verdriet die meestal worden genegeerd.

Het Probleem: De "One-Size-Fits-All" Valstrik

Stel je voor dat je een complex schilderij aan een vriend probeert te beschrijven via de telefoon. Als je gedwongen wordt om slechts één woord te kiezen om de hele afbeelding te beschrijven, zeg je misschien "Blauw". Maar het schilderij is eigenlijk een mix van blauw, grijs en een klein spatje rood. Als je alleen "Blauw" zegt, mis je de nuance.

In de wereld van gezichtsherkenning zijn computers vastgelopen in deze "één-woord" valstrik. Ze kijken naar een gezicht en proberen een enkele waarde te produceren voor "Valentie" (hoe positief of negatief de stemming is) en "Arousal" (hoe opgewonden of kalm iemand is), plus een lijst met gezichtsspierbewegingen die "Action Units" worden genoemd. Het probleem is dat gezichten in de echte wereld ambigu zijn. Een lichte trilling van de mond kan een glimlach zijn, een grimas, of gewoon een spierkramp. Een standaard computermodel perst al die ambiguïteit samen tot één enkele, rigide voorspelling, waardoor de onzekerheid die juist de aanwijzingen naar het juiste antwoord bevat, verloren gaat.

De Oplossing: Een "Wat-als"-Machine

De auteurs van dit artikel besloten de computer niet meer te vragen: "Wat is de emotie?", maar begonnen te vragen: "Wat zou de emotie kunnen zijn?"

Ze bouwden een systeem genaamd AffectFlow-DINO. Het begint met een krachtig, vooraf getraind "brein" (een DINOv3 visuele backbone) dat al erg goed is in het herkennen van gezichten. Maar in plaats van dat brein alleen een enkele gok te laten doen, hebben ze er een speciale "verbeeldingsmachine" bovenop geplaatst. Deze machine gebruikt een techniek genaamd Rectified Flow.

Hier is een eenvoudige manier om te visualiseren hoe het werkt:

De Ruis: Stel je voor dat je begint met een leeg canvas bedekt met statische ruis (zoals sneeuw op een tv-scherm).
De Reis: Het model leert een recht, efficiënt pad om die ruis in een specifieke emotie te veranderen. Het is als het trekken van een directe lijn van "verwarring" naar "geluk".
De Wolk: Wanneer het model een nieuw gezicht ziet, trekt het niet slechts één lijn. Het trekt veel lijnen van de ruis naar de emotieruimte. Elke lijn vertegenwoordigt een andere, plausibele interpretatie van dat gezicht.
Het Gemiddelde: Ten slotte neemt het het gemiddelde van al die lijnen. Als het gezicht duidelijk blij is, zullen alle lijnen naar "Blij" wijzen, en is het gemiddelde een sterk, zelfverzekerd "Blij". Als het gezicht ambigu is, zullen de lijnen uitwaaieren, en geeft het gemiddelde een genuanceerd antwoord dat de onzekerheid vangt.

De Resultaten: Beter Worden in het Moeilijke Werk

Het team testte hun systeem op de s-Aff-Wild2 dataset, die duizenden statische afbeeldingen van gezichten uit de echte wereld bevat. Deze afbeeldingen zijn lastig omdat ze vaak slecht verlicht zijn, gedeeltelijk bedekt zijn, of zeer subtiele expressies vertonen. Het doel was om drie dingen tegelijkert te voorspellen:

Valence-Arousal: Hoe positief/negatief en hoe opgewonden/kalm iemand is.
Expressies: Welke van acht emoties (zoals Vreugde, Angst, Verdriet) aanwezig is.
Action Units: Welke van twaalf specifieke gezichtsspieren bewegen.

De resultaten waren indrukwekkend. Door hun "verbeeldingsmachine" te gebruiken, verbeterde het model zijn vermogen om de Valence-Arousal scores te raden met een aanzienlijke marge (een verbetering van +0,058). Maar de echte magie gebeurde bij de zeldzame emoties.

In de echte wereld zijn sommige emoties zeer zeldzaam. In hun dataset kwam Angst slechts in ongeveer 3,8% van de gelabelde afbeeldingen voor, en ook Verdriet was vrij zeldzaam. Standaardmodellen negeren deze zeldzame gevallen meestal en voorspellen meestal "Neutraal" of "Overig". Het AffectFlow-DINO-systeem slaagde er echter in om het vermogen te herstellen om deze zeldzame emoties te detecteren.

Door een slimme post-processing stap (het apart afstemmen van de "beslissingsdrempel" voor elke emotie) toe te passen op een model dat specifiek op de taak was fijn afgesteld (fine-tuned), verhoogden ze het vermogen van het model om Angst te detecteren van een magere 3,8% F1-score naar 33,1%, en Verdriet van 17,1% naar 28,2%. Deze specifieke kalibratiestap vereiste geen volledige hertraining van het model; het was simpelweg een kwest van beter luisteren naar de signalen die het fijn afgestelde model al leerde.

Wat Ze Hebben Uitgesloten

De onderzoekers hebben niet zomaar één ding geprobeerd; ze hebben 26 verschillende ontwerpkeuzes getest om te zien wat er echt werkte.

Ze sloten "Alleen Flow" of "Alleen Deterministisch" uit: Ze ontdekten dat als ze alleen de "verbeeldingsmachine" (Flow) gebruikten zonder de standaard "één-gok" koppen, het model faalde. Omgekeerd, als ze alleen de standaard koppen gebruikten zonder de flow, misten ze de nuance. De twee onderdelen moeten samenwerken.
Ze sloten eenvoudige oplossingen voor onbalans uit: Ze probeerden de computer meer aandacht te laten besteden aan zeldzame emoties door simpelweg de wiskundige gewichten te veranderen of "Focal Loss" te gebruiken. Deze methoden werkten niet goed op zichzelf en maakten het model soms zelfs slechter op andere taken.
Ze sloten "Alles-in-één" fine-tuning uit: Ze probeerden alle mogelijke trucs (het veranderen van gewichten, bemonsteringsstrategieën, etc.) tegelijk te combineren. Verrassend genoeg verbeterde deze "alles-in-één" aanpak de uiteindelijke score niet; het verzwakte zelfs soms het vermogen van het model om de stemming (Valence) accuraat in te schatten.

De Kernboodschap

Het artikel suggereert dat de sleutel tot betere emotieherkenning niet alleen het "slimmer" of "groter" maken van de computer is, maar het leren van de computer om comfortabel te zijn met onzekerheid. Door het model een reeks mogelijkheden te laten verkennen en deze vervolgens te middelen, bereikte AffectFlow-DINO een uiteindelijke prestatiescore van 1,177, wat meer dan het dubbele is van de officiële baseline score van 0,45.

De auteurs concluderen dat hoewel hun systeem een grote stap voorwaarts is, de grootste winsten voortkwamen uit twee zaken:

Het fijn afstellen van het visuele brein: Het aanpassen van de vooraf getrainde gezichtsherkenner aan de specifieke taak.
Het kalibreren van de beslissingsdrempels: Het inzicht dat de computer de zeldzame emoties eigenlijk wel "zag", maar alleen een zetje nodig had om zijn eigen vermoedens te vertrouwen.

Dit werk suggereert dat de toekomst van emotie-AI niet ligt in het forceren van één enkel antwoord, maar in het omarmen van de rommelige, veelzijdige realiteit van menselijke expressie.

Technisch Overzicht: AffectFlow-DINO

Probleemstelling

De 11e Affective Behavior Analysis in-the-wild (ABAW) competitie presenteert een uitdagend Multi-Task Learning (MTL) scenario waarbij elk statisch gezichtsbild gelijktijdig geannoteerd moet worden met drie complementaire affect-representaties: continue Valence-Arousal (VA) waarden, een acht-weg categorische expressielabel en twaalf binaire Action Unit (AU) labels.

Deze setting introduceert significante moeilijkheden:

Heterogene Doelstellingen: De taken verschillen in outputtype (regressie, single-label classificatie en multi-label detectie) en supervisiedichtheid.
Ernstige Class Imbalance: De s-Aff-Wild2 dataset vertoont een 8× onbalans in expressieklassen (gedomineerd door Neutral, Other en Happiness) en een 29× onbalans in AUs.
Incomplete Supervisie: Gecombineerde drie-taken annotaties dekken slechts 37% van de trainingsframes, wat robuuste afhandeling van ontbrekende labels vereist.
Perceptuele Ambiguïteit: In-the-wild gezichtsgedragingen (bijv. subtiele glimlachen, gedeeltelijke occlusies) komen vaak overeen met meerdere plausibele configuraties in de gezamenlijke affect-ruimte. Standaard deterministische modellen laten deze ambiguïteit ineenstorten tot een enkel punt-schatting, waardoor waardevolle onzekerheidsinformatie verloren gaat.

Methodologie: AffectFlow-DINO

De auteurs stellen AffectFlow-DINO voor, een frame-level MTL-systeem dat een standaard deterministische architectuur aanvult met een conditionele rectified-flow head om de volledige gezamenlijke affect-distributie $p(y|x)$ te modelleren.

Architectuur Overzicht

Het systeem bestaat uit vier primaire componenten:

Visuele Backbone: Een bevroren DINOv3 ViT-S/16 encoder extraheert rijke gezichtrepresentaties. De auteurs merken op dat DINO's zelfgesuperviseerde doelstellingen ruimtelijke semantische consistentie afdwingen, wat het zeer geschikt maakt voor het detecteren van gelokaliseerde spieractivaties (AUs) vergeleken met reconstructie-gebaseerde pre-training zoals MAE.
Gedeelde Projectie: Een projectie-head brengt de backbone-features in kaart naar een compacte 768-dimensionale affect-embedding $z$ .
Deterministische Heads: Drie taakspecifieke MLP-heads produceren puntvoorspellingen voor VA (beperkt tot $[-1, 1]$ via tanh), Expression (8 logits) en AUs (12 logits).
Conditionele Rectified-Flow Head: Deze kerninnovatie leert een generatieve transportmap van isotrope Gaussische ruis naar de conditionele doelverdeling $p(y|x)$ . Het neemt de afbeelding-embedding $z$ , een lineair geïnterpoleerde geruisde doelwaarde $y_t$ , en een tijd-embedding $\gamma(t)$ als input om de transportsnelheid te voorspellen.

Gezamenlijke Representatie en Gemaskeerde Supervisie

Het model verenigt heterogene doelstellingen in een enkele 22-dimensionale vector $y \in \mathbb{R}^{22}$ , bestaande uit VA (2 dim), Expression (8 dim) en AUs (12 dim). Tijdens de training worden categorische en binaire dimensies behandeld als onbeperkte reële scores binnen het flow-traject. Discrete voorspellingen worden pas tijdens de inferentie hersteld via $\arg\max$ en sigmoid-thresholding.

Om incomplete annotaties af te handelen, wordt een per-sample binaire validiteitsmasker $m_i$ toegepast op alle verliestermen. Dit zorgt ervoor dat ontbrekende doelwaarden geen gradiënten bijdragen of het flow-trainingssignaal verstoren. De auteurs argumenteren dat onder de aanname dat het ontbreken van annotaties onafhankelijk is van de werkelijke affect-waarden, masking het model in staat stelt om de volledige gezamenlijke distributie te leren van partiële marginalen.

Training en Inferentie

Verliesfunctie: De totale doelstelling combineert een gewogen deterministische multi-task loss ( $\mathcal{L}_{det}$ ) en een flow loss ( $\mathcal{L}_{flow}$ ):
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
De flow loss minimaliseert de kwadratische fout tussen de voorspelde snelheid en het ware constante snelheidsveld $v^* = y - \epsilon$ .
Inferentie: In plaats van een enkele forward pass, voert het model Monte Carlo sampling uit. $N$ onafhankelijke ruis-samples worden geïntegreerd via Euler-stappen van $t=0$ naar $t=1$ . De uiteindelijke voorspelling is het gemiddelde van deze trajecten, wat zowel een punt-schatting (het gemiddelde) als een onzekerheidsmaat (de spreiding) biedt.

Belangrijkste Bijdragen

Gemaskeerde Rectified-Flow MTL Doelstelling: Een nieuw framework dat gezamenlijk deterministische taak-heads en een generatieve conditionele distributie over een 22-dimensionale affect-vector optimaliseert, waarbij ontbrekende labels worden afgehandeld via masking.
Systematische Ablatie-studie: Een uitgebreide evaluatie die 26 designkeuzes beslaat op s-Aff-Wild2, variërend van flow loss weights, inferentie-efficiëntie, remedies voor onbalans, backbone fine-tuning en post-hoc kalibratie.
Post-Hoc Kalibratiestrategieën: De demonstratie dat per-AU en per-class expression threshold kalibratie effectief kan presteren op ernstig ongebalanceerde zeldzame klassen (bijv. Fear, Sadness, AU15, AU23) zonder hertraining.

Experimentele Resultaten

Het systeem werd geëvalueerd op de s-Aff-Wild2 validatiesplit. De officiële challenge baseline bereikt een samengestelde metriek $PMTL = 0.45$.

Baseline Prestaties: Een puur deterministisch model ( $\beta=0$ ) bereikt $PMTL = 0.793$. Het toevoegen van de flow head met flow decoding ( $\beta=1$ ) verbetert dit naar $PMTL = 0.826$, waarbij flow sampling specifelijk de Valence-Arousal (VA) schatting verbetert ($CCC-V +0.058$).
Backbone Fine-Tuning: Low-learning-rate fine-tuning van de DINOv3 backbone leverde de meest significante winst op, waarbij het beste frozen-backbone resultaat ($0.831$) werd verhoogd naar $PMTL = 1.045$. Interessant genoeg presteerde deterministische decoding beter dan flow decoding na fine-tuning, wat suggereert dat de flow head opnieuw getuned moest worden.
Flow Retuning: Het opnieuw activeren van de flow doelstelling ( $\beta=1.0$ ) tijdens backbone fine-tuning verbeterde de deterministische prestaties naar $PMml = 1.073$.
Kalibratie Winsten:
- Per-AU Threshold Kalibratie: Verbeterde $PAU$ van $0.453$ naar $0.502$, wat de totale score verhoogde naar $1.123$.
- Per-Class Expression Kalibratie: Door klasse-specifieke logits te tunen op de validatieset, kon het model het latente signaal voor zeldzame klassen herstellen. Fear F1 steeg van $3.8\%$ naar $33.1\%$ , en Sadness van $17.1\%$ naar $28.2\%$ .
Finale Prestaties: De combinatie van backbone fine-tuning, flow retuning ( $\beta=1.0$ ), en gecombineerde post-hoc kalibratie bereikte een finale $PMTL = 1.177$, wat aanzienlijk beter is dan de officiële baseline ($0.45$) en het beste ongekalibreerde fine-tuned model ($1.045$).

Betekenis en Claims

Het artikel beweert dat AffectFlow-DINO de waarde aantoont van het modelleren van gezicht-affect als een conditionele distributie in plaats van een deterministische mapping. De auteurs benadrukken drie primaire lessen:

Complementariteit van Doelstellingen: De flow en deterministische doelstellingen zijn wederzijds voordelig. Alleen trainen op flow resulteert in een instorting zonder de deterministische anker, terwijl alleen deterministische inferentie de distributieve capaciteit wegwerpt. Flow sampling is bijzonder effectief voor continue targets (VA) waar ambiguïteit het grootst is.
De Rol van Fine-Tuning: Hoewel backbone adaptatie de dominante factor is in prestatiewinst, degradeert het generatieve pad als de flow head niet gezamenlijk wordt her-getuned tijdens fine-tuning.
Het Ontsluiten van Zeldzame Signalen: Ernstige class imbalance onderdrukt geleerde signalen maar wist ze niet uit. De auteurs claimen dat post-hoc kalibratie bijna-nul F1-scores voor zeldzame categorieën (Fear, Sadness, zeldzame AUs) kan "ontsluiten" zonder kosten voor hertraining, wat suggereert dat beslissingsgrenzen kunnen worden aangepast om signalen naar boven te halen die al in de representatie zijn gecodeerd.

De auteurs concluderen dat het dichten van de kloof naar State-of-the-Art (SOTA) waarschijnlijk tijdelijke aggregatie en meer expressieve fine-tuned decoding vereist, waarbij zij opmerken dat hun huidige werk strikt frame-level is.