💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINO è un sistema di apprendimento multi-task per l'11ª sfida ABAW che sfrutta una testa a flusso rettificato condizionale su un backbone DINOv3 per modellare l'ambiguità dell'affetto facciale attraverso predizioni generative consapevoli dell'incertezza, ottenendo guadagni significativi nelle prestazioni nella stima di valenza-attivazione, nella classificazione delle espressioni e nel rilevamento delle unità di azione.

Autori originali: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Pubblicato 2026-07-16

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di indovinare come si sente un amico guardando una singola foto del suo volto. È un gioco complicato. Un piccolo sorriso potrebbe significare che è felice, o forse sta solo essendo gentile mentre si sente triste. Una fronte corrugata potrebbe indicare rabbia, o solo profonda concentrazione. Questo è il mondo dell' "informatica affettiva" — insegnare ai computer a leggere le emozioni umane. Per molto tempo, gli scienziati hanno cercato di costruire modelli che agissero come un giudice severo, costringendo ogni volto in una singola scatola rigida: "Questo è 100% Felice" o "Questo è 100% Triste". Ma i volti umani sono disordinati e ambigui. A volte, un volto contiene un mix di sentimenti, o l'illuminazione rende difficile leggere un'espressione sottile. La grande domanda in questo campo è: come possiamo insegnare a un computer che un volto non è solo una singola risposta, ma un intero intervallo di possibilità?

Questo articolo presenta un nuovo sistema chiamato AffectFlow-DINO, progettato per risolvere esattamente questo problema. Invece di costringere il computer a scegliere un solo "miglior tentativo" per l'umore di una persona, il team ha costruito un modello che impara a immaginare molti possibili stati d'animo contemporaneamente. Pensatelo come un previsore del tempo. Un modello tradizionale potrebbe dire: "Pioverà alle 14:00". Un modello migliore, consapevole dell'incertezza, dice: "C'è una probabilità del 70% di pioggia, una del 20% di nuvole e una del 10% di sole". AffectFlow-DINO fa questo per le emozioni. Utilizza un astuto trucco matematico chiamato "flusso rettificato" (rectified flow) per generare una nuvola di stati emotivi plausibili per ogni volto che vede. Facendo la media di queste possibilità, spesso trova una risposta più accurata di quanto un modello standard potrebbe mai fare. I ricercatori hanno testato il sistema su un enorme dataset di volti del mondo reale e hanno scoperto che, abbracciando l'incertezza, il loro sistema è diventato significativamente più bravo a individuare sentimenti sottili, specialmente per emozioni rare come la paura o la tristezza che di solito vengono ignorate.

Il Problee: La trappola del "Taglia Unica"

Immagina di cercare di descrivere un dipinto complesso a un amico al telefono. Se sei costretto a scegliere una sola parola per descrivere l'intera immagine, potresti dire "Blu". Ma il dipinto è in realtà un mix di blu, grigio e un piccolo tocco di rosso. Se dici solo "Blu", perdi la sfumatura.

Nel mondo del riconoscimento facciale, i computer sono rimasti intrappolati in questo problema della "parola singola". Guardano un volto e cercano di produrre un singolo numero per la "Valenza" (quanto un umore sia positivo o negativo) e l' "Arousal" (quanto sia eccitato o calmo), oltre a una lista di movimenti dei muscoli facciali chiamati "Unità d'Azione" (Action Units). Il problema è che, nel mondo reale, i volti sono ambigui. Un leggero tic della bocca potrebbe essere un sorriso, una smorfia o solo uno spasmo muscolare. Un modello informatico standard schiaccia tutta questa ambiguità in una singola previsione rigida, gettando via l'incertezza che in realtà contiene gli indizi per la risposta corretta.

La Soluzione: Una macchina del "E se..."

Gli autori di questo articolo hanno deciso di smettere di chiedere al computer "Qual è l'emozione?" e hanno iniziato a chiedere "Quale potrebbe essere l'emozione?".

Hanno costruito un sistema chiamato AffectFlow-DINO. Inizia con un potente "cervello" pre-addestrato (un backbone visivo DINOv3) che è già molto bravo a riconoscere i volti. Ma invece di lasciare semplicemente che questo cervello faccia un singolo tentativo, hanno aggiunto sopra di esso un speciale "motore di immaginazione". Questo motore utilizza una tecnica chiamata Flusso Rettificato (Rectified Flow).

Ecco un modo semplice per visualizzare come funziona:

Il Rumore: Immagina di iniziare con una tela bianca coperta da rumore statico (come la neve della TV).
Il Viaggio: Il modello impara un percorso diretto ed efficiente per trasformare quel rumore in un'emozione specifica. È come disegnare una linea diretta dalla "confusione" alla "felicità".
La Nuvola: Quando il modello vede un nuovo volto, non disegna solo una linea. Disegna molte linee dal rumore allo spazio delle emozioni. Ogni linea rappresenta un'interpretazione diversa e plausibile di quel volto.
La Media: Infine, prende la media di tutte quelle linee. Se il volto è chiaramente felice, tutte le linee punteranno a "Felice" e la media sarà un "Felice" forte e sicuro. Se il volto è ambiguo, le linee si disperderanno e la media fornirà una risposta sfumata che cattura l'incertezza.

I Risultati: Diventare bravi nelle cose difficili

Il team ha testato il loro sistema sul dataset s-Aff-Wild2, che contiene migliaia di immagini statiche di volti dal mondo reale. Queste immagini sono difficili perché sono spesso scarsamente illuminate, parzialmente coperte o mostrano espressioni molto sottili. L'obiettivo era prevedere tre cose contemporaneamente:

Valenza-Arousal: Quanto una persona è positiva/negativa e quanto è eccitata/calma.
Espressioni: Quale tra otto emozioni (come Gioia, Paura, Tristezza) è presente.
Unità d'Azione (Action Units): Quali dodici specifici muscoli facciali si stanno muovendo.

I risultati sono stati impressionanti. Usando il loro "motore di immaginazione", il modello ha migliorato la sua capacità di indovinare i punteggi di Valenza-Arousal di un margine significativo (un miglioramento del punteggio di +0,058). Ma la vera magia è avvenuta con le emozioni rare.

Nel mondo reale, alcune emozioni sono molto rare. Nel loro dataset, la Paura appariva solo in circa il 3,8% delle immagini etichettate, e anche la Tristezza era piuttosto rara. I modelli standard di solito ignorano questi casi rari, indovinando "Neutro" o "Altro" la maggior parte delle volte. Il sistema AffectFlow-DINO, tuttavia, è riuscito a recuperare la capacità di individuare queste emozioni rare.

Attraverso un astuto passaggio di post-elaborazione (regolando la "soglia decisionale" per ogni emozione separatamente) applicato a un modello che era stato affinato (fine-tuned) sul compito specifico, hanno potenziato la capacità del modello di rilevare la Paura da un misero punteggio F1 del 3,8% fino al 33,1%, e la Tristezza dal 17,1% al 28,2%. Questo specifico passaggio di calibrazione non ha richiesto il ri-addestramento dell'intero modello da zero; era solo questione di ascoltare più attentamente i segnali che il modello affinato stava già imparando.

Cosa hanno escluso

I ricercatori non hanno solo provato una cosa; hanno testato 26 diverse scelte di progettazione per vedere cosa funzionasse davvero.

Hanno escluso "Solo Flusso" o "Solo Deterministico": Hanno scoperto che se usavano solo l' "motore di immaginazione" (Flusso) senza le normali teste di "singola ipotesi", il modello falliva. Viceversa, se usavano solo le teste standard senza il flusso, perdevano la sfumatura. Le due parti devono lavorare insieme.
Hanno escluso semplici correzioni per lo squilibrio: Hanno provato a far prestare al computer più attenzione alle emozioni rare semplicemente cambiando i pesi matematici o usando la "Focal Loss". Questi metodi non hanno funzionato bene da soli e a volte rendevano il modello peggiore in altri compiti.
Hanno escluso il fine-tuning "Kitchen Sink" (tutto in uno): Hanno provato a combinare ogni possibile trucco (cambiare pesi, strategie di campionamento, ecc.) tutto insieme. Sorprendentemente, questo approccio "kitchen sink" non ha migliorato il punteggio finale; anzi, a volte ha danneggiato la capacità del modello di indovinare l'umore (Valenza) con precisione.

Il Punto Fondamentale

L'articolo suggerisce che la chiave per un migliore riconoscimento delle emozioni non è solo rendere il computer "più intelligente" o "più grande", ma insegnargli a essere a proprio agio con l'incertezza. Lasciando che il modello esplori un intervallo di possibilità e poi ne faccia la media, AffectFlow-DINO ha raggiunto un punteggio di performance finale di 1,177, che è più del doppio del punteggio base ufficiale di 0,45.

Gli autori concludono che, sebbene il loro sistema sia un grande passo avanti, i maggiori guadagni sono derivati da due cose:

Affinare il cervello visivo: Regolare il riconoscitore di voli pre-addestrato per il compito specifico.
Calibrare le soglie decisionali: Rendersi conto che il computer stava effettivamente "vedendo" le emozioni rare, ma aveva solo bisogno di una spinta per fidarsi dei propri intuiti.

Questo lavoro suggerisce che il futuro dell'IA emotiva non risiede nel forzare una singola risposta, ma nell'abbraccre la realtà disordinata e sfaccettata dell'espressione umana.

Riepilogo Tecnico: AffectFlow-DINO

Problematica

L'undicesima competizione ABAW (Affective Behavior Analysis in-the-wild) presenta uno scenario di Multi-Task Learning (MTL) impegnativo in cui ogni immagine facciale statica deve essere simultaneamente annotata con tre rappresentazioni affettive complementari: valori continui di Valenza-Arousal (VA), un'etichetta di espressione categorica a otto vie e dodici etichette di Action Unit (AU) binarie.

Questa impostazione introduce difficoltà significative:

Target Eterogenei: I task differiscono per tipo di output (regressione, classificazione a etichetta singola e rilevamento multi-label) e densità di supervisione.
Severo Sbilanciamento delle Classi: Il dataset s-Aff-Wild2 presenta uno sbilanciamento di 8× nelle classi di espressione (dominato da Neutral, Other e Happiness) e di 29× nelle AU.
Supervisione Incompleta: Le annotazioni congiunte sui tre task coprono solo il 37% dei frame di addestramento, richiedendo una gestione robusta dei label mancanti.
Ambiguità Percettiva: I comportamenti facciali in contesti reali (ad esempio, sorrisi accennati, occlusioni parziali) spesso corrispondono a molteplici configurazioni plausibili nello spazio affettivo congiunto. I modelli deterministici standard collassano questa ambiguità in una singola stima puntuale, scartando preziose informazioni sull'incertezza.

Metodologia: AffectFlow-DINO

Gli autori propongono AffectFlow-DINO, un sistema MTL a livello di frame che aumenta un'architettura deterministica standard con una testa di flusso rettificato condizionale per modellare l'intera distribuzione affettiva congiunta $p(y|x)$ .

Panoramica dell'Architettura

Il sistema comprende quattro componenti primari:

Backbone Visivo: Un encoder DINOv3 ViT-S/16 congelato estrae ricche rappresentazioni facciali. Gli autori notano che gli obiettivi di auto-supervisione di DINO impongono una coerenza semantica spaziale, rendendolo ben adatto al rilevamento di attivazioni muscolari localizzate (AU) rispetto alla pre-formazione basata sulla ricostruzione come MAE.
Proiezione Condivisa: Una testa di proiezione mappa le caratteristiche del backbone in un embedding affettivo compatto di 768 dimensioni $z$ .
Teste Deterministiche: Tre teste MLP specifiche per il task producono predizioni puntuali per VA (vincolate a $[-1, 1]$ tramite tanh), Espressione (8 logit) e AU (12 logit).
Testa di Flusso Rettificato Condizionale: Questa innovazione centrale apprende una mappa di trasporto generativa dal rumore gaussiano isotropo alla distribuzione target condizionale $p(y|x)$ . Essa riceve l'embedding dell'immagine $z$ , un target rumoroso interpolato linearmente $y_t$ e un embedding temporale $\gamma(t)$ per predire la velocità di trasporto.

Rappresentazione Congiunta e Supervisione Mascherata

Il modello unifica i target eterogenei in un singolo vettore di 22 dimensioni $y \in \mathbb{R}^{22}$ , composto da VA (2 dim), Espressione (8 dim) e AU (12 dim). Durante l'addestramento, le dimensioni categoriche e binarie sono trattate come punteggi reali non vincolati all'interno della traiettoria di flusso. Le predizioni discrete vengono recuperate solo durante l'inferenza tramite $\arg\max$ e sogliatura sigmoidale.

Per gestire le annotazioni incomplete, viene applicata una maschera di validità binaria per campione $m_i$ a tutti i termini di perdita. Ciò assicura che i target mancanti non contribuiscano ai gradienti o distorcano il segnale di addestramento del flusso. Gli autori sostengono che, sotto l'ipotesi che la mancanza di annotazione sia indipendente dai veri valori affettivi, la mascheratura permetta al modello di apprendere la piena distribuzione congiunta partendo da marginali parziali.

Addestramento e Inferenza

Funzione di Perdita: L'obiettivo totale combina una perdita multi-task deterministica pesata ( $\mathcal{L}_{det}$ ) e una perdita di flusso ( $\mathcal{L}_{flow}$ ):
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
La perdita di flusso minimizza l'errore quadratico tra la velocità predetta e il campo di velocità costante $v^* = y - \epsilon$ .
Inferenza: Invece di un singolo passaggio in avanti, il modello esegue il campionamento Monte Carlo. $N$ campioni di rumore indipendenti vengono integrati tramite passi di Eulero da $t=0$ a $t=1$ . La predizione finale è la media di queste traiettorie, fornendo sia una stima puntuale (la media) sia una misura dell'incertezza (la dispersione).

Contributi Chiave

Obiettivo MTL a Flusso Rettificato Mascherato: Un nuovo framework che ottimizza congiuntamente le teste di task deterministiche e una distribuzione condizionale generativa su un vettore affettivo di 22 dimensioni, gestendo i label mancanti tramite mascheratura.
Studio di Ablazione Sistematico: Una valutazione estesa che copre 26 scelte di progettazione su s-Aff-Wild2, includendo pesi della perdita di flusso, efficienza dell'inferenza, rimedi allo sbilanciamento, fine-tuning del backbone e calibrazione post-hoc.
Strategie di Calibrazione Post-Hoc: La dimostrazione che la calibrazione delle soglie per singola AU e per classe di espressione può recuperare efficacementamente le prestazioni sulle classi rare severamente sbilanciate (es. Fear, Sadness, AU15, AU23) senza riaddestramento.

Risultati Sperimentali

Il sistema è stato valutato sulla split di validazione di s-Aff-Wild2. Il baseline ufficiale della sfida raggiunge un metrico composito $PMTL = 0.45$.

Prestazioni del Baseline: Un modello puramente deterministico ( $\beta=0$ ) raggiunge un $PMTL = 0.793$. L'aggiunta della testa di flusso con decodifica di flusso ( $\beta=1$ ) migliora questo valore a $PMTL = 0.826$, con il campionamento del flusso che potenzia specificamente la stima di Valenza-Arousal (VA) ($CCC-V +0.058$).
Fine-Tuning del Backbone: Il fine-tuning a basso tasso di apprendimento del backbone DINOv3 ha fornito il guadagno più significativo, elevando il miglior risultato con backbone congelato ($0.831 $) a$ PMTL = 1.045$. Interessante notare che, dopo il fine-tuning, la decodifica deterministica ha superato la decodifica di flusso, suggerendo che la testa di flusso richieda un nuovo settaggio.
Retuning del Flusso: Ri-attivare l'obiettivo di flusso ( $\beta=1.0$ ) durante il fine-tuning del backbone ha migliorato la prestazione deterministica a $PMTL = 1.073$.
Guadagni di Calibrazione:
- Calibrazione Soglia Per-AU: Ha migliorato il $PAU$ da $0.453 $a$ 0.502$, portando il punteggio totale a $1.123$.
- Calibrazione Classe-Espressione: Calibrando i logit specifici per classe sul set di validazione, il modello ha recuperato il segnale latente per le classi rare. L'F1 di Fear è passato dal $3.8\%$ al $33.1\%$ , e quello di Sadness dal $17.1\%$ al $28.2\%$ .
Prestazioni Finali: La combinazione di fine-tuning del backbone, retuning del flusso ( $\beta=1.0$ ) e calibrazione post-hoc combinata ha raggiunto un $PMTL = 1.177$, superando sostanzialmente il baseline ufficiale ($0.45$) e il miglior modello fine-tuned non calibrato ($1.045$).

Significato e Rivendicazioni

Il paper sostiene che AffectFlow-DINO dimostra il valore del modellare l'affetto facciale come una distribuzione condizionale piuttosto che come una mappatura deterministica. Gli autori evidenziano tre lezioni primarie:

Complementarità degli Obiettivi: Gli obiettivi di flusso e deterministici sono mutuamente benefici. L'addestramento solo con il flusso collassa senza l'ancora deterministica, mentre l'inferenza solo deterministica scarta la capacità distributiva. Il campionamento del flusso è particolarmente efficace per i target continui (VA) dove l'ambiguità è massima.
Il Ruolo del Fine-Tuning: Sebbene l'adattamento del backbone sia il fattore dominante nei guadagni di prestazione, il percorso generativo degrada se la testa di flusso non viene ri-ottimizzata congiuntamente durante il fine-tuning.
Sbloccare i Segnali Rari: Lo sbilanciamento estrevo delle classi sopprime i segnali appresi ma non li cancella. Gli autori affermano che la calibrazione post-hoc può "sbloccare" punteggi F1 vicini allo zero per le categorie rare (Fear, Sadness, AU rare) a costo zero di riaddestramento, suggerendo che i confini decisionali possono essere regolati per far emergere i segnali già codificati nella rappresentazione.

Gli autori concludono che colmare il divario con lo Stato dell'Arte (SOTA) richiede probabilmente l'aggregazione temporale e una decodifica fine-tuned più espressiva, notando che il loro lavoro attuale è strettamente a livello di frame.