Causal Supervision of Attention for Affective Behaviour Analysis

Sintesi Tecnica: Supervisione Causale dell'Attenzione per l'Analisi del Comportamento Affettivo

Definizione del Problema
L'Analisi del Comportamento Affettivo (ABA) mira a consentire alle macchine di inferire gli stati emotivi umani dai segnali comportamentali, in particolare dalle espressioni facciali, in ambienti non vincolati ("in-the-wild"). Sebbene i modelli di deep learning abbiano compiuto progressi significativi, essi spesso faticano a generalizzare su soggetti non visti. Questa limitazione deriva dal fatto che i modelli frequentemente sfruttano correlazioni spurie — come identità, posa, illuminazione, età e variazioni demografiche — piuttosto che apprendere veri indizi affettivi invarianti. Nel contesto dell'11ª competizione di Affective Behaviour Analysis in-the-wild (ABAW), questa sfida è formalizzata attraverso un framework di Multi-Task Learning (MTL) che richiede la stima simultanea di Valenza-Arousal (VA), Riconoscimento dell'Espressione (EX) e Rilevamento delle Action Unit (AU). La difficoltà principale risiede nel distinguere i segnali rilevanti per l'emozione da questi fattori di confondimento per ottenere rappresentazioni soggettivamente invarianti e robuste.

Metodologia
Gli autori propongono un framework di pooling dell'attenzione ispirato alla causalità, progettato per migliorare sia la selezione che la rappresentazione degli indizi affettivi. L'architettura si basa su una pipeline standard che prevede un backbone Vision Transformer (ViT) congelato per l'estrazione delle caratteristiche, seguito da una Rete Convoluzionale Temporale (TCN) per la modellazione temporale e teste di predizione specifiche per il compito. Il framework introduce tre modifiche specifiche al meccanismo di attenzione per migliorarne la robustezza e l'espressività:

1. Supervisione Causale dell'Attenzione (CSA): Per imporre l'attenzione sulle regioni facciali con valore predittivo invariante tra i soggetti, gli autori integrano un segnale di supervisione causale. Questo comporta un percorso "fattuale", dove il modello predice basandosi sui pesi di attenzione appresi, e un percorso "controfattuale", dove i pesi di attenzione sono sostituiti da vettori normalizzati casuali campionati da una distribuzione Gaussiana. Il modello è addestrato per massimizzare l'Effetto Diretto Totale (TDE) — la differenza tra le predizioni fattuali e quelle controfattuali — incoraggiando così il meccanismo di attenzione a identificare costantemente le regioni facciali causalmente rilevanti piuttosto che fare affidamento su correlazioni spurie.
2. Regolarizzazione dell'Indipendenza della Cross-Covarianza: Per affrontare la ridondanza tra le proiezioni Key ($K$) e Value ($V$) nell'attenzione scalata dot-product, gli autori introducono una perdita di regolarizzazione della cross-covarianza. Minimizzando la norma di Frobenius della matrice di cross-covarianza tra le rappresentazioni centrate di $K$ e $V$, il metodo incoraggia una codifica di caratteristiche complementari e non ridondanti, permettendo al modello di dedicare maggiore capacità a informazioni distinte e rilevanti per il compito.
3. Proiezione del Valore con SwiGLU Non Lineare: La proiezione lineare standard per la componente Value ($V$) viene sostituita con una trasformazione SwiGLU (Sigmoid Linear Unit Gated Linear Unit). Questo strato non lineare aumenta la capacità rappresentativa della proiezione del valore, consentendo al modello di catturare indizi affettivi più fini prima dello step di aggregazione basato sull'attenzione.

Contributi Chiave
Il documento presenta un framework unificato che integra i principi dell'inferenza causale nei meccanismi di attenzione. I contributi primari sono:

• L'introduzione della Supervisione Causale dell'Attenzione, che utilizza la generazione controfattuale e la massimizzazione del TDE per guidare l'attenzione verso regioni facciali affettivamente rilevanti e invarianti rispetto al soggetto.
• La formulazione di una regolarizzazione dell'indipendenza della cross-covarianza per decomporre le rappresentazioni Key e Value, riducendo la ridondanza delle caratteristiche.
• La sostituzione delle proiezioni lineari del Value con trasformazioni non lineari basate su SwiGLU per migliorare l'espressività delle caratteristiche.
• Una valutazione completa sul dataset s-Aff-Wild2 che dimostra come questi componenti migliorino collettivamente la generalizzazione in molteplici compiti affettivi.

Risultati Sperimentali
Il metodo è stato valutato sul dataset s-Aff-Wild2 utilizzando due diversi backbone: DINOv2 (pre-addestrato su immagini generiche) e FRoundation (specializzato per immagini facciali). Le prestazioni sono state misurate utilizzando la metrica MTL ufficiale ABAW $P$, che somma il Coefficiente di Correlazione di Concordanza (CCC) medio per VA, il punteggio F1 medio per l'Espressione ($F_{EX}$) e il punteggio F1 medio per le Action Unit ($F_{AU}$).

• Confronto con il Baseline: Rispetto al baseline ufficiale (ConvNeXt con MixAugment, $P=0.45$), il metodo proposto ha ottenuto punteggi significativamente più alti. Con il backbone FRoundation, il metodo ha raggiunto un punteggio complessivo di 1.2214 sul set di validazione ufficiale ($CCC_{VA}=0.5123$, $F_{EX}=0.3116$, $F_{AU}=0.3974$).
• Cross-Validazione: In un protocollo di cross-validazione a cinque pieghe, il backbone FRoundation ha superato costantemente DINOv2. Il metodo proposto ha migliorato il punteggio multitask medio $P$ da 1.0524 (baseline) a 1.1948 con FRoundation, e da 0.8730 a 0.9569 con DINOv2.
• Studio di Ablazione: Lo studio ha confermato che ogni componente contribuisce alle prestazioni. Mentre lo SwiGLU da solo ha mostrato risultati misti a seconda del backbone, la combinazione di SwiGLU con la Supervisione Causale o la Regolarizzazione della Covarianza ha migliorato costantemente le prestazioni. Il modello completo (con tutti e tre i componenti attivi) ha prodotto i risultati migliori, rappresentando guadagni di circa il 9.6% (DINOv2) e del 13.5% (FRoundation) rispetto ai rispettivi baseline.

Significatività
Il documento sostiene che il framework proposto affronta con successo la sfida delle correlazioni spurie nell'analisi del comportamento affettivo promuovendo un'attenzione soggettamente invariante. Modellando esplicitamente il contributo causale dell'attenzione e riducendo la ridondanza nelle rappresentazioni delle caratteristiche, il metodo produce rappresentazioni affettive più robuste ed espressive. I risultati suggeriscono che l'integrazione della supervisione causale e della regolarizzazione strutturale nei meccanismi di attenzione sia una strategia efficace per migliorare la generalizzazione in compiti di computing affettivo non vincolati, in particolare quando si sfruttano backbone facciali specializzati come FRoundation.