The Circumplex Degeneracy Behind the Rare-Class Limit in Affect Recognition

Sintesi Tecnica: La Degenerazione Circomplessa dietro il Limite delle Classi Rare nel Riconoscimento dell'Affetto

Enunciato del Problema
I sistemi di riconoscimento delle espressioni facciali in contesti reali (in-the-wild) raggiungono costantemente un'accuratezza utilizzabile sulle emozioni comuni, ma falliscono sistematicamente su alcune classi rare, specificamente rabbia e paura (su Aff-Wild2) o rabbia e disprezzo (su AffectNet). L'interpretazione standard attribuisce questo fallimento allo sbilanciamento delle classi, suggerendo soluzioni come la ri-pesatura, il campionamento bilanciato o le focal losses. Tuttavia, questi interventi basati sulla frequenza non riescono a migliorare le prestazioni sulle classi più difficili. Questo articolo postula che il fallimento non sia una questione di frequenza, ma di geometria dell'affetto: le classi rare sono geometricamente degenerate (quasi coincidenti) nel modello circomplesso di Russell, una proprietà che limita l'efficacia di qualsiasi funzione di perdita o design dei costi.

Metodologia
Gli autori conducono uno studio multi-task controllato su due benchmark (Aff-Wild2 e AffectNet) utilizzando un encoder condiviso con teste specifiche per compito per Valenza-Arousal (VA), Espressione (EXPR) e Unità d'Azione (AU).

1. Termine di Trasporto Ottimale (OT) con Costo Circomplesso: Lo strumento primario è un termine di perdita strutturato che definisce i prezzi delle confusioni espressive in base alla loro distanza euclidea nel piano valenza-arousal. La metrica di base è derivata direttamente dalle annotazioni VA del dataset stesso, calcolando i centroidi delle classi ($\mu_c$) e utilizzando la distanza $D_{cc'} = \|\mu_c - \mu_{c'}\|$ come costo di trasporto.
2. Confronti Controllati: Per isolare se i guadagni di prestazione derivino dalla specifica geometria dell'affetto o semplicemente dalla presenza di una penalità non banale, gli autori introducono due controlli critici raramente utilizzati in questa letteratura:
   • Costo Uniforme: Sostituisce le distanze circomplessi strutturate con un valore costante, riducendo il termine OT a una generica penalità di confidenza.
   • Costo Permutato: Rimescola gli indici delle classi per preservare il multiset delle distanze pairwise ma distrugge la geometria semantica.
3. Metriche della Struttura dell'Errore: Poiché il Macro-F1 standard è invariante rispetto a quale classe errata viene predetta, gli autori introducono metriche sensibili alla geometria: Severità dell'Errore (distanza circomplessa media delle misclassificazioni), Preservazione del Quadrante e Accuratezza Pesata sull'Affetto.
4. Analisi Rappresentazionale: Lo studio confronta encoder auto-supervisionati per il volto (FSFM) con encoder visione-linguaggio per il volto (FaRL) e modelli visione-linguaggio generali (SigLIP 2) per determinare se lo spazio delle caratteristiche codifichi già la struttura circomplessa.
5. Augmentation tramite Unità d'Azione (AU): Un esperimento costruisce un costo di base utilizzando le firme delle AU per separare esplicitamente le coppie degenerate (ad esempio, rabbia vs paura), testando se un costo con una maggiore risoluzione geometrica possa superare i limiti della rappresentazione.

Risultati Chiave

• Il Guadagno di Punteggio è Generico, Non Geometrico: Il termine OT con costo circomplesso migliora il punteggio multi-task ufficiale (PMTL) e l'Espressione Macro-F1 su entrambi i dataset. Tuttavia, il controllo del costo uniforme riproduce interamente questi guadagni. Su Aff-Wild2, il costo uniforme è statisticamente indistinguibile dal costo circomplesso ($p=0.625$); su AffectNet, il costo uniforme supera significativamente il costo circomplesso ($+0.057$ rispetto al base vs $+0.052$ per il circomplesso). Ciò indica che il miglioramento del punteggio è un artefatto dell'aggiunta di una generica penalità di confidenza, non della geometria dell'affetto stessa.
• La Modellazione dell'Errore dipende dal Dataset: Sebbene il guadagno di punteggio sia generico, la geometria circomplessa modella effettivamente la struttura dell'errore su Aff-Wild2, rendendo gli errori sopravvissuti affettivamente più vicini alla verità (minore severità dell'errore, $p=0.031$). Questo effetto non sopravvive su AffectNet, dove un confondimento visivo (disprezzo scambiato per felicità) sovrasta il segnale geometrico.
• Il Limite delle Classi Rare è Stabile: Le coppie degenerate (rabbia-paura su Aff-Wild2; rabbia-disprezzo su AffectNet) resistono a ogni intervento. Le perdite basate sulla frequenza, il termine di trasporto e persino un costo aumentato da AU (che separa con successo le coppie nella matrice dei costi) non riescono a recuperare i punteggi F1 di queste classi.
• Origine Rappresentazionale: Il fallimento è identificato come rappresentazionale. Gli encoder visione-linguaggio (FaRL) codificano già la struttura circomplessa nelle loro caratteristiche, rendendo ridondante il termine di perdita geometrica. Al contrario, gli encoder auto-supervisionati per il volto (FSFM) mancano di questo allineamento. Crucialmente, anche quando la geometria del costo viene resa perfettamente separabile (tramite le firme AU), il modello non riesce a separare le classi, provando che il collo di bottiglia risiede nella rappresentazione delle caratteristiche, non nel pesaggio della perdita.

Contributi Chiave

1. Isolamento degli Effetti Geometrici: Il lavoro dimostra che i benefici apparenti della supervisione della geometria dell'affetto sono spesso effetti di regolarizzazione generica. Stabilisce i controlli del costo permutato e uniforme come standard necessari per valutare le perdite a costo strutturato nel riconoscimento dell'affetto.
2. Diagnosi del Fallimento delle Classi Rare: Gli autori diagnosticano il persistente fallimento delle espressioni rare come una degenerazione circomplessa. Questa degenerazione è un limite rappresentazionale; nessun design di costo può fabbricare la separabilità che la rappresentazione delle caratteristiche non possiede.
3. Nuove Metriche e Controlli: Il lavoro introduce la severità dell'errore, la preservazione del quadrante e il controllo del costo permutato per distinguere tra la modellazione dell'errore geometrico e la regolarizzazione generica, fornendo un resoconto onesto di dove gli effetti geometrici appaiono e dove non appaiono.
4. Analisi Rappresentazionale: Attraverso confronti controllati di domini di pre-training, lo studio mostra che la capacità di un modello di utilizzare la geometria dell'affetto dipende dal fatto che il dominio di pre-training (es. visione-linguaggio vs auto-supervisionato) abbia già codificato tale struttura.

Significato e Rivendicazioni
Il paper conclude che il progresso sulle espressioni rare non può essere ottenuto "ri-prezzando" le confusioni attraverso migliori funzioni di perdita o geometrie di costo. Invece, la soluzione richiede rappresentazioni che distinguano le classi. Gli autori sostengono che il campo abbia attribuito eccessivamente il successo alla supervisione geometrica quando spesso si tratta di un effetto di penalità generica, e che la vera barriera al riconoscimento delle emozioni rare sia il collasso di queste classi nello spazio delle caratteristiche a causa della loro degenerazione circomplessa. Lo studio raccomanda di spostare il focus dall'ingegneria della perdita allo sviluppo di rappresentazioni delle caratteristiche capaci di risolvere queste coppie degenerate, potenzialmente fondendo segnali ortogonali (come le Unità d'Azione) a livello di caratteristica piuttosto che a livello di perdita.