Rethinking the Role of Feature Engineering and Learning Strategies in Few-Shot Hidden Emotion Recognition

Sintesi Tecnica: Ripensare il Ruolo dell'Ingegneria delle Caratteristiche e delle Strategie di Apprendimento nel Riconoscimento di Emozioni Nascoste con Few-Shot Learning

Definizione del Problema
Questo articolo affronta la sfida del riconoscimento di emozioni nascoste con few-shot learning in sequenze video lunghe, specificamente nel contesto del dataset iMiGUE (interviste post-partita di tennis senza audio). La difficoltà principale risiede nell'inferire stati affettivi latenti da comportamenti non verbali deboli, sparsi e privi di sensibilità all'identità, che possono apparire in pochissimi fotogrammi. Il compito è complicato dalla scarsità di dati etichettati, dallo sbilanciamento delle classi e dalla presenza di un significativo rumore di fondo e variazioni della telecamera. Gli autori mirano a determinare quali architetture di ingegneria delle caratteristiche e strategie di apprendimento temporale possano realmente guidare una robusta generalizzazione in questo scenario estremo, piuttosto che affidarsi a una "pseudo-generalizzazione" basata sulla memorizzazione mnemonica.

Metodologia
Gli autori propongono un framework compatto di modellazione temporale multimodale che riformula il compito come modellazione temporale multimodale consapevole degli offset (offset-aware). La metodologia è strutturata in tre componenti principali:

1. Ingegneria delle Caratteristiche Profonde e Costruzione delle Rappresentazioni:

   • Caratteristiche Cinematiche e Dinamiche: Il sistema estrae landmark scheletrici (corpo, volto, mani) sia 2D (OpenPose) che 3D (MediaPipe) e parametri di blendshape facciale. Fondamentalmente, questi vengono decomposti in "Caratteristiche Base" (pose statiche) e "Caratteristiche di Offset" (differenziazione numerica fotogramma per fotogramma che rappresenta le derivate del primo ordine del movimento). Questo spostamento costringe il modello a concentrarsi sulle velocità di micro-movimento relativo piuttosto che sui bias statici dell'identità.
   • Caratteristiche Visive e Semantiche: Per gestire il rumore di fondo, la pipeline impiega il ritaglio (cropping) basato su YOLO per ottenere caratteristiche visive fine-grained (estratte tramite DINOv2 e DINOv3) e utilizza X-CLIP per il contesto semantico globale dai video non ritagliati.
   • Prior di Alto Livello: Un Modello Vision-Language (Gemini) viene utilizzato con prompting Chain-of-Thought e Reflection per generare analisi psicologiche strutturate (FACS Action Units), che vengono codificate in prior semantici tramite embedding BERT/Qwen.
   • Nota: Un ramo esplorativo che utilizzava deformazioni di nuvole di punti gaussiane 3D (HRAvatar) è stato scartato a causa dell'instabilità in condizioni di video "wild" e della maledizione della dimensionalità.

2. Aggregazione Temporale e Architettura di Rete:

   • Adaptive Pooling: Per affrontare la scarsità di segnali emotivi in sequenze lunghe, gli autori impiegano uno strato di adaptive pooling basato sul Multiple Instance Learning (MIL). Questo apprende dinamicamente i pesi dell'attenzione per identificare e amplificare i fotogrammi emotivi di picco, sopprimendo al contempo il rumore di fondo.
   • Strategie di Fusione: Vengono confrontate due architetture:
     • Modellazione Indipendente: Tratta i flussi Base e Offset come modalità separate, fondendoli solo nello strato finale completamente connesso (fully connected).
     • Cross-Attention Base-Offset: Utilizza le caratteristiche statiche Base come Query e le caratteristiche dinamiche di Offset come Key/Value. Questo meccanismo inietta esplicitamente i prior cinematici, permettendo al modello di valutare le micro-deformazioni sotto specifici vincoli fisici.

3. Strategia di Addestramento Progressivo debolmente Supervisionato:

   • Fase 1 (Pre-addestramento Indipendente): Ogni modalità viene pre-addestrata indipendentemente su etichette di ground-truth per prevenire l'inerzia modale, dove i rami visivi dominanti potrebbero "affamare" i flussi più deboli (come gli offset del movimento).
   • Fase 2 (Fine-tuning Congiunto Debolmente Supervisionato): Il modello viene perfezionato utilizzando un mix di dati ground-truth e pseudo-etichette generate dal VLM Gemini sul set di test non etichettato.
   • Fase 3 (Auto-addestramento Iterativo): Un ensemble di voto multi-modello raffina le pseudo-etichette, che vengono poi utilizzate per guidare iterativamente l'addestramento. Il sistema utilizza la Focal Loss con regolazione dinamica dei parametri per evitare l'overfitting su "esempi difficili" che sono spesso solo rumore o errori di annotazione.

Risultati Chiave

• Performance nella Competizione: La soluzione proposta ha ottenuto il primo posto nel Track 3 della 4ª Sfida EI-MIGA-IJCAI con un'accuratezza di test di 0.76923.
• Risultati dell'Ablazione:
  • Il MIL ha fornito il guadagno di performance più significativo tra le strategie di potenziamento.
  • Le caratteristiche 3D MediaPipe hanno superato OpenPose 2D grazie a una migliore modellazione geometrica spaziale e alla gestione delle occlusioni.
  • Cross-Attention vs. Indipendente: Sebbene il meccanismo di Base-Offset Cross-Attention sia stato meno performante durante il pre-addestramento indipendente (a causa dell'overfitting), ha superato significativamente i flussi indipendenti durante la fase di fine-tuning congiunto, dimostrando il valore dei vincoli multimodali.
  • Caratteristiche Macro vs. Micro: X-CLIP (contesto macro) e Gemini (prior semantici) sono stati altamente efficaci. Al contrario, le caratteristiche dense dei modelli di visione foundation general-purpose (DINOv2/v3) hanno mostrato un collasso della rappresentazione, fallendo nel catturare micro-espressioni fini senza un adattamento specifico del dominio.

Significato e Analisi Critica
Il contributo primario del paper non è semplicemente il punteggio di vittoria, ma una rigorosa analisi critica delle dinamiche di apprendimento nel riconoscimento di emozioni nascoste con few-shot learning:

1. Modellazione Consapevole degli Offset (Offset-Aware): Gli autori dimostrano che modellare esplicitamente gli offset temporali (velocità) piuttosto che le pose assolute è essenziale per catturare prove comportamentali deboli.
2. La Trappola della "Pseudo-Generalizzazione": Una parte significativa del paper è dedicata all'analisi di una "degenerazione patologica" in cui reti sovra-parametrizzate (specificamente quelle che utilizzano le feature DINO) ottengono un'alta accuratezza di addestramento ma falliscono sul test set. Gli autori sostengono che questi modelli spesso ricorrono allo shortcut learning, memorizzando le pseudo-etichette come "tabelle di lookup hash implicite" invece di apprendere pattern generalizzabili.
3. Bias della Classifica (Leaderboard Bias): Il paper avverte che fare affidamento sul feedback pubblico della classifica per l'auto-addestramento iterativo può portare a un bias di sopravvivenza. I guadagni di performance in questo regime possono derivare dalla cancellazione casuale del rumore multimodale su un particolare sottoinsieme di test piuttosto che da un consenso genuino, portando a un fallimento catastrofico di fronte a cambiamenti di dominio nel mondo reale.
4. Direzione Futura: Sebbene il ramo di ricostruzione Gaussiana 3D sia stato scartato per l'inferenza diretta a causa dell'instabilità, gli autori suggeriscono il suo potenziale per l'augmentation dei dati generativa, dove potrebbe sintetizzare campioni emotivi rari per affrontare gli squilibri della "long-tail".

In conclusione, il paper presenta un framework robusto che naviga con successo la scarsità di dati etichettati attraverso un attento decoupling delle caratteristiche e un ensembling debolmente supervisionato, offrendo al contempo un monito contro l'applicazione acritica di modelli foundation generalisti e l'ottimizzazione guidata dalle classifiche in compiti comportamentali sensibili e con few-shot learning.