iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

Riepilogo Tecnico: iMiGUE-3K: Un Benchmark su Larga Scala per l'Analisi delle Micro-Gesti con Apprendimento Auto-Supervisionato

Enunciato del Problema
La ricerca attuale nel calcolo affettivo e nella comprensione delle emozioni si basa prevalentemente sulle espressioni facciali e sulla voce, trascurando spesso il linguaggio del corpo. Sebbene esistano dataset per comportamenti facciali posati o spontanei, vi è un significativo vuoto di risorse su larga scala per le Micro-Gesti (MG)—movimenti involontari e subconsci guidati da sentimenti interiori (ad esempio, sfregarsi le mani a causa dello stress). Queste gesti sono cruciali per comprendere le emozioni represse, ma sono difficili da catturare e analizzare a causa della loro natura spontanea. Inoltre, molti dataset esistenti sono su piccola scala, portando a overfitting e a una trasferibilità limitata nei modelli fondazionali. Aggiuntivamente, molti dataset esistenti si basano su dati biometrici sensibili, sollevando preoccupazioni per la privacy. Attualmente non esiste un dataset su larga scala, "in-the-wild", progettato per supportare il pre-addestramento di modelli fondazionali specificamente per l'analisi delle micro-gesti.

Metodologia
Il paper propone un framework completo comprendente un nuovo dataset, una strategia di campionamento dei dati e una serie di modelli fondazionali.

1. Costruzione del Dataset iMiGUE-3K:

   • Fonte: I video sono stati raccolti dalle conferenze stampa post-partita di tennisti professionisti nell'arco di sette anni. Questo scenario fornisce un trigger emotivo naturale (vittoria/sconfitta) e minimizza il tempo di preparazione, elicitando MG spontanee.
   • Scala: Il dataset contiene 3.484 clip video (per un totale di >37 milioni di frame) provenienti da 332 soggetti distinti.
   • Annotazione: Include 32 classi di micro-gesti organizzate in cinque gruppi di parti del corpo (Corpo, Testa, Mano, Corpo-Mano, Testa-Mano) e etichette emotive a livello di video (Vittoria/Sconfitta).
   • Partizionamento: Il dataset è suddiviso in un sottoinsieme etichettato (341 video, 17.800 istanze di MG annotate manualmente) per la valutazione a valle e un ampio sottoinsieme non etichettato (circa 3.000 video) per il pre-addestramento auto-supervisionato.
   • Caratteristiche: I dati presentano una distribuzione a coda lunga delle categorie di gesti e coprono diversi background culturali e di genere.

2. Strategia di Campionamento per l'Apprendimento Auto-Supervisionato (SSL):

   • Per utilizzare i video non etichettati senza annotazioni temporali esaustive, gli autori propongono una strategia di campionamento per generare clip candidate di alta qualità.
   • Meccanismo: La strategia campiona clip basandosi su un prior empirico di durata derivato dal set di training etichettato. Impone vincoli di visibilità dei punti chiave facciali (assicurando che ancoraggi come naso e occhi siano rilevabili) e filtraggio di non-sovrapposizione temporale per ridurre ridondanza e rumore.
   • Output: Questo processo produce 120K clip scheletriche non etichettate adatte al pre-addestramento.

3. MG-FM (Modelli Fondazionali):

   • Gli autori introducono MG-FM, una serie di modelli fondazionali discriminativi progettati per apprendere rappresentazioni trasferibili per le MG.
   • Architettura: Il framework include due rami specifici per modalità:
     • MG-FM-Skele: Un modello basato sullo scheletro che adatta l'architettura USDRL con un Encoder Spazio-Temporale Denso a Doppio Flusso (DSTE). Utilizza obiettivi di decorrelazione delle caratteristiche (similarità, varianza, correlazione incrociata) su viste aumentate (jitter di velocità, omissione di frame, corruzione delle giunture).
     • MG-FM-RGB: Un modello basato su RGB che utilizza un framework di modellazione video mascherata stile insegnante-allievo SMILE. Ricostruisce target semantici di alto livello (estratti da un encoder ViCLIP congelato) anziché pixel grezzi, impiegando una strategia di pre-addestramento progressivo a due stadi.

4. Protocolli di Valutazione:
   Il benchmark valuta i modelli attraverso cinque compiti:

   • Riconoscimento MG non supervisionato (Linear probing).
   • Riconoscimento MG semi-supervisionato (Fine-tuning con il 10% di dati etichettati).
   • Riconoscimento MG supervisionato (Fine-tuning completo).
   • Recupero MG (Ricerca dei vicini più prossimi senza addestramento).
   • Riconoscimento delle emozioni basato su MG (Classificazione binaria a livello di video: Vittoria vs Sconfitta).

Contributi Chiave

1. iMiGUE-3K: Il primo dataset su larga scala, "in-the-wild", specificamente progettato per l'analisi delle micro-gesti, che supporta il pre-addestramento di modelli fondazionali. Colma il divario tra riconoscimento del comportamento e comprensione delle emozioni collegando le MG agli stati emotivi (vittoria/sconfitta).
2. Benchmark Ampliato: Estende la portata oltre la classificazione a set chiuso includendo il recupero MG e il riconoscimento delle emozioni basato su MG, muovendosi verso un'analisi affettiva a livello di istanza e a livello di video.
3. Strategia di Campionamento Innovativa: Un metodo scalabile per generare clip candidate di alta qualità e di lunghezza MG da video non etichettati utilizzando priori empirici di durata e vincoli di visibilità, abilitando un SSL efficace.
4. MG-FM: Una serie di modelli pre-addestrati auto-supervisionati (rami scheletrico e RGB) che apprendono rappresentazioni trasferibili per le micro-gesti.
5. Valutazione Completa: Esperimenti estesi che dimostrano come il pre-addestramento auto-supervisionato su larga scala migliori significativamente le prestazioni attraverso diversi compiti a valle, spesso eguagliando o superando le baseline completamente supervisionate.

Risultati

• Riconoscimento Non Supervisionato: La variante multi-flusso basata sullo scheletro (MG-FM-Skele) ha raggiunto una precisione Top-1 del 57,61% tramite linear probing, performando alla pari con il BlockGCN a 4 flussi completamente supervisionato (57,85%). Il ramo RGB ha raggiunto il 43,59%.
• Riconoscimento Semi-Supervisionato: Con solo il 10% di dati etichettati, MG-FM-RGB è migliorato significativamente fino al 60,16% Top-1, mentre il ramo scheletrico è rimasto competitivo.
• Riconoscimento Supervisionato: MG-FM-RGB ha raggiunto la massima precisione tra i metodi confrontati al 69,42% Top-1. Un ensemble multimodale (combinando scheletro e RGB) ha raggiunto il 71,60% Top-1, superando i metodi di ensemble supervisionati esistenti.
• Recupero: Il modello scheletrico ha dimostrato prestazioni di recupero superiori senza addestramento (40,06% Top-1 per il flusso di movimento) rispetto al modello RGB (22,56%).
• Riconoscimento delle Emozioni: Nel compito a livello di video (prevedere vittoria/sconfitta), il metodo proposto a due flussi ha raggiunto una precisione di 0,64, superando le baseline esterne (0,63) che utilizzavano pipeline più complesse incluse caratteristiche facciali.

Significato e Affermazioni
Il paper afferma che questo lavoro fornisce strumenti completi per l'analisi delle micro-gesti e getta una solida base per la ricerca futura nella diagnostica psicologica, nel calcolo affettivo e nell'interazione uomo-computer. Dimostrando che l'apprendimento auto-supervisionato su dati su larga scala e rispettosi della privacy (non specifici biometrici) può produrre rappresentazioni altamente trasferibili ai compiti a valle, gli autori sostengono che l'analisi basata sulle micro-gesti è un approccio vitale ed efficace per migliorare la comprensione delle emozioni. Il lavoro evidenzia che le macchine possono riconoscere e interpretare accuratamente questi segnali sottili e involontari per inferire stati emotivi, offrendo un'alternativa rispettosa della privacy al riconoscimento tradizionale delle emozioni basato su biometria.