Riepilogo Tecnico: GMoT per il Ragionamento Video su Micro-Gestualità Fine-Grained

Problema

Il riconoscimento di micro-gesti (MGR) comporta il rilevamento di movimenti umani fugaci e spazialmente localizzati (ad esempio, una leggera contrazione delle spalle o una pressione delle labbra) che rivelano stati affettivi e cognitivi latenti. Queste azioni sono caratterizzate da bassa ampiezza, breve durata e regioni spaziali ristrette, spesso limitate a pochi fotogrammi.

Gli attuali Modelli Linguistici Multimodali (MLLM), pur essendo potenti per la comprensione video generale, faticano con l'MGR a causa di due limitazioni primarie:

1. Bias Statico: I comuni MLLM video si affidano a un campionamento temporale sparso e al pooling temporale, che diluiscono o perdono segnali cinematici sottili. Di conseguenza, i modelli tendono a fare affidamento su "prior posturali statici" (ad esempio, classificare una postura a braccia incrociate) piuttosto che sui segnali di movimento discriminativi.
2. Ragionamento Allucinato: Senza vincoli espliciti, gli MLLM generano spesso tracce di ragionamento plausibili ma visivamente non fondate ("ipotesi frettolose") per soddisfare l'etichetta di classificazione finale, fallendo nel fornire spiegazioni basate sull'evidenza.

Le valutazioni esistenti che si concentrano esclusivamente sulla precisione Top-1 all'interno di un singolo dataset non riescono a verificare se i modelli catturino realmente micro-dinamiche trasferibili o se memorizzino semplicemente i bias di aspetto specifici del dataset.

Metodologia: GMoT

Gli autori propongono GMoT (Gated Motion-Aware Tokenization), un modulo leggero progettato per iniettare un esplicito bias cinematico in un MLLM vanilla senza interrompere la sua interfaccia visivo-linguistica pre-addestrata. GMoT opera attraverso tre meccanismi principali:

1. Tokenizzazione Sensibile al Movimento (Motion-Aware Tokenization)

GMoT destilla indizi spazio-temporali sparsi in una sequenza compatta di token di movimento prima che vengano fusi con il flusso visivo:

• Salienza Spaziale Promossa dal Movimento: Uno scorer leggero proietta i token dei patch per generare punteggi di rilevanza, applicando una softmax spaziale per creare una rappresentazione pesata a livello di fotogramma. Questo funge da filtro appreso per amplificare l'evidenza del movimento localizzato pur sopprimendo il rumore di fondo.
• Differenziazione Temporale Ispirata alla Cinematica: Invece di fare affidamento su complessi mescolamenti temporali, GMoT calcola esplicite differenze tra fotogrammi adiacenti. Esso decompone questo processo in due flussi: la magnitudo media (che quantifica l'energia del movimento) e la differenza con segno (che preserva la cinematica direzionale). Questi vengono concatenati e proiettati in un token di movimento a lunghezza fissa.
• Gating Adattivo che Preserva la Semantica: Per evitare di interrompere lo spazio visivo-semantico allineato dell'MLLM pre-addestrato, il token di movimento viene fuso tramite un gate semantico conservativamente inizializzato ($\tilde{z}_t = z_t + \sigma(g) \odot m_t$). Il gate inizia in un regime "quasi chiuso", permettendo al modello di apprendere gradualmente quanta evidenza di movimento introdurre.

2. Strategia di Addestramento

Gli autori impiegano una pipeline di addestramento progressiva in quattro fasi per far transire il modello dalla semplice classificazione al ragionamento basato su evidenze:

• Fase 0 (Warm-up): Il modulo GMoT viene addestrato su dataset video generali mantenendo congelati l'LLM e l'encoder visivo per stabilizzare la generazione dei token di movimento.
• Fase 1 (Accoppiamento Video-Etichetta): Fine-tuning supervisionato (SFT) su coppie video-etichetta di micro-gesti utilizzando LoRA per allineare le rappresentazioni visive con la semantica specifica del dominio.
• Fase 2 (SFT in formato CoT): Il modello viene addestrato per generare descrizioni Chain-of-Thought (CoT) focalizzate su evidenze di movimento osservabili. Questa fase utilizza una pipeline di annotazione semi-automatica dove molteplici LMM generano descrizioni candidate, e un selettore (Qwen3-VL-MoE) sceglie quella che è corretta rispetto alla classe, visivamente fondata e priva di allucinazioni.
• Fase 3 (Raffinamento della Policy Guidato dal Reward): Una fase di apprendimento per rinforzo utilizzando la Group Relative Policy Optimization (GRPO). La funzione di ricompensa ($R_i$) combina quattro termini:
  • Correttezza dell'Etichetta ($R_{label}$): Premia le corrispondenze esatte, penalizza le ipotesi errate e penalizza severamente le allucinazioni fuori dominio.
  • Penalità di Predizione Pigra ($R_{lazy}$): Scoraggia il modello dall'eclatare le distribuzioni a coda lunga indovinando ripetutamente classi ad alta frequenza.
  • Conformità del Formato ($R_{format}$): Assicura che l'output segua il template CoT richiesto.
  • Focus sull'Osservazione ($R_{focus}$): Penalizza le tracce di ragionamento contenenti parole chiave irrilevanti dello sfondo.

Contributi Chiave

1. Modulo GMoT: Un approccio di tokenizzazione innovativo che integra salienza spaziale, differenziazione temporale esplicita e fusione controllata (gated fusion) negli MLLM, consentendo loro di catturare micro-gesti sottili senza pesanti convoluzioni 3D.
2. Addestramento Orientato al Ragionamento: Un framework che combina la supervisione CoT semi-automatica con una strategia progressiva di raffinamento della policy guidata dal reward. Ciò incoraggia il radicamento anatomico e la resistenza al "pigro" indovinare basato sull'aspetto.
3. Protocolli di Valutazione Più Ampi:
   • Recall del Grounding della Regione Corporea (BRG Recall): Una nuova metrica calcolata sui campioni classificati correttamente per quantificare quanto spesso il ragionamento del modello identifichi correttamente la regione anatomica rilevante.
   • Trasferimento Cross-Domain: Un protocollo di trasferimento con etichette sovrapposte tra i dataset iMiGUE e SMG per testare la robustezza sotto spostamento del dataset (dataset shift).

Risultati Sperimentali

Il metodo è stato valutato sui dataset iMiGUE e SMG utilizzando l'architettura Qwen3-VL-8B.

• Precisione Top-1: GMoT ha raggiunto il 67,32% su iMiGUE e il 73,11% su SMG. Ciò rappresenta un miglioramento di +6,80 e +3,11 punti rispetto al baseline Qwen3-VL-8B, rispettivamente.
• Confronto: Il modello aumentato con GMoT ha superato tutti i baseline CNN, Transformer e modelli a spazio di stato (SSM) confrontati, così come altri MLLM (es. InternVL2.5, Video-LLaMA2).
• Robustezza: Il modello ha mantenuto guadagni netti sotto corruzioni che preservano l'etichetta e ha dimostrato forti capacità di trasferimento cross-domain.
• Grounding: Il framework ha dimostrato un alto radicamento anatomico nei suoi ragionamenti generati, come misurato dal proposto BRG Recall.

Significato e Rivendicazioni

L'articolo sostiene che il campo del riconoscimento di micro-gesti richieda un cambio di paradigma dal puro riconoscimento basato sulle etichette al ragionamento cinematico basato su evidenze.

Gli autori affermano che GMoT affronta con successo il "bias statico" inerente agli attuali MLLM video, distillando esplicitamente il debole movimento locale in token compatti. Imponendo un regime di addestramento che penalizza le allucinazioni e premia il focus anatomico, il framework non solo migliora l'accuratezza della classificazione, ma genera anche spiegazioni interpretabili e visivamente fondate. Il lavoro evidenzia che, per l'analisi comportamentale fine-grained, i modelli devono essere costretti ad attendere a cosa si è mosso e come è cambiato, piuttosto che fare affidamento su pattern di aspetto statici.

Gli autori osservano che, sebbene l'approccio mostri miglioramenti significativi, è specificamente progettato per il ragionamento sui micro-gesti e non risolve intrinsecamente le sfide dell'apprendimento incrementale delle classi, sebbene tragga ispirazione dai metodi di apprendimento continuo riguardo l'adattamento delle rappresentazioni. Tutto il codice sarà rilasciato pubblicamente.