Riepilogo Tecnico: MRBench

Definizione del Problema

Gli attuali benchmark per il recupero di movimento umano-testo, principalmente HumanML3D e KIT-ML, soffrono di limitazioni critiche che ostacolano la valutazione affidabile dell'allineamento cross-modale. Questi dataset sono dominati da scenari omogenei di motion capture (MoCap) al chiuso, risultando in distribuzioni di movimento ristrette e sbilanciate (ad esempio, "camminare" costituisce una porzione significativa dei campioni). Inoltre, le descrizioni testuali in questi benchmark sono spesso eccessivamente semplificate, ripetitive e prive di discriminabilità semantica. Un singolo prompt testuale mappa frequentemente centinaia di istanze di movimento distinte, creando "collisioni testuali" dove le metriche di recupero standard (come Recall@K) non riescono a distinguere tra un modello che recupera un movimento valido e uno che recupera un movimento ugualmente valido ma semanticamente ridondante. Di conseguenza, gli esistenti benchmark non possono valutare efficacemente la generalizzazione cross-domain o la sensibilità dei modelli a diversi livelli di granularità testuale (dalle sintesi concise alle descrizioni dettagliate).

Metodologia

1. Costruzione di MRBench

Gli autori introducono MRBench, un benchmark completo costruito attraverso una rigorosa pipeline di cura dei dati in più fasi basata sul corpus ViMoGen-228K. La pipeline consiste in quattro fasi:

• Filtraggio dei Candidati Guidato dal Testo: Il filtraggio basato su regole rimuove espressioni generiche e ripetitive. I Large Language Models (LLM) valutano le didascalie rimanenti per discriminabilità semantica e compattezza, filtrando i dettagli non cinematici (ad esempio, descrizioni eccessive di scene o oggetti) che distraggono dall'allineamento del movimento.
• Campionamento Bilanciato Guidato dalla Tassonomia: I candidati sono organizzati in una tassonomia gerarchica (7 categorie grossolane, 33 medie, 118 fini). Il campionamento stratificato garantisce una copertura bilanciata tra le categorie, mentre la deduplicazione semantica regola l'uniformità.
• Allineamento Semantico e Disambiguazione: Un Allineamento Semantico Strutturato (SSAE) utilizzando modelli vision-language avanzati (ad esempio, Gemini-3-pro-preview) verifica che il movimento primario descritto nel testo sia osservabile nei corrispondenti frame video. Questo passaggio assicura coppie movimento-testo univoche. Le categorie sottorappresentate sono integrate con movimenti sintetizzati (HY-Motion) basati su script generati da LLM.
• Espansione Testuale Multi-granulare: Utilizzando la riscrittura visivamente fondata, ogni movimento è annotato con tre livelli di granularità testuale: Concisa (semantica condensata), Standard (descrizione bilanciata) e Fine-grained (dinamiche dettagliate di parti del corpo e temporali). Queste sono validate manualmente per garantire la coerenza con il movimento osservato.

Statistiche del Dataset: MRBench contiene 3.390 sequenze di movimento che coprono 118 categorie fini. Le fonti dei dati sono eterogenee: 43,8% MoCap, 26,5% video in ambiente naturale (in-the-wild), 22,7% video sintetici e 7,0% movimenti generati. Ciò produce un totale di 10.170 didascalie.

2. Modello di Recupero Consapevole della Granularità

Per affrontare la sensibilità dei modelli di recupero alla granularità della query, gli autori propongono un modello leggero, consapevole della granularità (granularity-aware):

• Base Ancorata: Un modello dual-encoder (encoder di movimento e di testo con teste di proiezione globale) viene prima addestrato su coppie di didascalie standard e poi congelato per servire come ancora di allineamento globale.
• Moduli Specifici per Granularità: Per le granularità non standard (Concisa e Fine-grained), vengono introdotti moduli leggeri:
  • Estrattori di Movimento: Vettori di query apprendibili eseguono l'attention pooling sui token di movimento per estrarre rappresentazioni specifiche della granularità.
  • Adapter di Testo: Adapter di proiezione specifici per la granularità mappano gli embedding testuali nello spazio di recupero condiviso.
• Pseudo-Supervisione: Il set di addestramento è ampliato con didascalie concise e fine-grained riscritte da LLM (generate da Qwen2.5-7B-Instruct) per servire come pseudo-label per l'addestramento di questi moduli specifici.
• Strategia di Inferenza: Durante l'inferenza, la granularità del testo determina il ramo attivo. Per le query non standard, un meccanismo di fusione del punteggio consapevole della granularità integra il punteggio di similarità globale con il punteggio di similarità adattato. Questa fusione mantiene la comparabilità dei punteggi tra diversi livelli di descrizione senza richiedere didascalie standard al momento dell'inferenza.

Contributi Chiave

1. Benchmark MRBench: Il primo benchmark su larga scala e multi-fonte specificamente progettato per un recupero completo movimento-testo umano. Presenta distribuzioni di movimento eterogenee e supporta nativamente la valutazione cross-granularità (Concisa, Standard, Fine-grained).
2. Pipeline di Cura dei Dati: Una pipeline in più fasi che combina filtraggio basato su regole, campionamento bilanciato guidato dalla tassonomia, valutazione semantica cross-modale e riscrittura multi-granulare con validazione umana per garantire allineamenti di alta qualità e univoci.
3. Modello Consapevole della Granularità: Un'architettura di recupero che congela un dual-encoder allineato a didascalie standard utilizzando didascalie riscritte da LLM per supervisionare gli estrattori e gli adapter specifici per la granularità. Questo design migliora le prestazioni sulle query non standard preservando al contempo le prestazioni dell'ancora a didascalia standard.

Risultati Sperimentali

Valutazioni estese su MRBench rivelano lacune significative nei metodi esistenti:

• Gap di Generalizzazione: I modelli addestrati su dataset omogenei (come HumanML3D) mostrano cali di prestazione sostanziali quando valutati su MRBench, indicando che il successo in-domain non garantisce la robustezza rispetto a diverse fonti di movimento.
• Sensibilità alla Granularità: I baseline attuali (TEMOS, TMR, MoPatch, SGAR) mostrano una pronunciata sensibilità alla granularità della query, con prestazioni che degradano significativamente per le query concise e fine-grained rispetto a quelle standard.
• Prestazioni del Modello: Il modello proposto, consapevole della granularità e costruito sul modulo MoPatch, migliora con successo le prestazioni di recupero per le query fine-grained e a granularità mista (Text-to-Motion e Motion-to-Text) senza compromettere le prestazioni delle didascalie standard.
• Trasferimento Cross-Dataset: I modelli addestrati sul corpus MRBench-Train (40.168 coppie) ottengono le migliori prestazioni complessive, suggerendo che una copertura del movimento più ampia e annotazioni orientate al recupero siano più vantaggiose per un allineamento robusto rispetto alla sola scala dei dati.

Significato

Il paper sostiene che MRBench fornisca un banco di prova necessario e completo per far avanzare la valutazione dell'allineamento movimento-linguaggio. Esponendo i limiti degli attuali benchmark — specificamente la loro incapacità di gestire fonti di movimento eterogenee e testi multi-granulari — gli autori argomentano che un progresso affidabile in questo campo richiede un passaggio verso protocolli di valutazione diversificati, bilanciati e discriminanti. Il modello proposto, consapevole della granularità, dimostra che la robustezza rispetto alle descrizioni non standard può essere raggiunta senza sacrificare le capacità di allineamento stabilite, offrendo una base pratica per lo sviluppo di sistemi movimento-linguaggio che generalizzano oltre i dataset ristretti e gli stili di didascalia fissi.