MoCHA: Denoising Caption Supervision for Motion-Text Retrieval

1. Il Problema: Supervisione Rumorosa nelle Caption

Il recupero testo-movimento (Motion-Text Retrieval) mira a trovare corrispondenze tra descrizioni linguistiche naturali e sequenze di movimento umano 3D. I sistemi attuali apprendono spazi di embedding condivisi utilizzando obiettivi di apprendimento contrastivo, trattando ogni coppia (movimento, didascalia) come verità fondamentale ("ground truth") deterministica.

Tuttavia, gli autori identificano un problema fondamentale: le didascalie non sono etichette deterministiche, ma campioni estratti da una distribuzione di descrizioni valide.

• Natura del rumore: Una didascalia combina due componenti:
  1. Semantica recuperabile dal movimento ($s$): Fatti cinematici oggettivi (tipo di azione, parti del corpo coinvolte, direzionalità, conteggio delle ripetizioni) che possono essere dedotti dalle coordinate 3D delle articolazioni.
  2. Fattori di disturbo ($a$): Variazioni specifiche dell'annotatore, stile linguistico, contesto inferito (es. "nervosamente", "spaventato") o intenti ipotetizzati che non hanno alcuna firma nelle coordinate articolari.
• Conseguenze: L'addestramento contrastivo standard tratta ogni didascalia come un target positivo unico, ignorando la struttura distribuzionale. Questo introduce una varianza intra-movimento negli embedding testuali, indebolendo l'allineamento e causando fallimenti nel trasferimento cross-dataset (es. da HumanML3D a KIT-ML), poiché i modelli apprendono lo stile di annotazione specifico del dataset piuttosto che la semantica del movimento condivisa.

2. Metodologia: MoCHA (Motion Canonicalization for Human Action)

MoCHA è un framework di "denoising" della supervisione che opera esclusivamente sul canale testuale, lasciando invariati gli encoder di movimento e testo. L'obiettivo è proiettare ogni didascalia sul suo contenuto recuperabile dal movimento.

A. Operatore di Canonizzazione $C(t)$

Il metodo introduce un operatore $C(\cdot)$ che mappa una didascalia naturale $t$ in una forma canonica:
$$C(t) \approx \phi(s)$$
dove $\phi(s)$ è una rappresentazione testuale stabile basata sulla semantica del movimento, priva di variazioni stilistiche e contesti inferiti.

• Implementazione LLM: Inizialmente, l'operatore è implementato utilizzando un LLM (GPT-5.2) istruito tramite prompt per estrarre solo azioni, parti del corpo, direzioni e ripetizioni, rimuovendo aggettivi emotivi e frasi di riempimento.
• Distillazione: Per evitare la dipendenza da LLM esterni durante l'inferenza, l'operatore viene distillato in un modello leggero FlanT5-base. Questo modello apprende a trasformare le didascalie originali in quelle canoniche generate dall'LLM, permettendo un'inferenza efficiente senza LLM.

B. Addestramento "Blend" (Blend Training)

Per bilanciare la stabilità semantica con la diversità linguistica necessaria per query naturali, MoCHA utilizza una strategia di addestramento ibrida:

• Per ogni batch, vengono calcolati due obiettivi contrastivi:
  1. Vista Denoised: Utilizza la didascalia canonizzata $C(t_i)$ per ancorare l'embedding attorno alla semantica pura $s$, riducendo la varianza del gradiente.
  2. Vista Originale: Utilizza la didascalia originale $t_i$ come regolarizzatore, esponendo il modello alla diversità linguistica naturale e prevenendo l'overfitting su una singola formulazione canonica.
• La funzione di perdita combinata è:
  $$\mathcal{L}_{mix} = \lambda \mathcal{L}_{InfoNCE}(\{(m_i, C(t_i))\}) + (1-\lambda) \mathcal{L}_{InfoNCE}(\{(m_i, t_i)\})$$

3. Contributi Chiave

1. Definizione Teorica: Formalizzazione del rumore nelle didascalie come decomposizione in semantica del movimento ($s$) e fattori di disturbo ($a$), dimostrando che l'approccio contrastivo standard è mal specificato.
2. Framework MoCHA: Introduzione di un metodo di canonizzazione testuale che riduce la varianza intra-movimento degli embedding. Viene fornito sia come variante basata su LLM che come variante distillata (LLM-free).
3. Addestramento Ibrido: Proposta del "Blend Training" che combina visione denoised e originale per massimizzare l'allineamento mantenendo la robustezza linguistica.
4. Dimostrazione Empirica: Evidenza che il "denoising" della supervisione supera l'"augmentation" (es. parafrasi), poiché quest'ultima amplia la distribuzione del rumore invece di rimuoverla.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark HumanML3D (H) e KIT-ML (K), utilizzando l'architettura MoPa (MotionPatches) come base.

• Recupero In-Distribution (SOTA):

  • Su HumanML3D, la variante LLM di MoCHA raggiunge un R@1 T2M del 13.91% (+3.1 punti percentuali rispetto a MoPa).
  • Su KIT-ML, il miglioramento è drastico: R@1 T2M del 24.30% (+10.3 punti percentuali).
  • La variante senza LLM (T5) ottiene guadagni simili (+2.5pp su H, +8.1pp su K), dimostrando l'efficacia della distillazione.

• Trasferimento Cross-Dataset:

  • Il trasferimento da HumanML3D a KIT-ML (H→K) mostra un miglioramento relativo del +94% nell'R@1.
  • Il trasferimento inverso (K→H) mostra un miglioramento del +52%.
  • Questo conferma che la canonizzazione rimuove lo stile di annotazione specifico del dataset, permettendo una migliore generalizzazione.

• Analisi Geometrica degli Embedding:

  • La canonizzazione riduce la varianza intra-movimento degli embedding testuali del 11-19%.
  • Gli embedding delle didascalie canoniche formano cluster più compatti (maggiore similarità intra-classe) e si allineano meglio con i movimenti corrispondenti, migliorando la separazione dai negativi.
  • La varianza del gradiente durante l'addestramento diminuisce, portando a segnali contrastivi più nitidi.

• Ablazioni:

  • L'aggiunta di parafrasi (augmentation) peggiora le prestazioni, confermando che ampliare la distribuzione del rumore è dannoso.
  • Anche metodi basati su regole semplici (rimozione stopword) migliorano il trasferimento cross-dataset, dimostrando che il principio di canonizzazione è generale, sebbene i metodi appresi (FlanT5) offrano prestazioni superiori preservando la struttura temporale fine.

5. Significato e Impatto

Il lavoro di MoCHA cambia il paradigma di come viene trattata la supervisione testuale nel recupero movimento-testo. Invece di considerare le annotazioni come verità assolute, riconosce il loro carattere stocastico e rumoroso.

• Generalizzabilità: Il principio di "proiezione su contenuto recuperabile" è indipendente dall'architettura di recupero e può essere applicato a qualsiasi sistema contrastivo.
• Efficienza: La capacità di distillare un LLM in un modello T5 leggero rende la tecnologia deployabile in produzione senza costi computazionali elevati per l'inferenza.
• Robustezza: Risolve il problema critico del trasferimento cross-dataset, permettendo a modelli addestrati su un dataset di funzionare efficacemente su dataset con stili di annotazione radicalmente diversi, un passo fondamentale verso sistemi di interazione uomo-computer più robusti e universali.

In sintesi, MoCHA dimostra che standardizzare lo spazio linguistico rimuovendo il rumore annotatore-specifico porta a rappresentazioni movimento-linguaggio più trasferibili e accurate, stabilendo un nuovo stato dell'arte nel campo.