Encoder-Free Human Motion Understanding via Structured Motion Descriptions

1. Il Problema

La comprensione del movimento umano (Motion Understanding) da dati scheletrici è un compito fondamentale nella visione artificiale, che include domande e risposte sul movimento (Motion QA) e la generazione di didascalie (Motion Captioning).
Attualmente, gli approcci basati su Large Language Models (LLM) per questi compiti seguono un paradigma basato su encoder:

• Utilizzano encoder di movimento appresi (es. VQ-VAE, VAE, proiezioni lineari) per mappare le sequenze di posizioni delle giunture nello spazio di embedding dell'LLM.
• Richiedono pipeline di addestramento multi-stadio per allineare le rappresentazioni cross-modali (movimento-testo).
• Sono vincolati a specifici backbone di LLM e i token di movimento appresi non sono leggibili dall'uomo, rendendo difficile l'interpretazione.
• Spesso soffrono di fragilità quando i dati di movimento provengono da fonti diverse rispetto a quelle su cui è stato addestrato l'encoder.

2. Metodologia: Structured Motion Description (SMD)

Gli autori propongono un approccio alternativo che evita completamente gli encoder appresi, sfruttando invece la conoscenza pre-addestrata degli LLM sul linguaggio naturale e sulla biomeccanica.

Il concetto chiave: Invece di proiettare i dati numerici del movimento in un embedding latente, il movimento viene convertito in descriziioni testuali strutturate tramite regole deterministiche.

Il processo di conversione (SMD):
La conversione $f_{SMD}$ trasforma una sequenza di posizioni delle giunture in una stringa di testo strutturata in quattro passaggi:

1. Calcolo degli angoli delle giunture: Basandosi su convenzioni biomeccaniche standard, vengono calcolati 26 angoli articolari (es. flessione dell'anca, ginocchio, spalla) proiettando i vettori ossei su piani di riferimento anatomici locali.
2. Descrizione della traiettoria globale: Viene analizzata la traiettoria del bacino (centro di massa approssimato) per descrivere lo spostamento globale (avanti/indietro, laterale, altezza) e la rotazione del corpo, segmentando la serie temporale in intervalli significativi.
3. Descrizione degli angoli articolari: Gli angoli calcolati vengono segmentati in base a cambiamenti significativi (aumento, diminuzione, mantenimento o ripetizione ciclica) e convertiti in frasi naturali (es. "Flessione dell'anca sinistra: aumenta da 3° a 81° [0.0s-0.9s]").
4. Assemblaggio del testo: I dati vengono organizzati in un formato testuale gerarchico che include:
   • Metadati (durata, frame rate).
   • Traiettoria globale.
   • Angoli articolari raggruppati per parte del corpo.

Addestramento e Inferenza:

• Non viene utilizzato alcun encoder di movimento.
• Il testo SMD viene fornito direttamente all'LLM come prompt.
• Viene utilizzato un solo passaggio di fine-tuning leggero con LoRA (Low-Rank Adaptation) per adattare l'LLM al compito specifico (QA o Captioning).
• L'approccio è agnostico rispetto all'LLM: lo stesso input testuale può essere utilizzato con diversi modelli linguistici.

3. Contributi Chiave

1. Eliminazione degli Encoder Appresi: Sostituisce complessi encoder e moduli di allineamento con una conversione basata su regole deterministiche, rendendo il sistema più semplice e interpretabile.
2. Performance State-of-the-Art (SOTA): L'approccio supera tutti i metodi precedenti, inclusi quelli basati su encoder dedicati e LLM, sia nel Motion QA che nel Motion Captioning.
3. Flessibilità e Portabilità: Lo stesso input testuale funziona su 8 diversi LLM (appartenenti a 6 famiglie diverse, da 3B a 14B parametri) richiedendo solo l'adattamento LoRA, senza riaddestrare encoder o allineatori.
4. Interpretabilità Intrinseca: Poiché l'input è testo leggibile dall'uomo, è possibile analizzare i meccanismi di attenzione dell'LLM per capire esattamente quali parti del movimento (es. quale giuntura o traiettoria) hanno influenzato la risposta generata.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard: BABEL-QA, HuMMan-QA (per le domande e risposte) e HumanML3D (per le didascalie).

• Motion QA:

  • BABEL-QA: 66.7% di accuratezza (vs 60.1% del precedente SOTA IMoRe).
  • HuMMan-QA: 90.1% di accuratezza (vs 75.2% di IMoRe).
  • Il confronto con un baseline controllato (MotionGPT3-Qwen, stesso LLM ma con encoder VAE) mostra un divario enorme (90.1% vs 22.0% su HuMMan-QA), dimostrando la fragilità degli encoder appresi su dati di origine diversa.

• Motion Captioning (HumanML3D):

  • Miglioramenti significativi su tutte le metriche linguistiche e di allineamento.
  • R@1: 0.584 (vs 0.573 di MotionGPT3).
  • CIDEr: 53.16 (un aumento del 31% rispetto a MotionGPT3), indicando una migliore coerenza semantica con le didascalie di riferimento.

• Analisi di Sensibilità e Zero-Shot:

  • Il metodo è robusto rispetto alla variazione dei parametri delle regole (soglie di segmentazione, finestre di smoothing).
  • In modalità zero-shot (senza fine-tuning), l'LLM ottiene già risultati superiori al caso casuale (35.6% su BABEL-QA), dimostrando che i modelli linguistici possiedono già conoscenze biomeccaniche che possono essere attivate tramite il formato SMD.

5. Significato e Implicazioni

Il lavoro di Zhang et al. segna un cambio di paradigma nel campo dell'interazione tra movimento umano e linguaggio:

• Semplificazione dell'Architettura: Dimostra che non è necessario apprendere rappresentazioni latenti complesse per collegare il movimento al linguaggio; la descrizione testuale strutturata è sufficiente e più efficace.
• Efficienza Computazionale: Sebbene la lunghezza della sequenza di input (token) sia maggiore rispetto ai metodi basati su VAE (fino a 4000 token contro 256), il costo di addestramento è drasticamente ridotto (solo LoRA, 2-8 ore GPU) e non richiede pre-addestramento di encoder.
• Interpretabilità: Fornisce uno strumento per analizzare il "ragionamento" dei modelli su dati di movimento, un aspetto spesso opaco nei metodi basati su embedding latenti.
• Limiti: Il principale svantaggio è la latenza di inferenza dovuta alla lunghezza del testo. Inoltre, la conversione si basa su regole fisse che potrebbero non catturare tutte le sfumature di scheletri molto dettagliati (es. articolazioni delle dita).

In sintesi, SMD dimostra che trasformare i dati di movimento in un linguaggio naturale strutturato e leggibile permette di sfruttare appieno le capacità di ragionamento e conoscenza del mondo degli LLM, superando i limiti dei metodi di allineamento cross-modale tradizionali.