Self-Consistency for LLM-Based Motion Trajectory Generation and Verification

1. Il Problema

I Large Language Models (LLM) stanno diventando sempre più capaci di generare codice per animazioni grafiche (motion graphics) partendo da prompt testuali. Tuttavia, quando si chiede a un LLM di generare una traiettoria di movimento specifica (es. "Muovi il cerchio lungo un percorso a spirale logaritmica"), il modello spesso produce risultati che non rispettano fedelmente le specifiche geometriche richieste.

Le sfide principali sono:

• Ambiguità dei prompt: Una descrizione testuale come "spirale" non definisce un'unica traiettoria, ma una famiglia di forme geometriche (che possono variare per scala, rotazione, riflessione, ecc.).
• Mancanza di allineamento: Due traiettorie che semanticamente rappresentano la stessa forma (es. due spirali diverse) potrebbero non essere identiche a livello di pixel o di coordinate, rendendo difficile verificare la correttezza tramite semplici confronti di identità.
• Generazione e Verifica: È necessario un metodo per selezionare la generazione più corretta tra diverse opzioni (generazione) e per verificare se una nuova traiettoria corrisponde al prompt (verifica), senza richiedere supervisione umana o dati di addestramento etichettati.

2. Metodologia

Gli autori propongono un'estensione del concetto di Self-Consistency (originariamente sviluppato per il ragionamento linguistico) al dominio visivo delle traiettorie di movimento. L'approccio si basa su tre pilastri fondamentali:

A. Famiglie di Forme e Gruppi di Trasformazione

Invece di trattare le forme come istanze discrete, il paper definisce una famiglia di forme $\mathcal{F}(o, W)$ come l'insieme di tutte le traiettorie ottenibili trasformando una traiettoria prototipo $o$ tramite un gruppo di trasformazioni geometriche $W$ (gruppi di Lie).
I gruppi considerati includono:

• Rigido (SE(2)): Trasla e ruota (preserva distanze e angoli).
• Similitudine (Sim(2)): Aggiunge scala uniforme e riflessioni.
• Affine (Aff(2)): Aggiunge scaling non uniforme e shear.
• Altri: Come similitudine anisotropa.

Due traiettorie sono considerate "consistenti" se una può essere trasformata nell'altra applicando un warp (deformazione) appartenente al gruppo $W$ corretto.

B. Metriche di Distanza Invarianti

Per raggruppare le traiettorie, gli autori definiscono una metrica di distanza $d_W$ che è invariante rispetto alle trasformazioni del gruppo $W$.

• La distanza tra due traiettorie $t_1$ e $t_2$ è calcolata minimizzando l'errore di allineamento su tutti i possibili warps $w \in W$.
• L'algoritmo utilizza una variante generalizzata dell'Iterative Closest Point (ICP) per trovare la migliore allineamento tra le traiettorie campionando i punti lungo la lunghezza dell'arco.
• Se la distanza è inferiore a una soglia $\tau$, le traiettorie appartengono alla stessa famiglia.

C. Algoritmo di Self-Consistency e Criteri di Decisione

Il processo funziona in due fasi principali:

1. Campionamento: L'LLM genera $N$ traiettorie diverse basate sullo stesso prompt.

2. Clustering e Selezione:

   • Poiché il gruppo di trasformazione corretto $W$ non è noto a priori, il sistema prova a clusterizzare le traiettorie utilizzando diversi gruppi dalla gerarchia (dal più restrittivo al più permissivo e viceversa).
   • Vengono proposti due criteri decisionali per identificare il gruppo $W$ corretto e il prototipo:
     • Majority-Consensus: Si parte dal gruppo più restrittivo e si sale nella gerarchia finché non si trova un cluster che contiene una maggioranza assoluta (>50%) dei campioni. Questo favorisce la precisione.
     • Hierarchical-Consistency: Si parte dal gruppo più permissivo e si scende nella gerarchia. Si seleziona il gruppo più restrittivo che mantiene intatto il cluster più grande trovato al livello superiore. Questo bilancia precisione e recall.
   • La traiettoria generata più "self-consistent" è il centroid del cluster più grande.

3. Verifica: Per verificare una nuova traiettoria query, si calcola la sua distanza dal prototipo del cluster più grande. Se la distanza è inferiore a $\tau$, la traiettoria è considerata valida.

3. Contributi Chiave

• Estensione della Self-Consistency al dominio visivo: Il lavoro dimostra come il principio di "voto di maggioranza" possa essere applicato a forme geometriche continue definendo una nozione di consistenza basata su gruppi di trasformazione geometrica, superando i limiti del semplice matching di identità.
• Recupero non supervisionato della famiglia di forme: Un algoritmo che identifica automaticamente il gruppo di trasformazione geometrico corretto (es. rigido vs affine) analizzando la distribuzione dei campioni generati dall'LLM, senza bisogno di ground truth durante l'inferenza.
• Benchmark e Dataset: Creazione di un nuovo benchmark con oltre 200 prompt di motion graphics e 2240 coppie (traiettoria, prompt) per valutare sia la generazione che la verifica.
• Metodo di verifica training-free: Una strategia di verifica che supera le performance dei modelli Vision-Language (VLM) puri, utilizzando la coerenza interna dei campioni generati dall'LLM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come GPT-4.1 e GPT-5.

• Generazione di Traiettorie:

  • L'approccio con self-consistency ha migliorato l'accuratezza della generazione rispetto alla generazione diretta (LLM-Direct) del 4-6% in setting non supervisionati.
  • Con accesso all'oracolo (gruppo di trasformazione noto), il miglioramento è stato fino al 6.4%.
  • Il criterio Majority-Consensus ha mostrato performance simili all'oracolo, mentre Hierarchical-Consistency ha offerto un buon compromesso.

• Verifica di Traiettorie:

  • Il metodo proposto ha superato i baselines basati su VLM (GPT-4.1/5) nella verifica.
  • Precisione: Aumento del 11.8% rispetto ai VLM.
  • F1 Score: Aumento del 5.6%.
  • In particolare, il metodo ha dimostrato una migliore calibrazione, evitando l'eccessivo recall (e bassa precisione) tipico dei VLM che tendono a dire "sì" troppo spesso.

• Robustezza:

  • Le performance si stabilizzano con un numero di campioni $N \approx 10$.
  • Il metodo è poco sensibile alla soglia di clustering $\tau$.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

1. Supera i limiti dei VLM: Dimostra che per compiti geometrici specifici, l'analisi strutturale e geometrica (tramite gruppi di Lie) è più efficace del ragionamento visivo "black-box" dei modelli multimodali.
2. Generazione e Verifica Unificate: Offre un framework coerente che migliora sia la creazione di contenuti (selezionando la migliore tra le opzioni) sia la loro validazione, tutto in modo non supervisionato.
3. Generalizzabilità: La metodologia basata su gerarchie di gruppi di trasformazione potrebbe essere estesa ad altri domini visivi spaziali e basati su forme, aprendo la strada a sistemi di generazione AI più affidabili e verificabili senza bisogno di costosi dataset di addestramento etichettati.

In sintesi, il paper introduce un metodo elegante che sfrutta la struttura matematica delle forme geometriche per "filtrare" gli errori degli LLM, rendendo la generazione di animazioni complesse più precisa e affidabile.