Self-Consistency for LLM-Based Motion Trajectory Generation and Verification

1. Het Probleem

Large Language Models (LLMs) worden steeds vaker gebruikt om visuele inhoud te genereren, zoals bewegingsgrafieken (motion graphics) via programmasynthese. Een veelvoorkomende taak is het genereren van bewegingstrajecten op basis van tekstuele prompts (bijv. "Beweeg de cirkel in een spiraalvormig pad").

De kernuitdaging is dat LLMs vaak inconsistent zijn:

• Onnauwkeurigheid: Een gegenereerd traject voldoet niet altijd exact aan de semantische specificaties van de prompt (bijv. een "spiraal" die eruit ziet als een willekeurige kromme).
• Verificatie: Het is moeilijk om automatisch te verifiëren of een bestaand traject correct overeenkomt met een tekstuele prompt, vooral omdat natuurlijke taal prompts vaak een familie van vormen beschrijft (bijv. elke spiraal met een bepaalde vorm, ongeacht schaal of rotatie) en niet één exacte pixel-perfecte implementatie.
• Beperking van bestaande methoden: Bestaande "Self-Consistency"-technieken werken goed voor tekst (waar antwoorden exact kunnen worden vergeleken), maar zijn niet direct toepasbaar op visuele domeinen waar twee correcte trajecten nooit exact identiek zijn (pixel-voor-pixel), maar wel semantisch equivalent kunnen zijn onder bepaalde geometrische transformaties.

2. Methodologie

De auteurs stellen een methode voor die Self-Consistency uitbreidt naar het visuele domein van bewegingstrajecten door gebruik te maken van Lie-transformatiegroepen en geometrische consistentie.

A. Kader: Vormfamilies en Transformatiegroepen

In plaats van te zoeken naar exacte matches, definiëren de auteurs een vormfamilie $\mathcal{F}(o, W)$ als een verzameling trajecten die kunnen worden gegenereerd door een prototype-traject $o$ te transformeren met een groep geometrische warps $W$.

• Transformatiegroepen: Ze gebruiken een hiërarchie van Lie-groepen, variërend van strikt tot minder strikt:
  • Rigid (SE(2)): Translatie en rotatie.
  • Rigid + Reflecties (E(2)): Inclusief spiegeling.
  • Similarity (Sim(2)): Inclusief uniforme schaling.
  • Affine (Aff(2)): Inclusief niet-uniforme schaling en schuiving (shear).
• Afstandsmetriek: Voor elke groep $W$ wordt een warp-invariante afstandsmetriek $d_W$ gedefinieerd. Deze meet de afstand tussen twee trajecten na het optimaliseren van de beste transformatie binnen die groep (geïmplementeerd via een variant van het Iterative Closest Point - ICP - algoritme). Twee trajecten worden als consistent beschouwd als hun afstand onder de juiste $W$ onder een drempelwaarde $\tau$ ligt.

B. Het Self-Consistency Proces

De methode volgt deze stappen:

1. Sampling: De LLM wordt gevraagd om $N$ diverse bewegingstrajecten te genereren op basis van een input-prompt. Diversiteit wordt bevorderd door de LLM te instrueren om ook de "staarten" van de verdeling te dekken.
2. Clustering: De gegenereerde trajecten worden geklusterd onder verschillende transformatiegroepen uit de hiërarchie.
3. Selectie van de Transformatiegroep ($W$): Omdat de juiste groep $W$ voor een prompt niet van tevoren bekend is, stellen de auteurs twee beslissingscriteria voor om de meest geschikte groep automatisch te schatten:
   • Majority-Consensus: Start bij de meest restrictieve groep en beweegt naar boven. De eerste groep die een "meerderheidscluster" (meer dan 50% van de samples) oplevert, wordt gekozen. Dit prioriteert precisie.
   • Hierarchical-Consistency: Start bij de minst restrictieve groep en beweegt naar beneden. De meest restrictieve groep die de grootste cluster intact houdt (zonder leden te verliezen) wordt gekozen. Dit balanceert precisie en recall.
4. Generatie: Het traject dat het dichtst bij het centroid van de grootste cluster ligt, wordt geselecteerd als de beste, meest consistente generatie.
5. Verificatie: Een nieuw query-traject wordt gecontroleerd door te kijken of het kan worden toegevoegd aan de grootste cluster (d.w.z. of de afstand tot het centroid onder de drempel $\tau$ ligt).

3. Belangrijkste Bijdragen

• Uitbreiding van Self-Consistency naar Visuele Domeinen: Het is de eerste werk dat self-consistency toepast op continue, visuele output (bewegingstrajecten) in plaats van discrete tekstuele output.
• Geometrische Consistentie: Introductie van een formeel kader voor het definiëren van consistentie tussen visuele objecten via Lie-transformatiegroepen, wat inzichtelijk maakt hoe semantische gelijkheid kan worden gemeten ondanks variatie in positie, schaal en oriëntatie.
• Onbewaakte (Unsupervised) Methode: De methode vereist geen extra training of gelabelde data om de juiste transformatiegroep te vinden; deze wordt afgeleid uit de consistentie van de gegenereerde samples zelf.
• Benchmark: De auteurs hebben een nieuwe benchmark ontwikkeld met 224 prompts en 2240 trajecten (voor generatie en verificatie) die diverse geometrische vormen en transformatiegroepen dekken.

4. Resultaten

De methode is geëvalueerd op de gegenereerde benchmark met LLM's (GPT-4.1 en GPT-5) en Vision Language Models (VLM's) als baselines.

• Generatie:
  • De self-consistency methode verbeterde de nauwkeurigheid van LLM-generaties met 4% tot 6% ten opzichte van directe generatie (zonder self-consistency).
  • Zelfs zonder "oracle" (zonder de juiste transformatiegroep van tevoren te kennen), presteerden de beslissingscriteria (Majority-Consensus en Hierarchical-Consistency) aanzienlijk beter dan de baseline.
• Verificatie:
  • De methode overtrof VLM-baselines (GPT-4.1/5) aanzienlijk bij het verifiëren of een traject overeenkomt met een prompt.
  • Er werd een toename van 11,8% in precisie en 5,6% in F1-score waargenomen ten opzichte van VLM-baselines.
  • De "Hierarchical-Consistency" strategie bood de beste balans tussen precisie en recall voor verificatie.
• Robuustheid: De prestaties stabiliseerden bij ongeveer 10 gegenereerde samples ($N=10$), wat aangeeft dat de methode efficiënt is qua rekenkracht.

5. Betekenis en Toekomstperspectief

• Betrouwbaarheid van Generatieve AI: De studie toont aan dat self-consistency een krachtig, trainingsvrij hulpmiddel is om de kwaliteit en betrouwbaarheid van visuele generaties van LLM's te verbeteren, zonder dat er menselijke supervisie of extra training nodig is.
• Automatische Verificatie: Het biedt een pad naar automatische verificatie van visuele output, wat cruciaal is voor toepassingen waar nauwkeurigheid essentieel is (bijv. industriële animatie, robotica, of educatieve software).
• Algemene Toepasbaarheid: Het concept van het definiëren van consistentie via domein-specifieke transformatiegroepen (in dit geval geometrische warps) kan worden uitgebreid naar andere ruimtelijke domeinen, zoals 3D-scene generatie of vectorgrafiek, waar semantische gelijkheid vaak onderhevig is aan geometrische variaties.
• Beperkingen: De methode faalt wanneer de LLM systematisch meer foutieve dan correcte trajecten genereert (zodat de grootste cluster foutief is) of bij zeer ambiguïte prompts die meerdere disjuncte vormfamilies beschrijven (bijv. een "heptagram" dat twee verschillende topologische vormen kan hebben).

Samenvattend biedt dit werk een fundamentele stap in het verbinden van taalmodellen met visuele ruimtelijke redenering door wiskundige principes van symmetrie en consistentie toe te passen op de output van generatieve AI.