Self-Consistency for LLM-Based Motion Trajectory Generation and Verification

1. Problématique

Les modèles de langage (LLM) sont de plus en plus utilisés pour générer des programmes d'animation graphique (motion graphics) à partir de prompts textuels. Cependant, lorsqu'un LLM reçoit une instruction décrivant une trajectoire géométrique (ex: "déplace le cercle en spirale logarithmique"), il génère souvent des trajectoires qui ne respectent pas précisément la spécification sémantique.

Le défi principal réside dans l'application des techniques de cohérence interne (self-consistency) au domaine visuel. Contrairement aux tâches de raisonnement textuel où l'on peut comparer des réponses par égalité stricte (ex: un nombre identique), les trajectoires visuelles ne correspondent jamais pixel par pixel. Une même description textuelle correspond à une famille de formes (ex: une spirale peut être de différentes tailles, orientations, ou positions). Il est donc nécessaire de définir une métrique de cohérence qui permette de regrouper des trajectoires sémantiquement équivalentes malgré leurs variations géométriques.

2. Méthodologie

L'approche proposée étend le paradigme de la cohérence interne aux trajectoires de mouvement en modélisant les formes comme des familles de prototypes transformables.

A. Modélisation des Familles de Formes

Les auteurs définissent une famille de formes $\mathcal{F}(o, W)$ comme l'ensemble des trajectoires obtenues en appliquant un groupe de transformations géométriques $W$ (un groupe de Lie) à une trajectoire prototype $o$.
Les groupes de transformations considérés forment une hiérarchie, du plus restrictif au plus permissif :

• Rigide ($SE(2)$) : Translation et rotation (préservation des distances).
• Rigide + Réflexion ($E(2)$) : Ajout de la symétrie miroir.
• Similarité ($Sim^+(2)$) : Ajout du changement d'échelle uniforme.
• Similarité + Réflexion ($Sim(2)$) : Ajout de la symétrie miroir.
• Affine ($Aff(2)$) : Ajout de l'étirement non uniforme et du cisaillement.
• Similarité Anisotrope : Échelle non uniforme sans cisaillement.

B. Métrique de Distance Invariante

Pour comparer deux trajectoires $t_1$ et $t_2$ sous un groupe de transformations $W$, les auteurs définissent une distance invariante $d_W$ :
$$d_W(t_1, t_2) = \min_{w \in W} \frac{1}{n}\sum_{i=1}^{n} \|w(t_{1,i}) - t_{2,i}\|^2$$
Cette distance est calculée en optimisant l'alignement entre les deux trajectoires via un algorithme de type ICP (Iterative Closest Point) généralisé. Si la distance est inférieure à un seuil $\tau$, les trajectoires sont considérées comme appartenant à la même famille.

C. Algorithme de Génération et de Vérification

Le processus se déroule en plusieurs étapes :

1. Échantillonnage Diversifié : Le LLM génère $N$ trajectoires (programmes SVG) à partir d'un prompt, en utilisant une stratégie de "diversité" pour couvrir les modes de variation possibles.
2. Clustering Hiérarchique : Les trajectoires sont regroupées en utilisant la métrique $d_W$ pour chaque groupe de transformation de la hiérarchie.
3. Sélection du Groupe de Transformation (Critères de Décision) : Puisque le groupe $W$ correct n'est pas connu a priori, deux critères sont proposés pour l'estimer de manière non supervisée :
   • Majorité-Consensus : On parcourt la hiérarchie du plus restrictif au moins restrictif. On choisit le premier groupe qui permet de former un cluster contenant une majorité stricte (>50%) des échantillons. Ce critère privilégie la précision.
   • Cohérence Hiérarchique : On parcourt la hiérarchie du moins restrictif au plus restrictif. On part du cluster le plus large et on descend jusqu'à ce que le cluster commence à se fragmenter. On choisit le groupe le plus restrictif qui maintient l'intégrité du cluster principal. Ce critère cherche un équilibre entre précision et rappel.
4. Génération : La trajectoire générée est sélectionnée comme étant le centroïde du plus grand cluster trouvé.
5. Vérification : Pour vérifier une nouvelle trajectoire requise, on calcule sa distance au centroïde du cluster principal. Si la distance est inférieure à $\tau$, elle est validée.

3. Contributions Clés

• Extension de la Cohérence Interne au Visuel : Première application de la cohérence interne aux trajectoires de mouvement, en remplaçant la comparaison par identité stricte par une comparaison basée sur l'invariance géométrique.
• Modélisation par Groupes de Lie : Introduction d'une hiérarchie de groupes de transformations géométriques pour définir formellement les familles de formes sémantiques dans les animations.
• Méthode Non Supervisée : Développement de critères de décision (Majorité-Consensus et Cohérence Hiérarchique) permettant d'identifier automatiquement la famille de forme correcte sans données d'entraînement ni étiquettes externes.
• Benchmark Complet : Création d'un jeu de données de référence contenant 224 prompts de trajectoires (basés sur 35 formes géométriques) et 2240 paires (prompt, trajectoire) pour l'évaluation de la vérification.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles LLM (GPT-4.1 et GPT-5) et des modèles VLM (Vision-Language Models) pour la vérification.

• Génération de Trajectoires :

  • La méthode proposée améliore l'exactitude de la génération par rapport à une génération directe (LLM-Direct).
  • Gain de 4,6 % à 6,4 % en précision selon le modèle LLM utilisé et le critère de décision (Majorité-Consensus ou Cohérence Hiérarchique).
  • L'utilisation d'un groupe de transformation "Oracle" (connu) donne les meilleurs résultats, confirmant la validité théorique de l'approche.

• Vérification de Trajectoires :

  • La méthode de vérification basée sur la cohérence interne surpasse significativement les VLM baselines (GPT-4.1/5).
  • Gain de 11,8 % en précision et 5,6 % en score F1 par rapport aux VLM.
  • Le critère Cohérence Hiérarchique offre le meilleur compromis (F1 de 84,6 en non supervisé), tandis que Majorité-Consensus offre la meilleure précision (85,8) au détriment du rappel.

• Robustesse : La méthode est peu sensible au seuil de clustering $\tau$ et fonctionne bien avec un nombre d'échantillons $N$ aussi faible que 10.

5. Signification et Impact

Ce travail est significatif car il comble un fossé entre le raisonnement symbolique des LLM et la génération de contenu visuel complexe.

• Fiabilité : Il offre une méthode sans entraînement (training-free) pour améliorer la fiabilité des agents génératifs dans des tâches spatiales et temporelles.
• Vérification Automatique : Il ouvre la voie à des systèmes de vérification automatique pour les animations, cruciaux pour les applications professionnelles où la précision du mouvement est requise.
• Généralisation : Le cadre proposé (définir la cohérence via des groupes de transformations) peut potentiellement être étendu à d'autres domaines visuels basés sur la forme et l'espace, au-delà des simples animations de trajectoires.

En résumé, l'article démontre que la cohérence interne, couplée à une compréhension géométrique rigoureuse des transformations, permet de transformer les LLM en générateurs et vérificateurs d'animations beaucoup plus précis et fiables.