Self-Consistency for LLM-Based Motion Trajectory Generation and Verification

Aquí presento un resumen técnico detallado del artículo "Self-Consistency for LLM-Based Motion Trajectory Generation and Verification" en español.

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) han demostrado ser efectivos para generar gráficos de movimiento (motion graphics) a partir de descripciones de texto, produciendo programas (por ejemplo, en SVG o lenguajes de animación) que definen trayectorias geométricas. Sin embargo, existe un problema fundamental: la inconsistencia de las salidas.

Cuando se le pide a un LLM que genere una trayectoria basada en un prompt (ej. "Mueve el círculo en una espiral logarítmica"), el modelo a menudo produce variaciones que no cumplen estrictamente con la especificación semántica o geométrica deseada. Además, los prompts de lenguaje natural son inherentemente ambiguos; una instrucción como "espiral" no define una única trayectoria, sino una familia de formas (diferentes tamaños, rotaciones, escalas).

El desafío principal es doble:

1. Generación: ¿Cómo seleccionar la respuesta más precisa entre múltiples muestras generadas por un LLM sin supervisión humana?
2. Verificación: ¿Cómo determinar automáticamente si una nueva trayectoria generada cumple con el prompt original, dado que dos trayectorias "correctas" raramente son idénticas a nivel de píxeles o coordenadas exactas?

2. Metodología

Los autores proponen adaptar el concepto de Autoconsistencia (Self-Consistency), originalmente usado en razonamiento lógico, al dominio visual de las trayectorias de movimiento. La metodología se basa en tres pilares:

A. Modelado de Familias de Formas mediante Grupos de Transformación

En lugar de tratar las trayectorias como objetos discretos, el paper define una familia de formas $\mathcal{F}(o, W)$ como el conjunto de trayectorias generadas al aplicar un grupo de transformaciones geométricas $W$ (un grupo de Lie) a una trayectoria prototipo $o$.

• Se utiliza una jerarquía de grupos de transformación: Rígido ($SE(2)$), Similaridad ($Sim(2)$), Afín ($Aff(2)$), etc.
• Dos trayectorias se consideran "consistentes" si una puede transformarse en la otra mediante los "warps" (deformaciones) permitidos por el grupo de transformación correcto.

B. Métricas de Distancia Invariantes

Para agrupar (clustering) las trayectorias, se define una métrica de distancia $d_W$ que es invariante bajo el grupo de transformación $W$.

• Se utiliza una variante del algoritmo ICP (Iterative Closest Point) para alinear dos trayectorias minimizando la distancia entre sus puntos bajo la transformación óptima permitida por $W$.
• Si la distancia es menor a un umbral $\tau$, las trayectorias pertenecen a la misma familia.

C. Algoritmo de Autoconsistencia

El proceso propuesto funciona de la siguiente manera:

1. Muestreo: Se solicita al LLM que genere $N$ trayectorias diversas basadas en un prompt.
2. Recuperación del Grupo de Transformación (Sin Supervisión): Dado que no se conoce a priori qué grupo $W$ es el correcto, se proponen dos criterios de decisión para estimarlo:
   • Majority-Consensus (Consenso Mayoritario): Se prueba la jerarquía de grupos de más restrictivo a menos restrictivo. Se selecciona el grupo más restrictivo que logra formar un clúster mayoritario (>50% de las muestras). Asume que el LLM genera más respuestas correctas que incorrectas.
   • Hierarchical-Consistency (Consistencia Jerárquica): Se prueba de menos a más restrictivo. Se comienza con el grupo más permisivo (Afín) y se avanza hacia grupos más restrictivos hasta que el clúster más grande comienza a fragmentarse. Se selecciona el grupo más restrictivo que mantiene el clúster intacto. Asume que las trayectorias incorrectas no se agruparán con las correctas bajo ninguna transformación.
3. Selección y Verificación:
   • Para generación, se elige la trayectoria prototipo (centroide) del clúster más grande como la respuesta autoconsistente.
   • Para verificación, se comprueba si una nueva trayectoria de consulta puede unirse al clúster más grande (su distancia al prototipo es $<\tau$).

3. Contribuciones Clave

1. Extensión de Autoconsistencia al Dominio Visual: Se demuestra que la autoconsistencia puede aplicarse más allá del texto, utilizando la geometría y la teoría de grupos de Lie para definir la consistencia en trayectorias.
2. Marco de Familias de Formas: Se introduce una formalización rigurosa de las familias de formas de movimiento basadas en grupos de transformación de Lie, permitiendo manejar la ambigüedad de los prompts de lenguaje natural.
3. Criterios de Decisión No Supervisados: Se desarrollan algoritmos para inferir automáticamente el grupo de transformación geométrico correcto sin necesidad de datos etiquetados, lo cual es crucial para la aplicabilidad práctica.
4. Benchmark y Dataset: Creación de un conjunto de datos de referencia con más de 200 prompts de movimiento y 2,240 pares de (trayectoria, prompt) para evaluar tanto la generación como la verificación.

4. Resultados

Los experimentos se realizaron utilizando modelos LLM (GPT-4.1 y GPT-5) y VLM (Vision-Language Models) como baselines.

• Generación de Trayectorias:

  • La metodología de autoconsistencia mejoró la precisión de la generación en un 4-6% en comparación con la generación directa del LLM (sin autoconsistencia).
  • El criterio Majority-Consensus obtuvo resultados muy cercanos al caso "oráculo" (donde se conoce el grupo de transformación correcto).

• Verificación de Trayectorias:

  • El método propuesto superó significativamente a los baselines basados en VLM (como GPT-4.1/5 evaluando imágenes estáticas).
  • Se logró un aumento del 11.8% en Precisión y un aumento del 5.6% en F1 Score en comparación con los VLM.
  • El criterio Hierarchical-Consistency ofreció el mejor equilibrio entre precisión y recall (F1 de 84.6 en configuración no supervisada).

• Análisis de Fallos:

  • El método falla principalmente cuando el LLM genera más trayectorias incorrectas que correctas (violando el supuesto de mayoría) o cuando la descripción del prompt es ambigua y corresponde a múltiples familias de prototipos (ej. un "heptagrama" que puede ser de dos tipos distintos).

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Validación No Supervisada: Ofrece una vía para verificar y mejorar la salida de modelos generativos visuales sin necesidad de costosos conjuntos de datos etiquetados o entrenamiento adicional.
• Puente entre Lenguaje y Geometría: Proporciona un marco matemático (grupos de Lie) para traducir la semántica del lenguaje natural en restricciones geométricas precisas, resolviendo la ambigüedad inherente a los prompts.
• Aplicabilidad en Animación: Mejora directamente la fiabilidad de las herramientas de animación asistida por IA, permitiendo a los usuarios confiar en que el modelo entenderá correctamente conceptos como "espiral", "parábola" o "figura 8" independientemente de la escala o rotación.
• Generalización: El enfoque sugiere que la autoconsistencia puede extenderse a otros dominios visuales complejos donde la consistencia se define por transformaciones estructurales y no por identidad exacta.

En resumen, el paper presenta un método robusto y eficiente para refinar la generación y verificación de animaciones de movimiento mediante LLMs, utilizando la consistencia geométrica como principio rector para superar las limitaciones actuales de los modelos generativos.