Self-Consistency for LLM-Based Motion Trajectory Generation and Verification

1. Problema

O artigo aborda um desafio fundamental na aplicação de Grandes Modelos de Linguagem (LLMs) à geração de conteúdo visual, especificamente em animações de gráficos de movimento (motion graphics).

• Inconsistência Visual: Embora os LLMs possam gerar programas (código SVG/JS) que descrevem trajetórias de movimento baseadas em prompts textuais (ex: "mova o círculo em um caminho espiral"), as trajetórias resultantes frequentemente não correspondem à especificação semântica do prompt.
• Limitação da Autoconsistência Tradicional: A técnica de "autoconsistência" (Self-Consistency) tem sido eficaz em tarefas de raciocínio em linguagem natural (como matemática), onde múltiplas respostas são amostradas e a resposta mais comum (por votação majoritária) é selecionada. No entanto, em domínios visuais, a comparação direta (igualdade exata) entre duas trajetórias geradas é impossível devido à variabilidade natural (diferentes escalas, rotações, posições ou desvios de pixel).
• Falta de Supervisão: Não existem métodos supervisionados eficientes e sem treinamento para verificar se uma trajetória gerada por um LLM pertence à "família de formas" descrita pelo prompt.

2. Metodologia

Os autores propõem uma extensão da autoconsistência para o domínio visual, utilizando grupos de transformação geométrica para definir o que significa "consistência" entre trajetórias.

A. Definição de Família de Formas

Em vez de tratar uma trajetória como um conjunto fixo de pixels, o trabalho modela o prompt como uma família de formas $\mathcal{F}(o, W)$, definida por:

• Uma trajetória protótipo $o$.
• Um grupo de transformação de Lie $W$ (ex: Rígida, Similaridade, Afim).
  Uma trajetória pertence à família se puder ser transformada no protótipo através de um "warp" (deformação) permitido pelo grupo $W$. Os grupos considerados incluem:
• Rígida ($SE(2)$): Translação e rotação.
• Similaridade ($Sim(2)$): Translação, rotação e escala uniforme (com ou sem reflexões).
• Afim ($Aff(2)$): Inclui cisalhamento e escala não uniforme.

B. Métrica de Distância Invariante

Para agrupar (clusterizar) trajetórias, os autores definem uma métrica de distância $d_W$ que é invariante ao grupo de transformação $W$.

• Utilizam uma variação do algoritmo ICP (Iterative Closest Point) para encontrar a melhor transformação $w \in W$ que alinha duas trajetórias $t_1$ e $t_2$.
• A distância é calculada como o erro quadrático médio após o alinhamento ótimo. Se $d_W(t_1, t_2) < \tau$ (um limiar), elas são consideradas consistentes.

C. Processo de Autoconsistência

O método segue quatro etapas principais:

1. Amostragem: O LLM gera $N$ trajetórias diversas a partir de um prompt, incentivando a diversidade para cobrir as "caudas" da distribuição correta.
2. Recuperação da Família (Sem Supervisão): Como o grupo de transformação correto $W$ não é conhecido a priori, o sistema testa uma hierarquia de grupos (do mais restritivo ao mais permissivo) e aplica dois critérios de decisão:
   • Majority-Consensus: Ordena os grupos do mais restritivo ao menos. Seleciona o primeiro grupo onde um cluster dominante (mais de 50% das amostras) aparece. Assume que o LLM gera mais corretos do que incorretos.
   • Hierarchical-Consistency: Ordena do menos restritivo ao mais restritivo. Começa com o grupo mais permissivo e afina até que o cluster maior comece a se fragmentar. Assume que trajetórias incorretas não se agruparão com as corretas sob nenhum warp da hierarquia.
3. Seleção: O protótipo é escolhido como o centróide (média) do maior cluster encontrado sob o grupo $W$ selecionado.
4. Verificação: Para verificar uma nova trajetória de consulta, calcula-se a distância dela até o protótipo do cluster maior. Se a distância for menor que $\tau$, a trajetória é considerada válida.

3. Contribuições Principais

1. Extensão da Autoconsistência para Visão: Adaptação bem-sucedida do conceito de autoconsistência de domínios de texto para gráficos de movimento, introduzindo uma noção de consistência baseada em geometria e grupos de Lie.
2. Mecanismo de Recuperação de Família: Um algoritmo não supervisionado que automaticamente infere o grupo de transformação geométrica correto (ex: saber se um "círculo" deve ser tratado apenas com rotação ou também com escala) analisando a estrutura dos clusters gerados pelo LLM.
3. Benchmarks e Dados: Criação de um benchmark com 224 prompts cobrindo 35 formas geométricas básicas e suas variações, além de um conjunto de teste de 2240 pares (prompt, trajetória) para avaliação de verificação.
4. Método de Verificação sem Treinamento: Uma estratégia de verificação que supera modelos VLM (Vision-Language Models) sem necessidade de fine-tuning ou dados rotulados massivos.

4. Resultados

Os experimentos foram realizados utilizando modelos GPT-4.1 e GPT-5.

• Geração de Trajetórias:

  • A abordagem de autoconsistência melhorou a precisão da geração em 4% a 6% em comparação com a geração direta do LLM (sem autoconsistência).
  • No cenário com "oráculo" (grupo de transformação conhecido), a melhoria foi de até 6,4 pontos percentuais.
  • Os critérios de decisão não supervisionados (Majority-Consensus e Hierarchical-Consistency) alcançaram desempenho próximo ao do oráculo.

• Verificação de Trajetórias:

  • O método proposto superou significativamente os baselines baseados em VLMs.
  • Ganhos de Precisão: Aumento de 11,8% na precisão em comparação com VLMs.
  • Ganhos de F1: Aumento de 5,6% no escore F1.
  • O critério Hierarchical-Consistency mostrou-se o melhor equilíbrio entre precisão e recall para tarefas de verificação não supervisionada (F1 de 84,6).

• Análise de Sensibilidade:

  • O método é robusto com um número moderado de amostras ($N=10$ é suficiente para estabilização).
  • A escolha do limiar de distância $\tau$ tem baixa sensibilidade, mantendo o desempenho mesmo com variações grandes.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Validação de Conteúdo Gerativo: Oferece uma ferramenta robusta e sem treinamento para validar se animações geradas por IA seguem instruções complexas de forma geométrica, algo crítico para aplicações profissionais em motion graphics.
• Generalização do Paradigma de Autoconsistência: Demonstra que a autoconsistência não está limitada a respostas discretas (números ou strings), mas pode ser aplicada a espaços contínuos e estruturados (formas geométricas) através de métricas de invariância apropriadas.
• Eficiência: Proporciona melhorias de desempenho sem a necessidade de re-treinar os modelos LLMs ou VLMs, utilizando apenas técnicas de inferência e agrupamento inteligente.
• Limitações e Futuro: O método lida bem com famílias de formas definidas por um único protótipo e warp. Descrições ambíguas ou formas que requerem múltiplos protótipos (ex: letras do alfabeto ou polígonos estrelados com diferentes conectividades) representam desafios, embora modificações simples no critério de decisão possam mitigar parte desse problema.

Em resumo, o artigo estabelece um novo padrão para a geração e verificação confiável de animações vetoriais baseadas em texto, utilizando princípios matemáticos de simetria geométrica para guiar a inteligência artificial.