Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

Este artigo apresenta o GeoCode, um novo conjunto de dados sintetizado que gera problemas complexos de geometria multimodal com código de plotagem para garantir consistência visual e simbólica, permitindo que modelos de linguagem visuais aprendam alinhamento estruturado e melhorem seu raciocínio geométrico em diversos benchmarks.

O essencial

Imagine que você está tentando ensinar um robô a resolver problemas de geometria complexos, como os que aparecem em olimpíadas de matemática. O problema é que, até agora, os robôs (ou modelos de inteligência artificial) eram ótimos em "adivinhar" a resposta lendo o texto da pergunta, mas péssimos em realmente ver e entender o desenho geométrico. Eles agiam como estudantes que decoram a resposta final sem entender o raciocínio.

Os autores deste paper, o GeoCode, decidiram mudar isso criando uma nova abordagem. Vamos explicar como eles fizeram isso usando analogias do dia a dia:

1. O Problema: O Robô que "Chuta" a Resposta

Atualmente, os modelos de IA são treinados com muitos desenhos e perguntas. Mas, muitas vezes, o desenho é apenas um enfeite. O robô lê a pergunta: "Se o ângulo A é 30 graus, qual é o comprimento de B?" e, como viu milhares de vezes que "30 graus" leva a uma resposta específica, ele chuta a resposta sem nunca olhar para a linha B no desenho.

É como se você estivesse aprendendo a cozinhar lendo apenas a lista de ingredientes no final da receita, sem nunca ter visto o processo de cortar, misturar ou cozinhar. Você sabe o prato final, mas não sabe como fazê-lo.

2. A Solução: A Fábrica de Problemas "Do Zero"

Os autores criaram uma "fábrica" automática para gerar problemas de geometria do zero, garantindo que tudo esteja perfeito. Eles dividiram o processo em três etapas, como se fossem três chefs trabalhando juntos:

• O Arquiteto (Semente Simbólica): Primeiro, eles usam um sistema lógico para criar a "estrutura" do problema. Imagine que eles desenham o esqueleto de uma casa em papel, definindo onde ficam as paredes e telhados, mas sem colocar tijolos ou cores. Eles garantem que a casa faça sentido matematicamente (que o telhado não caia, que as portas estejam no lugar certo).
• O Construtor (Instanciação): Depois, um "robô construtor" pega esse esqueleto e dá números reais. Ele decide que a parede tem 3 metros, o telhado tem 45 graus, etc. Ele escreve a história do problema em linguagem humana (o texto da pergunta) e, o mais importante, escreve o código de computador que desenha exatamente essa casa.
• O Pintor (Visualização e Limpeza): Finalmente, o código é executado para gerar a imagem. Mas aqui tem um truque: eles "limpam" o texto da pergunta. Se o desenho mostra claramente que duas linhas são paralelas, eles apagam essa informação do texto. Isso força o robô a olhar para o desenho para descobrir a resposta, e não apenas a ler o texto.

3. O Grande Truque: Ensinar com "Código de Desenho"

Aqui está a parte mais brilhante do paper. Em vez de apenas perguntar ao robô: "Qual é a resposta?", eles o treinam para escrever o código que desenha a figura.

Pense nisso como ensinar um aluno de desenho:

• Método Antigo: O professor mostra um desenho e pergunta: "O que é isso?". O aluno responde: "É um cachorro". O professor diz "Certo".
• Método GeoCode: O professor mostra o desenho e diz: "Escreva o código que eu preciso rodar para desenhar esse cachorro exatamente assim".

Para escrever esse código, o robô é obrigado a entender:

• Onde está cada ponto?
• Qual linha conecta qual ponto?
• Qual ângulo é reto?
• Qual círculo é tangente ao outro?

Ao treinar o robô para gerar esse "código de desenho" (que chamam de Plotting Code), eles estão forçando a IA a reconstruir a estrutura geométrica mentalmente antes de tentar resolver o problema. É como se o robô tivesse que montar o quebra-cabeça antes de dizer qual é a imagem final.

4. O Resultado: Um Robô que Realmente "Vê"

Quando eles treinaram seus modelos com esses novos dados (chamados GeoCode), os resultados foram impressionantes:

• Os robôs ficaram muito melhores em resolver problemas difíceis que exigem vários passos de lógica.
• Eles pararam de "chutar" baseado apenas no texto e começaram a usar a visão para entender a estrutura.
• Funcionou tão bem que, mesmo em testes com problemas que eles nunca viram antes (fora do conjunto de treinamento), eles se saíram muito melhor do que os modelos anteriores.

Resumo em uma Frase

Os autores criaram uma fábrica automática de problemas de geometria onde, para aprender, o robô é obrigado a escrever o código que desenha a figura, forçando-o a entender a estrutura visual e lógica do problema, e não apenas a memorizar respostas de texto.

É como ensinar alguém a dirigir não apenas mostrando o destino final, mas obrigando a pessoa a desenhar o mapa da rota e explicar cada curva antes de colocar o carro em movimento.

Resumo técnico

Título: Síntese de Conjuntos de Dados de Geometria Multimodal do Zero e Habilitação do Alinhamento Visual via Código de Plotagem

1. O Problema

O raciocínio geométrico multimodal exige que os modelos compreendam simultaneamente diagramas visuais e realizem inferências simbólicas estruturadas. No entanto, os Modelos de Linguagem e Visão (VLMs) atuais enfrentam limitações significativas ao lidar com construções geométricas complexas devido a:

• Dados de Treinamento Limitados: A falta de conjuntos de dados em grande escala com alta complexidade estrutural e consistência cruzada (texto, imagem, lógica).
• Alinhamento Visual-Simbólico Fraco: Os modelos tendem a depender de correlações linguísticas ou viéses do conjunto de dados, em vez de recuperar fielmente a estrutura geométrica a partir dos diagramas.
• Falta de Consistência: Muitas abordagens existentes supervisionam apenas a resposta final ou o raciocínio textual, deixando a recuperação da estrutura geométrica (relações espaciais, dependências de construção) como um processo implícito e não supervisionado.

2. Metodologia

Os autores propõem um pipeline de geração de dados "do zero" (from scratch) que desacopla a geração do problema em três estágios verificáveis, resultando no dataset GeoCode.

A. Pipeline de Geração (GeoCode)

O processo é dividido em três módulos principais:

1. Geração de Sementes Simbólicas (Seed Generation):
   • Utiliza sistemas de raciocínio formal (como o AlphaGeometry via GenesisGeo) para construir estruturas geométricas puramente simbólicas baseadas em predicados (ex: perpendicularidade, paralelismo, colinearidade).
   • Um "Target Finder" constrói grafos de dependência para garantir que a estrutura simbólica admita cadeias de dedução não triviais.
   • Filtra-se sementes triviais ou degeneradas, mantendo apenas aquelas com alta complexidade estrutural e profundidade de raciocínio.
2. Instanciação Fundamentada (Grounded Instantiation):
   • Um modelo de linguagem (LLM) atua como "Instrutor", atribuindo valores numéricos concretos às sementes simbólicas, gerando enunciados de problemas em linguagem natural, traços de raciocínio (Chain-of-Thought) e respostas finais.
   • Um módulo "Coder" gera código meta (Python) que calcula coordenadas numéricas para todas as entidades geométricas, garantindo que as construções satisfaçam todas as restrições simbólicas.
   • Verificação em Duas Etapas: Validação semântica (coerência lógica do texto) e validação geométrica (verificação numérica das coordenadas geradas contra as restrições declaradas).
3. Visualização e Debiasing (Deviar Viés):
   • O código meta é executado para renderizar diagramas visuais limpos e padronizados (estilo livro didático).
   • Debiasing Textual: Informações que podem ser inferidas diretamente do diagrama (como posições relativas ou interseções) são removidas do enunciado textual. Isso força o modelo a extrair a geometria da imagem, em vez de confiar em dicas textuais redundantes.

B. Alinhamento via Código de Plotagem (Plotting Code)

A inovação central é o uso do código de plotagem (uma representação estruturada JSON/DSL contendo coordenadas, segmentos, círculos e anotações) como um objetivo de supervisão explícito.

• Em vez de treinar o modelo apenas para prever a resposta ou um texto descritivo, o modelo é treinado para prever o código de plotagem a partir da imagem.
• Isso transforma a compreensão visual em uma tarefa de predição estruturada e verificável, forçando o modelo a reconstruir explicitamente as relações geométricas e as dependências de construção antes de realizar o raciocínio lógico.

3. Principais Contribuições

1. Pipeline de Síntese do Zero: Um framework modular que gera problemas geométricos complexos com garantias de consistência entre estrutura simbólica, texto, raciocínio e diagrama visual.
2. Dataset GeoCode: Um conjunto de dados multimodal com 18.000 problemas, incluindo diagramas, soluções e, crucialmente, o código de plotagem correspondente. O dataset apresenta complexidade estrutural e dificuldade de raciocínio superiores aos benchmarks existentes.
3. Alinhamento Explícito via Código: A introdução da previsão de código de plotagem como objetivo de aprendizado, demonstrando que a supervisão estrutural é superior à supervisão puramente textual para o alinhamento visão-símbolo.
4. Validação Rigorosa: Mecanismos multi-estágio (semântico, geométrico numérico e qualidade visual) que garantem a correção matemática de cada amostra.

4. Resultados Experimentais

Os modelos treinados no GeoCode demonstraram melhorias consistentes em múltiplos benchmarks públicos de geometria:

• Desempenho em Benchmarks: Modelos baseados em Qwen-VL treinados com GeoCode superaram suas versões de base em benchmarks como Geometry3K, GeoQA, MathVerse e OlympiadBench.
• Generalização (Out-of-Distribution): Houve melhorias significativas em cenários fora da distribuição, indicando que o modelo aprendeu padrões de raciocínio transferíveis e não apenas memorizou a distribuição sintética.
• Ablação e Análise:
  • A supervisão por código de plotagem superou significativamente a supervisão por legendas (captions) ou a ausência de alinhamento.
  • A análise mostrou que a precisão na recuperação da estrutura (medida pelo F1 de segmentos no código predito) correlaciona-se diretamente com a precisão na resolução do problema.
  • O debiasing textual mostrou ganhos adicionais apenas quando combinado com a supervisão por código, reforçando que a estrutura explícita é necessária para forçar a atenção visual.

5. Significância e Impacto

• Superação do Gargalo de Alinhamento: O trabalho identifica que o principal gargalo no raciocínio geométrico multimodal não é a inferência lógica em si, mas a conversão de layouts visuais em representações simbólicas fiéis. O código de plotagem resolve isso fornecendo um "ground truth" estrutural.
• Validação de Dados Sintéticos: Demonstra que dados sintéticos gerados com verificação rigorosa podem superar dados manuais em termos de complexidade e diversidade, servindo como um motor eficaz para o treinamento de VLMs.
• Futuro do Raciocínio Multimodal: Estabelece um novo paradigma onde a compreensão visual é tratada como uma tarefa de reconstrução estrutural explícita, abrindo caminho para modelos mais robustos em tarefas que exigem raciocínio espacial e lógico complexo.

Em resumo, o artigo apresenta uma solução robusta para a escassez de dados geométricos complexos e propõe uma nova estratégia de alinhamento que utiliza a natureza determinística e estruturada do código de plotagem para ensinar modelos de IA a "ver" e "entender" a geometria de forma profunda e verificável.