Resumo Técnico: GeoMathCode

Declaração do Problema

O raciocínio matemático em Modelos de Linguagem Grandes Multimodais (MLLMs) frequentemente depende da geração de soluções em múltiplos passos para problemas de geometria. Embora abordagens recentes como MathCanvas tentem emular o raciocínio humano incorporando construções visuais auxiliares (por exemplo, desenhar linhas ou pontos), elas geralmente dependem de geração de imagens baseada em pixels. Os autores identificam duas limitações primárias nesse paradigma:

1. Alinhamento e Verificação: A geração cruzada de modalidades de alta granularidade (texto para imagens baseadas em pixels) é inerentemente difícil de alinhar e verificar, aumentando o potencial para propagação de erros.
2. Complexidade do Sistema: Abordagens baseadas em pixels frequentemente exigem geradores adicionais específicos para visão, complicando a arquitetura do sistema.

O artigo postula que, embora representações programáticas (código) sejam precisas e verificáveis, permanece incerto se o raciocínio intercalado matemático-código remodela fundamentalmente a geometria latente do raciocínio multimodal ou se serve meramente como uma saída auxiliar. Especificamente, os autores buscam entender como as trajetórias de raciocínio evoluem através das camadas e se representações simbólicas de código capturam conceitos geométricos de maneira diferente das representações visuais.

Metodologia

1. Construção do Conjunto de Dados: GeoMathCode

Os autores introduzem o GeoMathCode, um conjunto de dados multimodal público projetado para raciocínio intercalado matemático-código. O pipeline de construção envolve:

• Fonte: Utilização do MathCanvas como recurso principal, cobrindo oito domínios matemáticos (Álgebra, Geometria Analítica, Cálculo, etc.).
• Geração: Emprego do Gemini 3-Flash para gerar soluções intercaladas contendo raciocínio textual, código Python executável e visualizações correspondentes.
• Verificação: Um pipeline de verificação automatizada multinível garante qualidade:
  • Motor Baseado em Regras (GPT-5.1): Extrai passos-chave de raciocínio ("pick-points") e regras matemáticas.
  • Verificador (Gemini 3-Pro): Valida a correção da resposta final, a lógica do raciocínio textual e a execução do código.
  • Sandbox: Filtra amostras com execução de código errônea, acionando regeneração iterativa.
• Escala: O conjunto de dados final compreende 10.000 amostras de treinamento e 1.000 amostras de teste, equilibradas com uma proporção de 1:1 de perguntas com e sem diagramas.

2. Framework de Análise Empírica

O estudo avalia MLLMs representativos (Qwen3/3.5, LLaVA-Next, InternVL3.5) usando tanto Ajuste Fino Supervisionado (SFT) de parâmetros completos quanto LoRA. A análise foca em duas perspectivas:

• Desempenho Pós-Treinamento: Avaliação de métricas incluindo Precisão da Resposta (Ans Acc), correção do raciocínio textual, Precisão do Código, Correção Matemática do Código e Consistência Texto-Código.
• Análise de Geometria Latente: Investigação do espaço de representação interna dos modelos através de:
  • Análise de Trajetória: Medição de distâncias euclidianas entre passos de raciocínio e passos de código através das camadas do transformador.
  • Regularização de Variedade: Quantificação da capacidade de informação e complexidade geométrica usando Rank Efetivo (ERank) e Dimensão Intrínseca (ID).
  • Estrutura do Espaço de Código: Análise da representação latente da sintaxe do código (fluxo de controle, chamadas de função, fluxo de dados) usando KNN e SVM linear para avaliar agrupamento local e separabilidade linear global.
  • Sondagem Simbólica: Comparação da capacidade de embeddings de código versus embeddings visuais para capturar símbolos matemáticos de alta granularidade (por exemplo, $\sqrt{}$, $\triangle$, $\angle$).

Resultados Chave

1. Desempenho e Desemaranhamento

• SFT Melhora o Desempenho: O Ajuste Fino Supervisionado melhora significativamente o desempenho em todos os modelos. Qwen3.5-9B-SFT alcança os melhores resultados gerais (pontuação média 0,73), superando baselines e variantes LoRA.
• Desemaranhamento Raciocínio-Código: Visualizações de PCA e análise de trajetória revelam que passos de raciocínio e passos de geração de código formam subespaços latentes desemaranhados.
  • O modelo depende principalmente de trajetórias de raciocínio textual para previsão da resposta final.
  • A geração intermediária de código atua como uma representação executável auxiliar, e não como uma modalidade de raciocínio ativa que guia diretamente a resposta final.
  • Isso sugere uma separação funcional entre raciocínio matemático e execução programática no espaço latente.

2. Regularização de Variedade via SFT

• Raciocínio Estruturado: O SFT aumenta o Rank Efetivo (ERank) das representações de raciocínio (indicando maior diversidade de informação) enquanto simultaneamente reduz a Dimensão Intrínseca (ID) (indicando menor complexidade geométrica local).
• Interpretação: Isso sugere que o SFT não apenas comprime representações, mas reorganiza trajetórias de raciocínio em caminhos computacionais mais estruturados, canônicos e reutilizáveis, equilibrando diversidade de informação com regularidade geométrica.

3. Espaço de Código Hierárquico

• Subespaços Sintáticos: Estruturas sintáticas hierárquicas (por exemplo, fluxo de controle, chamadas de função) emergem como subespaços latentes estruturados.
• Dinâmicas de Abstração: Enquanto categorias semânticas de alto nível permanecem preservadas, o agrupamento léxico de alta granularidade torna-se misturado em camadas mais profundas. O modelo reorganiza APIs em variedades de execução-semântica compartilhadas baseadas em papéis funcionais.
• Superioridade do Código sobre Visuais: Representações latentes de código capturam conceitos simbólicos matemáticos de alta granularidade (por exemplo, operadores específicos e formas geométricas) de maneira mais eficaz do que representações visuais, conforme evidenciado por maior precisão de classificação em tarefas de sondagem.

Significado e Alegações

O artigo alega fornecer um novo conjunto de dados e uma análise sistemática da estrutura geométrica latente subjacente ao raciocínio intercalado matemático-código. As contribuições primárias são:

1. Conjunto de Dados: A introdução do GeoMathCode, que facilita o estudo de saídas intermediárias programáticas na resolução de problemas de geometria.
2. Insights de Geometria Latente: A demonstração de que passos de raciocínio e código estão desemaranhados no espaço latente, desafiando a noção de que a geração de código é uma modalidade de raciocínio ativa da mesma forma que modalidades visuais poderiam ser.
3. Efeitos do SFT: A descoberta de que o SFT regulariza a variedade de raciocínio, tornando-a mais informativa e geometricamente regular, em vez de simplesmente aumentar a complexidade.
4. Código vs. Visuais: A evidência de que representações simbólicas de código são superiores às representações visuais para capturar conceitos matemáticos de alta granularidade.

Os autores concluem que essas descobertas motivam pesquisas futuras sobre interpretabilidade mecânica em LLMs, especificamente regarding a execução de código, e o potencial de aprendizado por reforço baseado em pick-point para melhorar a confiabilidade do raciocínio. Eles reconhecem limitações relacionadas à dependência de avaliadores baseados em LLM e à precisão relativamente baixa da resposta final, sugerindo que trabalhos futuros devem focar em avaliação simbólica automática e abordagens de aprendizado por reforço (por exemplo, GRPO, DAPO).