CodePercept: Code-Grounded Visual STEM Perception for MLLMs

O artigo "CodePercept" identifica que a percepção, e não o raciocínio, é o principal gargalo para o raciocínio visual STEM em MLLMs e propõe uma nova abordagem que utiliza código executável como meio perceptivo, fundamentado no dataset ICC-1M e avaliado pelo benchmark STEM2Code-Eval, para superar as limitações de alucinação e ambiguidade dos métodos atuais.

O essencial

Imagine que você tem um robô superinteligente (um Modelo de Linguagem Multimodal, ou MLLM) que é ótimo em conversar e resolver problemas de lógica. Mas, quando você mostra a ele um desenho complexo de matemática ou física, ele falha. Por quê?

O artigo CodePercept traz uma descoberta fascinante: o problema não é que o robô é "burro" para raciocinar. O problema é que ele é cego para os detalhes visuais. É como tentar montar um quebra-cabeça de 1.000 peças olhando apenas para a caixa fechada: você pode ter a lógica perfeita, mas se não conseguir ver as peças, não consegue montar nada.

Aqui está a explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Diagnóstico: O "Olho" é o Gargalo

Os pesquisadores fizeram um teste curioso. Eles separaram o cérebro do robô em duas partes:

• Percepção: A capacidade de olhar a imagem e descrever o que vê.
• Raciocínio: A capacidade de usar essa descrição para resolver o problema.

Eles descobriram que, se você deixar o robô com uma descrição perfeita da imagem, mas um cérebro "comum", ele resolve o problema. Mas, se você der um cérebro de gênio e uma descrição ruim (ou cega), ele falha.
Conclusão: O limite não é a inteligência, é a visão. O robô precisa aprender a "ver" com precisão cirúrgica.

2. A Solução: Trocar a "Fala" pela "Programação"

Até agora, tentávamos ensinar esses robôs a descrever imagens usando texto (ex: "há um triângulo vermelho aqui"). O problema é que a linguagem humana é cheia de ambiguidades. Dizer "perto" ou "grande" não é exato o suficiente para matemática.

A grande ideia do CodePercept foi: "Por que não ensinar o robô a 'falar' em código de computador?"

• A Analogia da Receita de Bolo:
  • Texto: "Adicione um pouco de farinha e misture até ficar homogêneo." (Subjetivo, pode dar errado).
  • Código: "Adicione exatamente 200g de farinha e misture por 120 segundos a 500 RPM." (Exato, verificável).

O código de computador (Python) é a linguagem mais precisa que existe. Se você consegue escrever o código que desenha a imagem, você obrigatoriamente entendeu cada detalhe dela. Não há espaço para alucinações ou erros de interpretação.

3. O Que Eles Criaram?

Para ensinar essa nova habilidade, eles criaram três coisas principais:

A. O "Gym" de Treino (ICC-1M)

Eles criaram um ginásio virtual gigante com 1 milhão de exercícios.

• Em vez de apenas mostrar uma foto e pedir uma descrição, eles mostram a foto e pedem: "Escreva o código que desenha exatamente isso".
• Eles usaram três truques para criar esses dados:
  1. Reprodução: Pegar imagens existentes e pedir o código delas.
  2. Variedade: Pegar um conceito (ex: "dominós") e criar milhares de variações diferentes (dominós em círculo, triângulo, etc.) para o robô não decorar, mas aprender o princípio.
  3. Geometria Sólida: Criar formas 3D complexas que os robôs atuais odeiam desenhar, forçando-os a aprender a ver no espaço 3D.

B. O "Professor Rigoroso" (Geração de Legendas Baseada em Código)

Antes, os robôs criavam descrições de imagens baseados em "achismos" (alucinações). Agora, o processo é:

1. O robô vê a imagem.
2. Ele gera o código que desenha a imagem (que é a verdade absoluta).
3. O robô lê o próprio código e, baseado nele, escreve a descrição em texto.
   Resultado: A descrição em texto agora é perfeita, porque foi "ancorada" na verdade do código.

C. O "Exame Final" (STEM2Code-Eval)

Como saber se o robô realmente aprendeu?

• Exames antigos: "Resolva este problema de física." (Se ele errar, não sabemos se foi por não ver a imagem ou por não saber física).
• O novo exame: "Olhe para esta imagem complexa e escreva o código que a recria pixel por pixel."
  Se o código roda e a imagem gerada é idêntica à original, o robô passou. É um teste de "verdade ou consequência" visual.

4. O Resultado

Depois de treinar com essa metodologia (chamada de CodePercept), os robôs ficaram muito melhores em:

• Ver detalhes pequenos e precisos em gráficos e diagramas.
• Entender relações espaciais complexas (ex: "este cubo está girando em torno daquele eixo").
• Resolver problemas de matemática e ciências com muito mais acurácia.

Resumo em uma frase

O CodePercept descobriu que, para ensinar robôs a "ver" matemática e ciência, não adianta apenas pedir para eles "olharem e falarem". É preciso pedir para eles escreverem o código que desenha o que veem, transformando a visão vaga em uma instrução matemática precisa e verificável. É como trocar um desenho feito à mão por um projeto de engenharia em CAD: a precisão muda tudo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "CodePercept: Code-Grounded Visual STEM Perception for MLLMs", apresentado em português:

1. O Problema

O artigo identifica uma lacuna fundamental no desempenho dos Modelos de Linguagem Multimodal (MLLMs) em tarefas de raciocínio visual nas áreas de Ciência, Tecnologia, Engenharia e Matemática (STEM).

• A Pergunta Central: Quando os MLLMs falham em problemas de STEM visuais, a causa raiz é uma limitação de raciocínio ou uma deficiência de percepção?
• A Descoberta Inicial: Através de uma análise de escalonamento sistemática (onde as capacidades de percepção e raciocínio são escaladas independentemente), os autores descobriram que escalar a percepção gera ganhos de desempenho consistentemente maiores do que escalar o raciocínio. Isso indica que a percepção visual é o verdadeiro gargalo atual, e não a capacidade de raciocínio lógico.
• Limitações das Abordagens Atuais:
  • Alucinação: Modelos "professores" (como GPT ou Gemini) usados para gerar legendas (knowledge distillation) frequentemente cometem erros factuais em detalhes espaciais, quantitativos e de interação.
  • Afasia Descritiva: Muitas imagens de STEM possuem relações espaciais complexas e valores numéricos precisos que a linguagem natural não consegue capturar totalmente ou sem ambiguidade.
  • Avaliação Indireta: As métricas atuais avaliam a percepção indiretamente através da precisão na resolução de problemas, o que não mede a compreensão visual completa, apenas a relevância para a questão específica.

2. Metodologia: CodePercept

A proposta central do trabalho é utilizar código executável (Python) como um meio perceptivo preciso e verificável. O código atua como uma "verdade fundamental" (ground truth) que elimina a ambiguidade da linguagem natural.

O pipeline do CodePercept envolve três etapas principais:

A. Construção de Dados (ICC-1M)

Os autores criaram o ICC-1M, um conjunto de dados em larga escala com mais de 1 milhão de tripletas (Imagem-Legenda-Código). A construção utiliza três pipelines complementares:

1. Reprodução de Imagem (Image Reproduction): Converte imagens STEM existentes em código Python executável (usando bibliotecas como matplotlib).
2. Diversidade de Imagem (Image Diversity): Extrai princípios científicos de imagens semente e gera novas variações visuais mantendo a validade conceitual, expandindo o conjunto de dados além das imagens originais.
3. Síntese de Geometria Sólida (Solid Geometry Synthesis): Utiliza templates de código paramétricos para gerar imagens de geometria sólida complexa, uma área onde os MLLMs atuais falham frequentemente.

B. Tarefas de Treinamento "Code-Grounded"

Para treinar os modelos, são utilizadas duas tarefas inovadoras:

1. Geração de Legendas Baseada em Código (Code-Grounded Caption Generation):
   • O modelo gera um rascunho de legenda a partir da imagem.
   • Um agente de código analisa o código de reprodução (ou logs de execução) para extrair fatos visuais verificados (coordenadas exatas, contagens, relações espaciais).
   • Um LLM refina a legenda original, corrigindo erros factuais com base nos dados do código, resultando em uma legenda precisa e linguisticamente natural.
2. Tradução Imagem-para-Código STEM (STEM Image-to-Code Translation):
   • O modelo é treinado para gerar diretamente o código Python que recria a imagem.
   • O código gerado é refinado para incluir explicações pedagógicas, ensinando o modelo não apenas o que codificar, mas por que certas implementações capturam melhor o conteúdo visual.

C. Estratégia de Pós-Treinamento

• Fase 1 (SFT - Fine-Tuning Supervisionado): O modelo é treinado simultaneamente nas tarefas de legendagem e geração de código, aprendendo a mapear percepção visual para representações semânticas (texto) e estruturadas (código).
• Fase 2 (RL - Aprendizado por Reforço): Utiliza-se o algoritmo GRPO (Group Relative Policy Optimization) focado exclusivamente na geração de código. O sistema de recompensa inclui:
  • Recompensa de Formato: O código está dentro de blocos Python válidos?
  • Recompensa de Conteúdo: O código executa com sucesso? O código gerado é semanticamente equivalente ao código de referência? A imagem renderizada é visualmente similar à original?

3. Avaliação: STEM2Code-Eval

Para validar a abordagem, os autores introduzem o STEM2Code-Eval, um benchmark de 1.000 imagens manuais.

• Diferencial: Ao contrário de benchmarks que avaliam a resposta final a um problema, este exige que o modelo gere código executável para reconstruir a imagem.
• Métricas:
  1. Score de Imagem: Similaridade visual entre a imagem original e a renderizada pelo código.
  2. Score de Código: Qualidade, estrutura e correção do código Python.
  3. Taxa de Execução (Exec Rate): Se o código roda sem erros.
• Vantagem: Fornece uma avaliação determinística e verificável da compreensão visual completa, não apenas da relevância para uma pergunta.

4. Resultados Principais

Os experimentos foram realizados na família de modelos Qwen3-VL (4B, 8B e 32B parâmetros).

• Avaliação de Percepção via Resolução de Problemas (Captioner-Solver):
  • Modelos CodePercept superaram consistentemente os modelos base (Qwen3-VL) e modelos muito maiores (como Qwen2.5-VL-72B) em benchmarks como MathVision, MathVista e LogicVista.
  • O modelo CodePercept-8B-S1 superou o Qwen2.5-VL-72B em 6.2% de média, demonstrando que melhorar a percepção é mais eficaz do que apenas aumentar o tamanho do modelo.
• Avaliação Direta no STEM2Code-Eval:
  • Os modelos CodePercept mostraram melhorias massivas na capacidade de reconstruir imagens.
  • O CodePercept-32B-R1 alcançou uma pontuação média de 75.80, superando modelos de ponta como GPT-5-Thinking (75.52) e Gemini2.5-Pro-Thinking (78.67) em métricas combinadas, com uma taxa de execução de 95.9%.
  • A ablação study confirmou que a combinação de legendas baseadas em código e tradução imagem-para-código é essencial para o desempenho.

5. Contribuições e Significado

• Mudança de Paradigma: O trabalho estabelece que a percepção visual é o gargalo primário para MLLMs em STEM, e não o raciocínio.
• Código como Ground Truth: Demonstra que o código executável é uma representação superior à linguagem natural para descrever e validar a percepção visual complexa, eliminando alucinações e ambiguidades.
• Recursos Abertos:
  • ICC-1M: Um dataset massivo de tripletas Imagem-Legenda-Código.
  • STEM2Code-Eval: Um novo benchmark rigoroso para avaliação de percepção.
  • CodePercept: Uma metodologia de treinamento que combina SFT e RL para aprimorar a percepção visual.

Conclusão: O CodePercept prova que ensinar MLLMs a "pensar" e "descrever" através de código executável não apenas melhora sua capacidade de reconstruir imagens com precisão, mas também eleva drasticamente seu desempenho em tarefas complexas de raciocínio STEM, oferecendo um caminho mais eficiente do que o simples aumento de escala de parâmetros ou treinamento focado apenas em raciocínio.