VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

Resumo Técnico: VisTIRA

1. O Problema: A Lacuna de Modalidade (Modality Gap)

O artigo identifica uma discrepância crítica nos Modelos de Linguagem e Visão (VLMs): eles performam significativamente pior em tarefas de raciocínio matemático quando os problemas são apresentados como imagens (fórmulas densas, diagramas, layouts complexos) em comparação com a mesma informação apresentada como texto puro.

• Causa Raiz: A lacuna é causada por falhas cumulativas na leitura de fórmulas densas, interpretação de layout (como bases de frações, limites de integrais, subscritos) e contexto misto (símbolo-diagrama).
• Consequência: Um erro de leitura inicial (ex: um expoente mal transcrito ou um limite invertido) desencadeia uma cascata de erros de álgebra subsequente, levando a respostas finais incorretas.
• Limitação Atual: Conjuntos de dados existentes de VQA e OCR geralmente fornecem apenas respostas finais ou raciocínios curtos, sem trajetórias executáveis passo a passo que alinhem a percepção visual com a computação iterativa.

2. Metodologia

Os autores propõem uma abordagem de duas frentes para mitigar essa lacuna: um novo framework de agente e uma nova infraestrutura de dados/avaliação.

A. VisTIRA (Vision and Tool-Integrated Reasoning Agent)
VisTIRA é um framework que equipa VLMs para resolver problemas matemáticos visuais através de um ciclo fechado de raciocínio integrado a ferramentas.

• Mecanismo: O modelo intercala raciocínio em linguagem natural (rationales) com programas Python executáveis.
• Fluxo Iterativo:
  1. O modelo analisa a imagem e propõe um raciocínio ($\rho_i$).
  2. Gera um snippet de código Python ($A_i$) para realizar cálculos precisos.
  3. O código é executado externamente (usando bibliotecas como SymPy).
  4. A saída do código ($O_i$) é retornada ao modelo para informar o próximo passo.
  5. O processo repete-se até que uma resposta final seja gerada dentro de \boxed{}.
• Objetivo: Transferir a manipulação simbólica exata para um motor de execução, reduzindo alucinações aritméticas e erros de cálculo.

B. Pipeline de Dados e Avaliação
Para treinar e avaliar o VisTIRA, os autores desenvolveram:

1. Geração de Trajetórias (SnapAsk): Utilizaram um conjunto de dados proprietário de imagens de tarefas escolares reais (SnapAsk). Modelos "professores" fortes (como GPT-5/Gemini) geraram trajetórias de raciocínio + código. Apenas trajetórias onde a resposta do raciocínio (CoT) coincidia com a resposta da execução do código foram mantidas (filtro de consistência), resultando em ~148k amostras de treinamento.
2. Pipeline de Renderização LaTeX (NuminaMath): Criaram um pipeline para converter problemas matemáticos de texto (do conjunto NuminaMath) em imagens tipografadas (LaTeX). Isso permite uma comparação controlada "texto vs. imagem" no mesmo conjunto de problemas, isolando o efeito da modalidade.
3. Análise de Grounding via OCR: Investigaram o uso de sistemas de OCR de ponta (DeepSeek-OCR) para extrair texto das imagens e fornecê-lo ao modelo junto com a imagem, testando se a transcrição explícita compensa a fraqueza na percepção visual.

3. Contribuições Principais

1. Framework VisTIRA: Um agente de raciocínio iterativo que decompõe problemas visuais em raciocínio, código e loops de execução, superando as limitações do raciocínio puramente textual em contextos visuais.
2. Corpus de Supervisão de Trajetórias: Criação de um grande corpus de trajetórias verificadas (raciocínio-código-saída) a partir de imagens do mundo real (SnapAsk), permitindo o fine-tuning supervisionado (SFT) de agentes VLMs.
3. Pipeline de Avaliação e Liberação de Dados:
   • Liberação de 360k imagens renderizadas do NuminaMath (limpas e com ruído estocástico) para pesquisa aberta.
   • Criação de um benchmark padronizado para medir a lacuna de modalidade (texto vs. imagem).
4. Análise de Grounding com OCR: Demonstração de que a extração de texto via OCR é uma alavanca complementar eficaz, especialmente para modelos menores.
5. Descobertas Empíricas: Quantificação da lacuna de modalidade através de escalas de modelos, mostrando que a gravidade da lacuna é inversamente correlacionada ao tamanho do modelo.

4. Resultados Experimentais

Os experimentos foram conduzidos no Qwen2.5-VL-7B (modelo de base) e comparados com o GPT-5 (modelo de ponta).

• Melhoria com VisTIRA:

  • No conjunto SnapAsk (imagens reais), o modelo Qwen2.5-VL-7B ajustado com VisTIRA alcançou 37,96% de precisão, uma melhoria de +5,43 pontos em relação à base (32,53%).
  • O fine-tuning apenas com CoT (sem ferramentas) trouxe apenas +1,65 pontos, provando que a integração de ferramentas é o fator chave, não apenas a adaptação de domínio.
  • No conjunto NuminaMath (renderizado), a precisão subiu de 58,77% para 60,97%.

• Análise da Lacuna de Modalidade:

  • Texto vs. Imagem: Em todos os modelos testados, a precisão em texto puro foi superior à de imagem.
    • Qwen2.5-VL-7B: Texto (64,19%) > Imagem (58,77%).
    • GPT-5: Texto (79,94%) > Imagem (73,94%).
  • Efeito do Tamanho do Modelo: A lacuna é mais pronunciada em modelos menores (Qwen: ~5,4% de diferença) do que em modelos maiores (GPT-5: ~6,0% de diferença, embora a precisão absoluta seja maior).

• Impacto do OCR:

  • Para modelos menores (Qwen), adicionar OCR à imagem aumentou a precisão de 58,77% para 63,89%. Em alguns casos, a entrada apenas com OCR superou a entrada apenas com imagem.
  • Para modelos maiores (GPT-5), o OCR trouxe ganhos marginais ou introduziu ruído/redundância, sugerindo que modelos grandes já possuem capacidades de percepção visual robustas e o texto extra pode ser supérfluo.
  • Descoberta Crítica: Problemas onde o OCR ajudou significativamente continham textos visualmente mais longos e densos, indicando que modelos menores lutam para interpretar notação densa apenas visualmente.

• Teste de Estresse (Ruído):

  • Imagens renderizadas com ruído estocástico (desfoque, ruído, artefatos JPEG) mostraram que a lacuna de modalidade persiste mesmo em condições controladas, sendo uma falha estrutural e não apenas de qualidade de imagem.

5. Significado e Conclusão

O trabalho demonstra que o raciocínio matemático visual é um desafio distinto do raciocínio textual, exigindo competências acopladas de parsing visual fiel e raciocínio simbólico robusto.

• Estratégias Complementares: O artigo conclui que não existe uma solução única.
  1. Raciocínio Integrado a Ferramentas (VisTIRA) é essencial para escalar o desempenho e corrigir erros de cálculo, funcionando bem em todas as escalas de modelos.
  2. Grounding via OCR atua como um mecanismo compensatório eficaz para modelos menores com encoders visuais mais fracos, mas seus benefícios diminuem à medida que o modelo cresce.
• Impacto Futuro: A liberação de dados (SnapAsk e NuminaMath renderizado) e o framework VisTIRA estabelecem novos padrões para o desenvolvimento e avaliação de agentes multimodais capazes de lidar com a complexidade de problemas matemáticos do mundo real, onde a interface é visual e a solução exige precisão computacional.