Resumo Técnico: VeriEvol

Declaração do Problema

Escalar o aprendizado por reforço (RL) para o raciocínio matemático visual enfrenta um gargalo crítico: à medida que o volume de dados aumenta, a confiabilidade dos rótulos de recompensa frequentemente se degrada. As abordagens existentes tipicamente escalam a supervisão confiando em rotuladores automatizados ou assumindo que as respostas subjacentes estão corretas, falhando em abordar o efeito cumulativo do ruído de rótulo no RL. No raciocínio visual, onde os modelos devem fundamentar variáveis em diagramas e executar inferência de múltiplas etapas, rótulos não verificados podem reforçar sistematicamente políticas incorretas. Além disso, simplesmente gerar perguntas mais difíceis resulta em prompts que são meramente mais longos ou solucionáveis via priors de texto, carecendo de uma dificuldade genuína baseada na imagem. O desafio central é construir um pipeline de dados que escale simultaneamente a dificuldade do prompt e garanta a confiabilidade da resposta sem acoplar esses processos ao otimizador da política.

Metodologia: Estrutura VeriEvol

O VeriEvol é uma estrutura iterativa que desacopla a dificuldade do prompt e a confiabilidade da resposta antes de qualquer atualização de política. Ele transforma sementes de baixa dificuldade (imagem-pergunta) em amostras de alta qualidade e verificadas através de dois componentes extensíveis:

1. Evolução de Prompt Consciente de Tipo

Em vez de aplicar um template de evolução uniforme, o VeriEvol roteia as sementes para uma tupla de tags estruturada $z = (t, y, u, c)$ representando família de problemas, tipo de resposta, ferramentas recomendadas e esboços de evidência visual.

• Operadores Específicos de Rota: Para cada rota, operadores de evolução específicos reescrevem a pergunta semente $q$ em um prompt $q'$ mais difícil e fundamentado na imagem. Esses operadores são restritos para amplificar habilidades de raciocínio específicas, manter a evidência visual necessária e evitar a solucionabilidade baseada apenas em texto.
• Portão de Nível de Pergunta: Os prompts gerados passam por um portão independente $\phi_q$ que verifica o fundamento na imagem, consistência visual, aumento de dificuldade não trivial e deduplicação. Isso garante que a imagem permaneça necessária para a solução.

2. HTV-Agent (Agente de Hipótese–Teste de Verificação)

Este componente trata as respostas candidatas como hipóteses falseáveis em vez de verdade fundamental. Ele emprega uma estratégia de "busca por refutação" através de quatro estágios:

• Geração de Hipótese: Três ramos de solução independentes (com diferentes temperaturas) geram respostas candidatas e traços de raciocínio.
• Verificação de Busca por Refutação: Verificadores buscam ativamente por contraevidências usando:
  • Canais Programáticos: Traduzindo restrições em asserções Python executadas em um interpretador restrito.
  • Canais Visuais: Usando OCR, recortes locais e sondagens de nível de pixel para verificar se quantidades e símbolos citados estão fundamentados na imagem.
• Resolução de Conflitos: Um decisor avalia as hipóteses do solver contra os relatórios do verificador. Ele avalia a solidez lógica das objeções em vez de confiar cegamente no verificador. Se um verificador refuta um solver com evidência suficiente, a resposta é revisada; se a evidência for inconsistente, a amostra é rejeitada.
• Portão de Aceitação Determinístico: Um portão final $g(\hat{a}, m)$ aceita uma resposta apenas se ela passar por todos os testes conjunturais: conformidade de esquema, suporte visual, aprovação do verificador, asserções executáveis e consenso do cluster de solvers.

3. Materialização de Dados

• VeriEvol-SFT: Armazena o traço de raciocínio completo e a evidência para ajuste fino supervisionado.
• VeriEvol-RL: Armazena o prompt, a resposta verificada e os metadados de verificação. O traço de raciocínio é removido para forçar a política a gerar o seu próprio durante os rollouts. Os metadados incluem um verificador de recompensa determinístico (ex: correspondência exata, equivalência simbólica) compatível com receitas de RL do estilo GRPO existentes.

Principais Contribuições

1. Estrutura de Evol-Instruct Multimodal Escalável: Um pipeline que transforma sementes de baixa dificuldade em prompts mais difíceis e fundamentados na imagem. Experimentos mostram que escalar os dados de SFT de 10K para 250K amostras aumenta a precisão média em +19,31. No estágio de RL, escalar dados verificados de 10K para 130K adiciona um ganho suave de +4,60, com o próprio design contribuindo com +3,88 sobre uma linha de base não evoluída (descomposto em +1,82 de prompts evoluídos e +2,06 do verificador).
2. HTV-Agent: Um agente modular de hipótese-teste (agente-como-juiz) que filtra respostas através de solvers independentes, contraevidências de múltiplas fontes (programáticas e visuais) e um decisor. Permite a adição de novos canais de verificador sem reengenharia do otimizador da política.
3. Lançamento Aberto e Rastreável: Os autores liberam prompts, dados, modelos e o traço completo do verificador para cada amostra (incluindo hipóteses do solver, relatórios de contraevidência, saídas de ferramentas e resultados de portões). Isso permite que trabalhos subsequentes auditem e escalem decisões de construção em vez de apenas inspecionar os outputs finais.

Resultados Experimentais

Avaliado em um conjunto de cinco benchmarks de matemática visual (MathVista, MathVision, MathVerse-VO, DynaMath, We-Math) usando um backbone Qwen2.5-VL-7B:

• Desempenho: O VeriEvol alcança uma precisão média de 59,12, liderando três dos cinco benchmarks e a média geral contra fortes baselines externos de 7B. Especificamente, ele lidera em MathVerse-VO (70,46 vs. 63,80 para o segundo melhor) e We-Math-Strict (63,05 vs. 53,81).
• Comportamento de Escala:
  • Escala de SFT: A precisão média sobe monotonicamente de 35,42 (10K) para 54,73 (250K).
  • Escala de RL: Os dados de RL verificados escalam monotonicamente de 54,52 (10K) para 59,12 (130K), sem nenhum benchmark mostrando degradação de desempenho conforme o volume aumenta.
• Análise de Componentes:
  • Evolução: Prompts evoluídos sozinhos adicionam +1,82 à linha de base de RL. A dinâmica de treinamento mostra que prompts evoluídos sustentam maior entropia de política e alcançam recompensas terminais mais altas, evitando a convergência precoce para modos de baixa entropia.
  • Verificação: O HTV-Agent adiciona +2,06. Estudos de ablação sobre o verificador como juiz de tempo de inferência mostem que a autossistência de múltiplos solvers beneficia tarefas ricas em visão, enquanto a execução programática beneficia tarefas pesadas em computação, confirmando a complementaridade dos canais de evidência.
• Análise de Erro: Uma auditoria piloto em 60 amostras indica uma mudança na distribuição de erros. Erros de fundamentação visual (VG) e de atalho apenas de texto (TS) diminuíram significativamente (de 5% para 38% dos erros residuais), enquanto os erros restantes do sistema mudaram para limitações de cadeia de raciocínio e simbólicas/aritméticas inerentes à capacidade do backbone de 7B.

Significância e Alegações

O artigo postula que escalar o raciocínio visual requer tratar a construção de dados como um problema verificável em vez de um problema de otimização do lado da política. Ao desacoplar a evolução do prompt da verificação da resposta, o VeriEvol garante que os sinais de recompensa permaneçam confiáveis conforme o volume de dados cresce.

• Ortogonalidade: A estrutura é ortogonal a inovações do lado da política (ex: variantes de GRPO, modelagem de recompensa), permitindo que futuros otimizadores construam diretamente sobre os dados VeriEvol-RL.
• Componibilidade: A natureza modular do verificador permite a adição de canais de refutação direcionados (ex: novas ferramentas ou tipos de evidência) para abordar modos de falha específicos sem redesenhar o loop de treinamento.
• Transparência: Ao liberar os traços completos do verificador, os autores visam mudar o foco da pesquisa subsequente da inspeção de outputs para a auditoria do próprio pipeline de construção, permitindo uma escala e verificação mais robustas de sistemas de raciocínio multimodal.

Os autores reconhecem limitações, incluindo a dependência da cobertura do pool de sementes, o potencial de pontos cegos compartilhados entre solvers e verificadores, e o fato de que o subconjunto pronto para RL é mais estreito do que o subconjunto pronto para SFT devido aos requisitos de verificação mais rigorosos. Eles enfatizam que os ganhos observados são sugestivos de tendências, e não necessariamente diferenças estatisticamente significativas no nível de um único benchmark para margens pequenas.