Visual-ERM: Reward Modeling for Visual Equivalence

O artigo apresenta o Visual-ERM, um modelo de recompensa generativo multimodal que fornece feedback visual granular para otimizar a reconstrução de dados estruturados via aprendizado por reforço, superando modelos maiores e estabelecendo um novo padrão para a avaliação de discrepâncias visuais finas.

O essencial

Imagine que você tem um artista de IA muito talentoso, capaz de olhar para uma foto de um gráfico, tabela ou desenho e tentar recriá-lo escrevendo o código de computador necessário (como se fosse um pintor que aprende a usar pincéis digitais).

O problema é: como saber se o artista fez um bom trabalho?

Até agora, os métodos de avaliação eram como dois tipos de críticos falhos:

1. O Crítico Cego: Ele só lia o código escrito. Se o código parecia correto na gramática, ele dava nota 10, mesmo que o desenho final estivesse torto, com cores erradas ou dados trocados.
2. O Crítico Superficial: Ele comparava o desenho novo com o original de longe. Se as cores gerais e a forma parecessem parecidas, ele dava nota alta, ignorando detalhes minúsculos, como um número errado no eixo ou um título escrito de forma errada.

Esses críticos permitiam que o artista "trapaceasse" (o chamado reward hacking): ele podia escrever um código que parecia bom para o computador, mas que gerava um desenho feio ou errado para os humanos.

A Solução: O "Visual-ERM" (O Chefe de Controle de Qualidade Visual)

Os autores deste paper criaram um novo sistema chamado Visual-ERM. Pense nele como um Chefe de Controle de Qualidade Visual extremamente detalhista e experiente.

Aqui está como ele funciona, usando analogias simples:

1. O Olho de Águia (Não apenas leitura)

Diferente dos críticos antigos, o Visual-ERM não lê apenas o código. Ele olha para a imagem final.

• Analogia: Imagine que você pediu para um cozinheiro fazer um bolo. O crítico antigo cheirava a receita escrita. O Visual-ERM pega o bolo pronto, corta um pedaço, prova o sabor, verifica se o recheio está no lugar certo e se a cobertura está lisa. Ele compara a foto do bolo original com a foto do bolo que o cozinheiro fez.

2. O Relatório de Erros Detalhado

Quando o Visual-ERM encontra um erro, ele não dá apenas uma nota de 0 a 10. Ele escreve um relatório de diagnóstico muito específico.

• Exemplo: Em vez de dizer "Nota 7", ele diz: "O gráfico está com a cor da barra azul errada (erro de estilo), o título está escrito 'Vendas' em vez de 'Lucro' (erro de texto) e a barra mais alta está 20% menor do que deveria (erro de dados)".
• Isso é como um professor de arte que não apenas diz "está ruim", mas aponta exatamente onde o aluno errou a perspectiva ou a mistura de cores.

3. Aprendizado e Melhoria (O Treinamento)

O Visual-ERM foi treinado olhando para milhares de pares de imagens: uma perfeita e outra com erros injetados (como um gráfico com barras tortas ou tabelas com números trocados). Ele aprendeu a identificar esses erros finos, mesmo que pareçam pequenos para um computador comum.

4. O Resultado: A IA Fica Melhor

Quando usamos esse "Chefe de Qualidade" para treinar a IA:

• No Treinamento (Reforço): A IA tenta desenhar o gráfico. O Visual-ERM olha, aponta os erros e diz: "Isso aqui está errado, tente de novo". A IA aprende com o feedback e melhora.
• Na Hora de Usar (Reflexão): Mesmo depois de treinada, se a IA gerar um gráfico, o Visual-ERM pode olhar, apontar o erro e dizer: "Aqui está o problema, corrija". A IA então refaz o trabalho na hora, ficando ainda mais precisa.

Por que isso é importante?

Antes, a IA podia "enganar" o sistema, produzindo códigos que pareciam certos para o computador, mas que geravam gráficos confusos ou falsos para os humanos. Com o Visual-ERM:

• Precisão: A IA agora entende que a fidelidade visual (como o desenho parece) é tão importante quanto o código em si.
• Versatilidade: Funciona para gráficos, tabelas e desenhos vetoriais (SVG).
• Confiança: Podemos confiar mais nos gráficos e tabelas gerados por IA para tomar decisões importantes, porque sabemos que um "olho crítico" verificou cada detalhe.

Em resumo: O Visual-ERM é como dar um microscópio e um manual de estilo para a IA, transformando-a de um artista que apenas "acha que acertou" em um artesão que garante que cada detalhe visual esteja perfeito.

Resumo técnico

Resumo Técnico: Visual-ERM

1. O Problema

As tarefas de Visão para Código (Vision-to-Code) exigem que modelos convertam entradas visuais estruturadas (como gráficos, tabelas e SVGs) em representações executáveis ou estruturadas (código Python, Markdown, SVG) com alta fidelidade visual. Embora os Modelos de Linguagem Visuais Grandes (LVLMs) tenham avançado através de Fine-Tuning Supervisionado (SFT), o uso de Aprendizado por Reforço (RL) para melhorar esses modelos enfrenta um obstáculo crítico: a falta de sinais de recompensa confiáveis.

As abordagens existentes de recompensa falham em dois aspectos principais:

• Métricas Baseadas em Texto (ex: TEDS, Distância de Edição): Operam apenas no domínio textual, ignorando pistas visuais críticas como alinhamento, espaçamento e erros de layout. Isso permite "hacking de recompensa", onde o modelo gera texto estruturalmente correto, mas visualmente errado.
• Similaridade de Embeddings Visuais (ex: DINO): São granuladas e tendenciosas semanticamente. Elas podem atribuir pontuações altas a imagens que parecem semanticamente similares, mas contêm discrepâncias visuais finas e críticas (ex: eixos invertidos, dados distorcidos), falhando em capturar a fidelidade visual necessária para tarefas de parsing.

2. Metodologia

O artigo propõe o Visual-ERM (Visual Equivalence Reward Model), um modelo de recompensa generativo multimodal que avalia a qualidade da conversão de visão para código diretamente no espaço visual renderizado.

Pipeline Principal:

1. Geração de Dados de Recompensa:

   • O sistema cria pares de imagens (Original vs. Renderizada a partir do código gerado).
   • Introduz erros controlados (via edição de texto ground-truth ou inferência de modelos mais fracos) para criar cenários de falha realistas.
   • Utiliza um modelo proprietário forte (GPT-5-mini) para gerar anotações finas e estruturadas sobre as discrepâncias entre as imagens, incluindo categoria, localização, descrição e severidade.

2. Treinamento do Modelo (Visual-ERM):

   • O Visual-ERM é treinado via Supervised Fine-Tuning (SFT) em um grande corpus de dados anotados (Chart-to-Code, Table-to-Markdown, SVG-to-Code).
   • O modelo aprende a atuar como um "juiz" visual, recebendo a imagem original e a imagem gerada, e produzindo um feedback estruturado (JSON) que detalha erros de estrutura, dados, texto e estilo, além de uma pontuação de recompensa.

3. Integração em RL e Escala em Tempo de Teste (Test-Time Scaling):

   • RL: O Visual-ERM atua como o modelo de recompensa em um pipeline de RL (usando o algoritmo GRPO). A recompensa é calculada com base na soma das severidades dos erros detectados, normalizada para o intervalo [0, 1].
   • Reflexão e Revisão: Diferente de recompensas escalares simples, o Visual-ERM fornece feedback interpretável. Isso permite que o modelo realize ciclos de reflexão e revisão durante a inferência (Test-Time Scaling), corrigindo seus próprios erros com base nas críticas visuais detalhadas.

4. Benchmarks:

   • Introdução do VisualCritic-RewardBench (VC-RewardBench), um benchmark de 1.335 instâncias de alta qualidade para avaliar a capacidade de modelos de detectar discrepâncias imagem-para-imagem em dados visuais estruturados.

3. Principais Contribuições

1. Visual-ERM: Um modelo de recompensa generativo que fornece sinais de recompensa granulares, interpretáveis e agnósticos à tarefa. Ele supera as limitações das métricas puramente textuais ou baseadas em embeddings visuais brutos.
2. Análise Sistemática: Demonstra que as recompensas baseadas em texto e similaridade visual (DINO) são inadequadas para avaliação visual fiel, sendo propensas a viés de modalidade e hacking.
3. VisualCritic-RewardBench: Um novo benchmark focado na discriminação de discrepâncias finas entre imagens estruturadas, preenchendo uma lacuna na avaliação de modelos de recompensa visuais.
4. Validação Empírica: Evidência de que a supervisão visual granular é necessária e suficiente para melhorar o RL em tarefas de visão para código, independentemente da tarefa específica.

4. Resultados

Os experimentos foram conduzidos em três tarefas principais: Chart-to-Code, Table-to-Markdown e SVG-to-Code, utilizando o Qwen3-VL-8B-Instruct como modelo base.

• Chart-to-Code: O Visual-ERM melhorou o desempenho do Qwen3-VL-8B em +8.4 pontos na média, superando significativamente as recompensas baseadas em DINO (+4.9 pontos de ganho adicional).
• Table-to-Markdown: Ganhos consistentes de +2.7 pontos em média, enquanto as recompensas baseadas em DINO e TEDS falharam ou degradaram o desempenho devido ao hacking de recompensa.
• SVG-to-Code: Melhoria de +4.1 pontos em média. O Visual-ERM demonstrou robustez, melhorando tanto modelos base quanto modelos especializados (VinciCoder), ao contrário das recompensas DINO que falharam em modelos mais fortes.
• Desempenho no Benchmark (VC-RewardBench): O Visual-ERM (8B) superou decisivamente o Qwen3-VL-235B-Instruct e alcançou desempenho comparável a modelos proprietários líderes (como GPT-5 e Gemini), provando que o treinamento específico para recompensa é mais eficaz do que apenas escalar o tamanho do modelo.
• Test-Time Scaling: A aplicação de ciclos de reflexão guiada pelo Visual-ERM trouxe melhorias adicionais de +8.0 pontos no modelo base e +3.1 pontos no modelo já treinado com RL.

5. Significado e Impacto

O trabalho estabelece que a supervisão visual granular é fundamental para o avanço de tarefas de conversão de imagem para código. Ao mover a avaliação do espaço textual para o espaço visual renderizado e fornecer feedback interpretável (não apenas um número), o Visual-ERM resolve o problema de "hacking de recompensa" e alinha melhor o treinamento do modelo com a fidelidade visual humana.

Isso permite que sistemas de IA não apenas gerem código sintaticamente correto, mas que produzam visualizações e estruturas que são visualmente equivalentes aos originais, um passo crucial para aplicações como desenvolvimento front-end assistido por IA, parsing de documentos científicos e integração de sistemas. A metodologia proposta sugere que modelos de recompensa especializados e treinados com dados sintéticos de alta qualidade podem superar modelos genéricos massivos em tarefas de avaliação visual específica.