💻 computer science

V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

Este artigo apresenta o V-Rubrics, um framework de aprendizado por reforço que aumenta a fidelidade visual de modelos de visão-linguagem ao decompor respostas em proposições atômicas para uma pontuação estruturada de crédito parcial através de fundamentação visual, raciocínio e seguimento de instruções, superando assim as limitações das recompensas de resultado escalar.

Autores originais: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, um tipo específico de programa de computador surgiu, capaz de olhar para uma fotografia e descrever o que vê. Esses sistemas, conhecidos como modelos de visão-linguagem, são treinados para conectar os pixels de uma imagem com as palavras da linguagem humana. Eles podem identificar um cachorro em um parque, ler um cardápio em uma língua estrangeira ou explicar um gráfico complexo. No entanto, um problema persistente tem assolado esses sistemas: eles são frequentemente fluentes, mas infiéis. Um modelo pode gerar uma frase perfeitamente fluida que soa confiante, mas pode estar descrevendo um objeto que não está lá, lendo incorretamente um número em um gráfico ou tirando uma conclusão que a imagem simplesmente não suporta. Para um humano, isso é uma alucinação; para a máquina, é uma falha em ancorar suas palavras na realidade visual. O desafio central para os pesquisadores tem sido como ensinar essas máquinas a serem honestas sobre o que veem, em vez de apenas boas em adivinhar a resposta certa.

Os pesquisadores por trás deste estudo abordaram este problema ao perceberem que a maneira como atualmente recompensamos essas máquinas é muito simplista. No treinamento padrão, um computador recebe uma imagem e uma pergunta, e produz uma resposta. Se a resposta estiver correta, o sistema ganha um ponto; se estiver errada, não ganha nada. Este método funciona bem para tarefas simples, mas falha quando o processo de raciocínio é complexo. Imagine um aluno que identifica corretamente os objetos em uma foto, mas comete um erro lógico ao conectá-los, ou um aluno que acerta a resposta final por pura sorte, apesar de ter lido o gráfico incorretamente. Uma pontuação simples de "certo ou errado" não consegue distinguir entre esses cenários. Ela não consegue ver que o aluno viu as coisas certas, mas pensou sobre elas de forma incorreta, ou que ele perdeu uma instrução específica enquanto atingia o ponto principal. Sem essa nuance, a máquina aprende a priorizar o resultado final em detrimento da veracidade dos passos dados para chegar até lá.

Para resolver isso, a equipe introduziu um novo método de treinamento que trata a resposta não como um bloco único de texto, mas como uma coleção de fatos menores e verificáveis. Eles decomporam a resposta ideal em uma lista de requisitos específicos, ou "rubricas". Para uma pergunta sobre um diagrama do sistema solar, a rubrica não pediria apenas a resposta final. Em vez disso, ela listaria etapas distintas: "O modelo identificou corretamente o sol?" "Ele notou que a lua está em linha reta com a Terra?" "Ele explicou por que esse alinhamento causa marés altas?" Cada uma dessas etapas recebe um peso específico baseado em sua importância. O sistema então verifica a resposta do computador contra cada um desses pequenos critérios individualmente. Se o modelo acertar a identificação do objeto, mas falhar na etapa de raciocínio, ele recebe crédito parcial pela primeira parte e uma penalidade pela segunda. Isso permite que o processo de treinamento veja exatamente onde a máquina errou e a recompense pelas partes que acertou, mesmo que a conclusão final tenha sido falha.

Os pesquisadores construíram um conjunto de dados massivo para ensinar ao seu sistema esta nova forma de pensar. Eles reuniram mais de 50.000 exemplos de 17 fontes canônicas que cobrem raciocínio de diagramas, compreensão de gráficos, VQA (pergunta e resposta visual) de documentos, raciocínio visual matemático, contagem, QA educacional e raciocínio visual geral. Para cada exemplo, eles usaram um modelo de linguagem poderoso para gerar essas rubricas detalhadas, transformando um simples par de pergunta e resposta em um plano de aula estruturado. Eles então treinaram seu modelo de visão usando uma técnica chamada aprendizagem por reforço, onde o computador desempenha o papel de um aluno tentando melhorar. Em vez de esperar por uma nota final, o aluno recebe feedback imediato sobre cada frase que escreve. Se ele descreve um elemento visual com precisão, ganha pontos. Se ele alucina um detalo ou pula uma etapa lógica, perde pontos. Crucialmente, o sistema aprende a associar esses pontos à parte específica do texto onde a ação ocorreu, embora essa localização seja aproximada e dependa de uma correspondência difusa para alinhar o feedback com a resposta, para que saiba quais palavras manter e quais mudar.

Os resultados desta abordagem foram significativos, particularmente para tarefas que exigem observação cuidadosa e dedução lógica. Quando testado em uma ampla gama de benchmarks, o modelo treinado com estas rubricas detalhadas superou tanto a versão padrão quanto uma versão treinada apenas em respostas finais. A melhoria foi mais perceptível em áreas como matemática visual e análise de gráficos, onde uma única afirmação não suportada pode arruinar toda a solução. Nestes testes, o modelo treinado com rubricas foi melhor em preservar a cadeia de raciocínio, garantindo que cada conclusão fosse respaldada por evidências visíveis na imagem. Ele aprendeu a evitar a armadilha de adivinhar a resposta certa pelos motivos errados. O estudo sugere que, ao decompor o conceito de "correção" em peças menores e verificáveis, podemos guiar a inteligência artificial em direção a uma compreensão visual mais confiável e verdadeira, indo além da simples fluência para uma compreensão genuína.

Resumo Técnico: V-Rubrics: Fidelidade Visual via Aprendizado por Reforço Baseado em Rubricas

Declaração do Problema

Modelos de linguagem-visão (VLMs) frequentemente geram respostas fluentes que carecem de fundamentação suficiente em evidências visuais. Um único objeto não suportado, um valor de gráfico incorreto ou uma inferência intermediária inválida pode comprometer uma resposta que, de outra forma, seria plausível. Os autores identificam isso não meramente como uma falha de avaliação, mas como um problema de atribuição de crédito no pós-treinamento multimodal.

Pipelines de alinhamento padrão de aprendizado por reforço (RL) tipicamente reduzem uma resposta a uma recompensa de resultado escalar (ex: correção binária ou uma pontuação de juiz holística). Embora eficazes para tarefas com respostas diretamente verificáveis, essas recompensas escalares falham em cenários de raciocínio visual, onde uma resposta pode conter uma mistura de observações corretas, inferências inválidas e conformidade de formato. Um único sinal de resultado não consegue distinguir quais fatos visuais estão fundamentados, quais passos de raciocínio são válidos ou quais restrições de instrução foram perdidas. Consequentemente, o modelo não consegue aprender a corrigir erros locais específicos sem potencialmente sacrificar a correção global.

Metodologia

O artigo propõe o V-Rubrics (Visual Rubrics-Based Reinforcement Learning), um framework que decompõe respostas de referência em proposições atômicas para fornecer supervisão granular e estruturada.

1. Construção do Conjunto de Dados V-Rubrics 50K

Para suportar este framework, os autores construíram o V-Rubrics 50K, um conjunto de treinamento de 50.248 exemplos derivados de 17 fontes visualmente fundamentadas (incluindo raciocínio de diagramas, compreensão de gráficos, VQA de documentos e raciocínio matemático visual).

Filtragem de Dados: As fontes passaram por filtragem baseada em regras para validade, não trivialidade e qualidade de linguagem.
Estratificação de Dificuldade: Uma política ajustada ( $\pi_{SFT}$ ) gerou oito rollouts por exemplo. A taxa de sucesso empírica ( $k/8$ ) foi usada para atribuir rótulos de dificuldade (Difícil, Médio, Simples), resultando em uma mistura estratificada de 36,1% de exemplos difíceis, 50,4% médios e 13,6% simples.
Anotação de Rubricas: Cada exemplo foi anotado pelo Gemini-3-Pro usando um prompt estruturado para decompor a resposta de referência em critérios atômicos através de três dimensões:
- Fidelidade Visual (VF): Verifica se o conteúdo declarado é suportado por evidências da imagem (objetos, atributos, relações, contagens, texto).
- Consistência de Raciocínio (RC): Verifica se as conclusões seguem logicamente das evidências visuais observadas.
- Seguimento de Instrução (IF): Verifica se a resposta satisfaz as restrições do prompt.
Ponderação: Os critérios recebem pesos de importância (Essencial, Importante, Opcional, Armadilha/Pitfall) e pesos numéricos para determinar sua contribuição para a recompensa.

2. Framework de Treinamento

O pipeline de treinamento utiliza Otimização de Política Relativa de Grupo (GRPO) partindo de um checkpoint de ajuste fino supervisionado (SFT) do Qwen3-VL-8B-Instruct, adaptado da receita de cold-start do OpenMMReasoner.

Design de Recompensa:
- Recompensa de Rubrica ( $R_{rub}$ ): Um verificador LLM pontua independentemente cada critério atômico como satisfeito (1) ou não (0). Crucialmente, o verificador recebe a resposta gerada e o texto do critério, não a imagem bruta. Critérios positivos fornecem crédito parcial ponderado pela importância. Uma violação de "Armadilha" (Pitfall) atua como um veto semântico.
- Recompensa Híbrida: A recompensa final combina o sinal da rubrica com uma recompensa padrão de nível de resposta ( $R_{ans}$ ) usando um fator de ponderação $\alpha$ : $R = \alpha R_{ans} + (1-\alpha) R_{rub}$ .
Crédito Localizado por Prefixo:
- Diferente do GRPO padrão, que atribui uma vantagem única para toda a sequência, o V-Rubrics localiza as vantagens.
- Quando um verificador identifica um intervalo de evidência de suporte para um critério de rubrica específico, a vantagem para esse item é transmitida apenas para os tokens da resposta até o fim desse intervalo ( $t_{j,end}$ ).
- A vantagem total $A_t$ no token $t$ é a soma da vantagem global da resposta e das vantagens de rubrica mascaradas por prefixo:
  $A_t = \alpha z(R_{ans}) + (1-\alpha) \sum_{j} \rho_j z(s_j) \mathbb{I}(t \le t_{j,end})$
- Isso permite que o modelo receba crédito por passos intermediários fundamentados mesmo que a resposta final esteja incorreta, e penalize alucinações específicas sem colapsar o gradiente de toda a sequência.

Principais Contribuições

Formulação da Fidelidade Visual como um Problema de Atribuição de Crédito: O artigo reformula a fundamentação visual de um diagnóstico post-hoc para uma interface de treinamento estruturada. Introduz um método para preservar componentes de rubrica por item e localizar suas vantagens aos prefixos da resposta quando intervalos de evidência estão disponíveis.
Recurso V-Rubrics 50K: A criação de um conjunto de dados de 50.248 exemplos que converte respostas de referência em critérios atômicos visualmente fundamentados com dimensões de capacidade explícitas (VF, RC, IF) e pesos de importância.
Validação Empírica do GRPO Baseado em Rubricas: O estudo demonstra que o GRPO baseado em rubricas supera tanto o baseline SFT quanto o GRPO escalar de apenas resposta. As melhorias são mais pronunciadas em benchmarks que exigem raciocínio fundamentado.

Resultados Experimentais

Os autores avaliaram sua abordagem em 10 famílias de benchmarks cobrindo habilidade geral de VLM, raciocínio orientado ao conhecimento, matemática visual, raciocínio de gráficos e lógica.

Benchmarks Gerais e de Conhecimento: O GRPO baseado em rubricas alcançou uma Média Geral de 68,04, superando o baseline SFT (64,93) e o GRPO escalar de apenas resposta (66,25). Os ganhos foram particularmente significativos no MMMU e MMMU-Pro, sugerindo que as rubricas auxiliam no raciocínio acadêmico de múltiplos passos.
Matemática Visual e Lógica: Em tarefas de raciocínio visual (MathVision, DynaMath, WeMath, LogicVista), o modelo baseado em rubrica melhorou a Média Geral em 4,00 pontos sobre o baseline Sfer (62,45 vs. 58,45), superando a variante de GRPO escalar (61,94).
Estudos de Ablação: Comparando designs de recompensa, o crédito localizado por componente e prefixo (68,04) superou a agregação de rubrica escalar ao nível de sequência (67,74), confirmando que localizar o crédito para passos de raciocínio específicos é mais eficaz do que agregar pontuações de rubrica no nível da sequência.
Análise Qualitativa: Estudos de caso mostraram que modelos treinados com rubricas foram melhores em preservar passos de raciocínio intermediários (ex: rastrear explicitamente segmentos de um gráfico antes de responder) e evitar inferências não suportadas em comparação com modelos treinados apenas com resposta.

Significância e Alegações

O artigo afirma que as rubricas servem como uma abstração de recompensa útil para o pós-treinamento visual. Ao decompor as respostas em proposições atômicas e visualmente fundamentadas, o framework aborda a "falha de atribuição de crédito" inerente às recompensas escalares.

Os autores argumentam que o pós-treinamento de VLMs deve tratar a fundamentação visual não apenas como uma métrica de avaliação, mas como uma interface de treinamento estruturada que expõe explicitamente onde o raciocínio tem sucesso ou falha. Os resultados sugerem que preservar julgamentos por item e localizar o crédito para prefixos específicos da resposta permite que os modelos aprendam com sucessos parciais e falhas específicas, levando a capacidades de raciocínio visual mais robustas, particularmente em tarefas complexas de múltiplos passos.

O artigo permanece modesto quanto às suas limitações, reconhecendo que o conjunto de dados depende de rubricas geradas automaticamente e verificação por modelo-juiz, o que pode introduzir viés ou viés de resposta de referência. Além disso, a localização de crédito por prefixo é uma aproximação baseada em correspondência difusa de sentenças do verificador, em vez de supervisão exata ao nível de token.