💻 computer science

Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

O artigo apresenta o Proxy-GRM, um modelo de recompensa para VLMs que utiliza agentes proxy leves para guiar a otimização de rubricas via aprendizado por reforço, resultando em métricas de avaliação superiores e transferíveis sem necessidade de treinamento adicional em dados massivos.

Autores originais: Weijie Qiu, Dai Guan, Junxin Wang, Zhihang Li, Yongbo Gai, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

Publicado 2026-03-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Weijie Qiu, Dai Guan, Junxin Wang, Zhihang Li, Yongbo Gai, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um robô muito inteligente para julgar quem faz o melhor trabalho em uma competição de culinária. O robô precisa não apenas dizer "o prato A é melhor que o B", mas também explicar por que (ex: "o prato A tem mais sal, mas o B está queimado").

O problema é que, no passado, esses robôs aprendiam a dar o veredito final, mas as explicações que eles escreviam eram muitas vezes confusas, inventadas ou inúteis. Era como se o robô dissesse: "O prato A é melhor porque... bem, eu sinto que é!" sem realmente ter critérios claros.

Este artigo, chamado Proxy-GRM, apresenta uma solução genial para esse problema. Vamos explicar como funciona usando uma analogia simples:

1. O Problema: O "Advogado do Diabo" que não existe

Antes, o robô (chamado de Modelo de Recompensa) recebia uma nota apenas pelo resultado final (quem ganhou). A parte da explicação (chamada de Rubrica ou "critérios de julgamento") era deixada de lado.

O risco: O robô aprendia a inventar justificativas que soavam bem, mas que não faziam sentido real. Era como um aluno que decora a resposta certa de um teste, mas não entende a matéria. Se outro professor tentasse usar as anotações desse aluno para julgar outro teste, ele falharia miseravelmente.

2. A Solução: O "Chefe de Controle de Qualidade" (O Proxy)

Os autores criaram um novo personagem na história: o Proxy (ou Agente Proxy). Pense nele como um inspetor de qualidade ou um chefe de cozinha que trabalha em uma cozinha separada.

Aqui está o segredo do método:

O robô principal (o aluno) gera uma explicação (a Rubrica) e um veredito.
Em vez de apenas olhar o veredito, nós damos essa explicação para o Inspe tor (Proxy).
O Inspe tor lê apenas a explicação gerada pelo robô e tenta adivinhar quem ganhou a competição, sem ver a resposta original do robô.
A mágica: Se o Inspe tor consegue acertar o vencedor apenas lendo a explicação, significa que a explicação foi clara, lógica e útil! Se o Inspe tor erra, a explicação foi ruim.

3. Como eles treinam o robô? (O Ciclo de Aprendizado)

O sistema funciona como um jogo de "telefone sem fio" com um objetivo:

O robô principal tenta criar a melhor explicação possível.
O Inspe tor tenta usar essa explicação para julgar.
Se o Inspe tor acertar, o robô ganha um "ponto de bônus" (recompensa).
Isso força o robô a parar de inventar coisas e começar a escrever explicações que qualquer pessoa (ou outro robô) possa entender e usar para chegar à mesma conclusão.

4. A Descoberta Surpreendente: "Estudante" vs. "Treinador"

Os pesquisadores testaram dois tipos de Inspectores:

Proxy-SFT (O Estudante): Um modelo treinado apenas para ler e seguir regras cuidadosamente.
Proxy-RL (O Treinador): Um modelo treinado para tentar ganhar e acertar o veredito final, mesmo que precise "trapacear" na lógica.

O resultado foi chocante: O Estudante (Proxy-SFT) foi muito melhor!

Por que? O "Treinador" (RL) aprendeu a achar atalhos para acertar a resposta final, mas sua lógica interna era bagunçada. Quando ele tentava julgar a explicação do robô principal, ele confundia tudo.
O "Estudante", por outro lado, foi treinado para ser fiel às regras. Ele seguiu a explicação do robô principal com precisão cirúrgica, servindo como um espelho honesto da qualidade da explicação.

5. O Resultado Final: Eficiência e Transferência

Com esse método, eles conseguiram:

Usar 4 vezes menos dados: Enquanto outros robôs precisavam de milhões de exemplos para aprender, esse novo método aprendeu com apenas 50.000 (o equivalente a um curso intensivo de fim de semana vs. uma faculdade inteira).
Explicações que funcionam para todos: As regras (Rubricas) que o robô aprendeu a escrever são tão boas que, se você pegar um robô totalmente diferente (que nunca viu esse treinamento) e pedir para ele usar essas regras, ele também consegue julgar corretamente!

Resumo em uma frase

O papel criou um sistema onde o robô é obrigado a escrever explicações tão claras que um "inspetor" independente consegue usá-las para acertar o resultado, garantindo que o robô não esteja apenas chutando, mas realmente entendendo o que está julgando.

Analogia Final:
É a diferença entre um aluno que diz "A resposta é 5 porque... eu acho que sim" (o método antigo) e um aluno que diz "A resposta é 5 porque 2+2+1=5, e aqui está o passo a passo" (o método Proxy-GRM). O segundo aluno escreveu um manual que qualquer outra pessoa pode seguir para chegar à mesma conclusão.

Título: Rationale Matters: Aprendendo Rubricas Transferíveis via Crítica Guiada por Proxy para Modelos de Recompensa VLM

1. O Problema

Os Modelos de Recompensa Generativos (GRMs) para Modelos Visuais-Linguísticos (VLMs) são fundamentais para alinhar a geração de conteúdo com preferências humanas. O pipeline padrão de um GRM geralmente segue três etapas:

Geração de Rubrica (R): Criação de critérios de avaliação.
Avaliação Baseada em Critérios (E): Análise detalhada resposta por critério.
Veredito Final (A): Decisão de preferência entre duas respostas.

Limitações Identificadas:

Falta de Otimização Direta: Embora a qualidade final da resposta seja otimizada, a rubrica intermediária (R) raramente é otimizada diretamente. Métodos existentes tratam a rubrica como incidental ou dependem de verificações externas caras (LLM-as-a-Judge) que não fornecem sinais diferenciáveis durante o treinamento.
Racionalização Post-hoc: Sem supervisão direta, os modelos podem aprender a gerar rubricas que apenas justificam uma resposta pré-determinada, em vez de guiar uma avaliação principista. Isso resulta em rubricas vagas, incompletas ou enviesadas.
Baixa Transferibilidade: Rubricas geradas por esses modelos frequentemente falham quando aplicadas por avaliadores independentes ou em distribuições de tarefas diferentes, pois são "auto-consistentes" apenas para o modelo que as gerou, mas não informativas para outros.
Ineficiência de Dados: Métodos anteriores exigem grandes volumes de dados (ex: >200k amostras) para obter desempenho competitivo.

2. Metodologia: Proxy-GRM

Os autores propõem o Proxy-GRM, um framework que introduz a verificação de rubricas guiada por um agente "proxy" dentro do ciclo de Aprendizado por Reforço (RL), criando um sinal de recompensa fechado para a qualidade da rubrica.

Componentes Principais:

Agentes Proxy (Proxy-SFT e Proxy-RL):
- São agentes leves treinados exclusivamente para consumir rubricas, não para gerá-las.
- Entrada: A consulta original (imagem + texto), o par de respostas candidatas e uma rubrica fornecida externamente.
- Saída: Uma avaliação baseada nos critérios e um veredito de preferência.
- Objetivo: Prever a ordem de preferência correta usando apenas a rubrica como evidência.
- Treinamento:
  - Proxy-SFT: Ajuste fino supervisionado (SFT) para seguir fielmente as rubricas.
  - Proxy-RL: Treinamento com RL para melhorar a robustez na interpretação de rubricas.
- Sinal de Recompensa: A precisão do proxy em prever a preferência correta serve como uma medida de transferibilidade da rubrica. Se o proxy acerta usando a rubrica gerada, a rubrica é considerada de alta qualidade.
Treinamento do Modelo de Política (Proxy-GRM):
- Fase 1 (Cold-Start SFT): O modelo base (Qwen2.5-VL-7B) é ajustado para aprender o formato estruturado de saída.
- Fase 2 (RL Guiado por Proxy): O modelo é treinado com GRPO (Group Relative Policy Optimization) utilizando uma função de recompensa composta:
  - $r_{acc}$ : Recompensa de precisão (veredito final correto).
  - $r_{format}$ : Recompensa de formato (tags XML corretas).
  - $r_{proxy}$ : Recompensa de qualidade da rubrica (se o agente proxy congelado consegue derivar o veredito correto apenas lendo a rubrica gerada).
- Fórmula de Recompensa: $r = r_{acc} + r_{proxy} + 0.5 \cdot r_{format}$ .
Inferência:
- O modelo pode operar no modo padrão ou no modo "verificado por proxy", onde o desacordo entre o modelo e o proxy pode ser registrado para análise, embora o veredito do modelo principal seja mantido.

3. Contribuições Chave

Identificação da Transferibilidade: Definiram a "transferibilidade da rubrica" como uma dimensão crítica e subexplorada da qualidade de GRMs, propondo a verificação por agente externo como solução escalável.
Framework de Treinamento em Loop Fechado: O Proxy-GRM integra um avaliador independente diretamente no loop de RL, superando a limitação de "loop aberto" das abordagens LLM-as-a-Judge.
Descoberta Surpreendente (SFT vs. RL): Demonstraram que Proxy-SFT (baseado em ajuste supervisionado) supera consistentemente Proxy-RL (baseado em RL) como avaliador. Isso revela uma tensão: modelos otimizados apenas para o resultado final (RL) podem desenvolver processos de avaliação internamente inconsistentes, enquanto modelos SFT aprendem a seguir processos de forma mais fiel.
Eficiência de Dados: Alcançaram resultados State-of-the-Art (SOTA) usando apenas ~50k amostras de treinamento, o que é aproximadamente 4 vezes menos do que métodos comparáveis (que usam >200k).

4. Resultados Experimentais

O modelo foi avaliado em três benchmarks principais: VL-RewardBench, Multimodal Reward Bench e MM-RLHF-Reward Bench.

Desempenho Geral: O Proxy-GRM com Proxy-SFT alcançou a melhor precisão geral em todos os benchmarks.
- VL-RewardBench: 75.22% (vs. 73.80% do melhor baseline anterior, Unified-Reward-Think).
- Multimodal Reward Bench: 85.62% (superando modelos proprietários como GPT-4o e Claude-3.7-Sonnet).
- MM-RLHF-Reward Bench: 82.94% de precisão.
Transferibilidade: Rubricas geradas pelo Proxy-GRM melhoraram significativamente a precisão de avaliadores externos (como Qwen2.5-VL-7B e Unified-Reward-SFT) que não foram treinados com esses dados, confirmando que as rubricas capturam princípios de avaliação universais e não apenas padrões específicos do modelo.
Análise de Configuração:
- O uso de múltiplos agentes proxy (ensemble) degradou o desempenho devido a sinais de recompensa conflitantes e ruidosos. Um único agente proxy bem calibrado (Proxy-SFT) foi superior.
- A agregação implícita de recompensas (soma simples) funcionou melhor do que esquemas complexos de modificação explícita da recompensa de precisão.

5. Significado e Impacto

Qualidade do Processo vs. Resultado: O trabalho destaca a importância de supervisionar o processo de raciocínio (a geração da rubrica) e não apenas o resultado final. Isso mitiga o problema de "racionalização post-hoc", onde o modelo inventa justificativas para respostas erradas.
Escalabilidade e Eficiência: Demonstra que a qualidade da sinalização de treinamento (via verificação de proxy) é mais importante do que a simples escala de dados. É possível obter modelos de recompensa superiores com conjuntos de dados muito menores se a qualidade da supervisão for alta.
Interpretabilidade e Confiabilidade: Ao garantir que as rubricas sejam compreensíveis e utilizáveis por agentes independentes, o framework aumenta a confiabilidade e a transparência dos sistemas de avaliação de VLMs, um passo crucial para a implantação segura em cenários do mundo real.

Em resumo, o Proxy-GRM estabelece um novo paradigma para o treinamento de modelos de recompensa multimodal, focando na criação de critérios de avaliação robustos, transferíveis e verificáveis externamente, alcançando desempenho superior com eficiência de dados sem precedentes.