💬 NLP

QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

QUBRIC é um novo framework que supera as limitações estruturais do aprendizado por reforço baseado em rubricas existentes ao co-projetar consultas baseadas em cenários e rubricas fundamentadas em professores, permitindo, assim, o treinamento eficaz em tarefas de código aberto e alcançando ganhos significativos de desempenho em benchmarks de raciocínio e seguimento de instruções.

Autores originais: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a escrever uma ótima história ou a resolver um problema difícil. No mundo da Inteligência Artificial, isso é chamado de Aprendizado por Reforço (Reinforcement Learning - RL). Geralmente, ensinamos robôs dando a eles uma pontuação clara de "Sim" ou "Não". Por exemplo, em matemática, se a resposta for "42", o robô ganha uma estrela de ouro. Se for "43", ele não ganha nada. Isso funciona muito bem para matemática e programação.

Mas o que acontece quando não existe uma única resposta certa? E se você perguntar: "Como eu faço uma boa xícara de café?" ou "Escreva uma história moral sobre um cachorro perdido"? Não há um "42" aqui. É aqui que entra o artigo QUBRIC.

O Problema: A Armadilha da "Pergunta Vaga"

Os autores descobriram um grande obstáculo na forma como ensinamos atualmente os robôs a lidar com essas perguntas abertas.

Pense da seguinte forma: Você pergunta a um aluno: "Explique como assar um bolo".

O Jeito Antigo: Você tenta criar uma lista de verificação (uma rubrica) para o professor avaliar a resposta. Mas, como a pergunta é tão ampla, a lista acaba sendo vaga. "Eles mencionaram farinha?" "Eles mencionaram ovos?" É difícil ser justo.
A Correção Ingênua: Alguém tenta tornar a pergunta mais específica: "Explique como assar um bolo usando o Guia do Mestre Cuca de 2024".
- O Desastre: O robô não tem esse guia. Ele não existe! Assim, o robô ou se recusa a responder (porque não consegue encontrar o guia) ou inventa um guia falso. A lista de verificação do professor então apenas checa: "Você se recusou a responder?" ou "Você mentiu?". O robô não recebe feedback útil sobre como assar um bolo. Ele apenas aprende a ficar em silêncio ou a mentir.

O artigo chama isso de "Falha de Referência Fabricada" (Fabricated Reference Failure). Você não pode avaliar um robô com base em um livro de regras que não existe.

A Solução: QUBRIC (A Abordagem do "Co-Designer")

Os autores criaram um novo sistema chamado QUBRIC. Em vez de apenas criar uma lista de verificação para uma pergunta confusa, o QUBRIC altera a pergunta e a lista de verificação juntas, como uma equipe de arquitetos e inspetores trabalhando lado a lado.

Veja como funciona, usando uma analogia simples:

1. O Detetive de "Pontos-Chave" (Reescrevendo a Pergunta)

Em vez de pedir ao robô para "Explicar o aprendizado de máquina" (que é algo vasto demais), o sistema analisa o que um especialista humano (um "Professor") diria. Ele extrai os fatos mais importantes e minúsculos (Pontos-Chave).

Analogia: Imagine que você quer ensinar uma criança sobre "Animais". Em vez disso, você diz: "Imagine que você é um cuidador em um zoológico específico com um leão faminto. O leão só come carne do lado norte do cercado. Como você alimenta o leão?".
Por que isso funciona: Você não mudou o tópico (ainda é sobre animais/alimentação), mas criou um cenário específico com um espaço de resposta claro. Você não está pedindo um livro falso; você está pedindo uma solução para um problema real e contido.

2. O Inspetor "Contrastivo" (Criando a Lista de Verificação)

Agora, o sistema gera a lista de verificação (a rubrica). Ele não apenas adivinha como seria uma boa resposta. Ele compara a resposta perfeita de um "Professor" contra a resposta atual de um "Aluno" (o robô).

Analogia: O inspetor olha para a resposta do Professor e diz: "Ah, o Professor mencionou verificar os dentes do leão antes de alimentar. O Aluno esqueceu disso".
A lista de verificação torna-se: "A resposta mencionou verificar os dentes do leão?".
Esta é uma Rubrica Constitutiva: A regra é autossuficiente. Você não precisa conhecer fatos externos para avaliar; basta checar se aquele detalhe específico está presente.

3. O "Filtro de Dificuldade" (Escolhendo os Problemas de Prática Certos)

Nem toda pergunta é boa para o aprendizado.

Se a pergunta for muito fácil, o robô já sabe a resposta. Nenhum aprendizado acontece.
Se for muito difícil, o robô falha todas as vezes e fica confuso.
O QUBRIC atua como um treinador que escolhe apenas problemas de prática onde o aluno tem uma chance de 20% a 50% de acertar. Este é o "ponto ideal" onde o aprendizado realmente acontece.

O Que Aconteceu? (Os Resultados)

Os autores testaram este sistema em um robô que era bom em seguir instruções, mas não era tão bom em raciocínio complexo.

O Teste: Eles pediram ao robô para lidar com tarefas difíce de natureza aberta (como escrever histórias criativas ou resolver quebra-cabeças lógicos complexos) e até mesmo tarefas que ele nunca tinha visto antes (como raciocínio jurídico ou dilemas morais).
O Resultado: O robô melhorou significativamente.
- Em um teste rigoroso de "Arena" para seguimento de instruções, ele subiu 5,5 pontos.
- Em três tipos completamente diferentes de testes de raciocínio (jurídico, moral, narrativo), ele melhorou em uma média de 6,3 pontos.

A Grande Conclusão

O artigo prova que você não pode simplesmente dar a um robô uma lista de verificação para uma pergunta vaga e esperar que ele aprenda. A própria pergunta deve ser projetada para ser verificável.

Ao reescrever a pergunta em um cenário específico e realista (baseado em fatos reais, não em livros falsos) e, em seguida, construir uma lista de verificação baseada nesse cenário específico, o robô recebe um feedback claro e útil. Ele aprende a pensar melhor, não apenas a adivinhar ou se recusar a responder.

Em resumo: O QUBRIC nos ensina que, para ensinar um robô a pensar, você precisa primeiro fazer o tipo certo de pergunta. Você não pode avaliar um aluno em uma prova que não faz sentido.

Resumo Técnico: QUBRIC – Co-projetando Consultas e Rubricas para RL Além de Recompensas Verificáveis

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) impulsionou avanços significativos em domínios como matemática e codificação, onde respostas de verdade fundamental (ground-truth) fornecem sinais de recompensa limpos. No entanto, estender o RL para tarefas abertas (ex: seguimento de instruções, raciocínio jurídico, geração narrativa) continua sendo um desafio devido à falta de respostas verificáveis.

Abordagens existentes tipicamente tratam a distribuição de consultas como fixa enquanto otimizam rubricas (critérios estruturados de avaliação), ou remodelam as consultas para criar restrições executáveis. Os autores identificam um gargalo estrutural: a qualidade da rubrica é fundamentalmente limitada pela estrutura da consulta.

Consultas abertas geram rubricas vagas que os juízes não conseguem aplicar de forma consistente.
O estreitamento ingênuo (tornar uma consulta específica sem fundamentação) frequentemente introduz referências fabricadas (ex: citar diretrizes ou documentos inexistentes). Isso faz com que as rubricas colapsem para testar se um modelo se recusa a responder, em vez de testar se ele raciocina corretamente, resultando em sinais de recompensa não informativos onde todas as respostas falham.

O artigo argumenta que a estrutura da consulta e o design da rubrica são acoplados: uma consulta deve ser estreitada de uma forma que forneça um alvo de raciocínio determinante para o gerador de rubricas.

2. Metodologia: QUBRIC

O QUBRIC é um pipeline de três estágios que co-projeta consultas e rubricas offline antes do treinamento. Ele opera sob o princípio de que a consulta deve ser reescrita para suportar rubricas constitutivas (critérios que podem ser avaliados usando apenas o texto da rubrica e a resposta, sem conhecimento externo).

Estágio 1: Reescrita de Consulta Fundamentada em Pontos-Chave

Em vez de estreitar arbitrariamente consultas abertas, o QUBRIC fundamenta o processo de reescrita no conteúdo real de respostas de alta qualidade.

Extração de Pontos-Chave: Respostas de referência são geradas por múltiplos modelos professores. "Pontos-chave" (componentes de conhecimento atômicos) são extraídos. Consultas com alta discordância entre modelos (espaços de resposta amplos) são priorizadas.
Construção de Cenário: O sistema seleciona 1–2 pontos-chave e reescreve a consulta em uma pergunta baseada em cenário. O cenário inclui contexto realista (papéis, restrições, dados) que torna a consulta autocontida. Os pontos-chave selecionados tornam-se o núcleo de resposta determinante para a nova consulta.
Validação: Uma verificação baseada em prompt garante que a consulta reescrita não vaze a resposta, mantenha a consistência interna e que os pontos-chave respondam corretamente à nova consulta.
Filtragem de Aprendibilidade: Apenas pares de consulta–rubrica onde a taxa de aprovação da política de inicialização cai dentro de um corredor de 20–50% são retidos. Esta heurística garante que os dados de treinamento consistam em exemplos informativos (nem muito fáceis, nem impossíveis).

Estágio 2: Geração de Rubrica de Nível de Consulta Contrastiva

As rubricas são geradas offline ao contrastar uma resposta de professor mais forte contra uma resposta de política mais fraca.

Análise Contrastiva: O gerador identifica conteúdo presente na resposta do professor, mas ausente na resposta da política, bem como requisitos centrais compartilhados.
Design Constitutivo: As rubras são projetadas para serem atômicas, inequívocas, não hackeáveis e ortogonais. Elas incorporam o conhecimento de graduação diretamente (ex: "A resposta explica X por causa de Y" em vez de "A resposta é cientificamente precisa").
Ponderação: As rubricas são categorizadas como Críticas (peso 3), Importantes (peso 2) ou Opcionais (peso 1) com base em sua importância para a tarefa.

Estágio 3: Aprendizado por Reforço com Rubricas

A política é otimizada usando Otimização de Política Relativa de Grupo (GRPO).

Formulação de Recompensa: A recompensa total $R(q, y)$ é uma soma ponderada de rubricas globais (segurança, factualidade, formatação) e rubricas de nível de consulta (raciocínio específico da tarefa).
$R(q, y) = \alpha \sum_{g \in G} w_g \cdot r_g(y) + \beta \sum_{r \in R(q)} w_r \cdot r_r(q, y)$
Treinamento: Para cada consulta, $K$ respostas de rollout são geradas, graduadas independentemente por um juiz LLM contra o conjunto estático de rubricas, e usadas para computar vantagens relativas ao grupo para atualizações da política.

3. Principais Contribuições

Identificação do Acoplamento Estrutural: O artigo demonstra que a qualidade da rubrica degrada quando as consultas carecem de estrutura, levando a falhas de ambiguidade ou de referências fabricadas. Estabelece que a estrutura da consulta é um pré-requisito para uma rubrica eficaz.
Framework QUBRIC: Um pipeline inovador que integra reescrita de consulta fundamentada em pontos-chave, geração de rubrica contrastiva e filtragem de aprendibilidade para produzir pares de treinamento de alta qualidade e avaliáveis.
Validação Empírica: Através de ablações pareadas, os autores mostram que os ganhos não são alcançados apenas pelo RL de rubrica ou apenas pelo estreitamento de consulta, mas especificamente pelo co-design de ambos.

4. Resultados Experimentais

Os autores avaliaram o QUBRIC em benchmarks de seguimento de instrução, tarefas de transferência de domínio cruzado e um benchmark proprietário de ajuda em compras.

Seguimento de Instrução

ArenaHard: O QUBRIC alcançou um ganho de +5.5 pontos sobre o baseline SFT (71.0 $\to$ 76.5) em prompts difíceis e um ganho de +7.3 pontos em escrita criativa.
AdvancedIF: Melhorou para 84.2 de precisão no nível da rubrica.
Compromisso (Trade-off): Uma modesta queda foi observada no IFEval (-1.7pp), indicando um compromisso entre conformidade de formato estrito e qualidade da resposta, consistente com achados anteriores.
Baselines: O QUBRIC superou o "RL de Rubrica com Consultas Originais" (68.6 vs 76.5 no ArenaHard) e o "AutoIF-RLVR" (que é excelente em formato, mas degrada na qualidade de temas abertos).

Transferência de Domínio Cruzado

Treinado apenas em dados de seguimento de instrução, o QUBRIC transferiu para três benchmarks não utilizados no treino:

MoReBench (Raciocínio moral), PLawBench (Raciocínio jurídico) e MuSR (Raciocínio narrativo).
Ganho Médio: +6.3 pontos sobre o baseline SFT.
Melhoria Significativa: +8.85 pontos no PLawBench, sugerindo que o método melhora capacidades de raciocínio estruturado mesmo em domínios não vistos.
Comparação: Superou tanto os baselines do domínio IF (AutoIF-RLVR e RL de Rubrica com consultas originais) nestas tarefas de transferência.

Utilidade de Compras (Shopping Helpfulness)

Em um benchmark proprietário de 200 consultas:

As rubricas de nível de consulta elevaram a "Utilidade-implícita" de 55.11 (apenas recompensas verificáveis) para 67.64.
Combinar rubricas globais e de nível de consulta manteve a alta utilidade (67.81) enquanto mitigava efeitos colaterais como recomendações duplicadas e alucinações de IDs introduzidas pela otimização de nível de consulta isolada.

5. Significância e Alegações

O artigo alega que o co-design de consultas e rubricas torna o RL baseado em rubricas um complemento prático ao RLVR para tarefas sem respostas estritamente verificáveis.

Mecanismo: O insight central é que o estreitamento ingênuo leva a falhas de "referência fabricada", onde os modelos são penalizados por não recusarem responder. Ao fundamentar o estreitamento nos pontos-chave derivados do professor, o QUBRIC cria cenários onde o espaço de resposta é estreito o suficiente para rubricas constitutivas precisas.
Generalização: As melhorias concentram-se em dimensões relacionadas ao raciocínio, sugerindo que o método ajuda os modelos a aprender a raciocinar em vez de apenas memorizar padrões ou seguir formatos rígidos.
Viabilidade: O estudo valida que juízes LLM podem graduar rubricas constitutivas de forma confiável (alcançando 75–86% de precisão contra anotações de referência), tornando a abordagem escalável sem necessidade de graduação humana human-in-the-loop para cada etapa.

Os autores concluem que, embora o RL baseado em rubricas tenha sido explorado, sua eficácia é limitada pela qualidade das consultas subjacentes. O QUBRIC demonstra que modificar a estrutura da consulta para permitir a avaliação precisa de rubricas é uma condição necessária para o sucesso do RL em domínios abertos.