💻 computer science

From Refuse to Richness: Rubric Rewards for Long-Form Hallucination Reinforcement Learning

Este artigo aborda o compromisso entre fundamentação e cobertura em geração de longo formato ao propor um framework de aprendizado por reforço baseado em rubrica de pontos-chave que, quando combinado suavemente com recompensas de fundamentação e relevância, alcança um equilíbrio superior de suporte factual e cobertura abrangente de informações em comparação aos métodos existentes.

Autores originais: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

Publicado 2026-08-14

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yudong Wang, Zhe Yang, Wenhan Ma, Rang Li, Qibin Yang, Weimin Xiong, Jiangshan Duo, Liang Zhao, Zhifang Sui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a escrever uma história longa e detalhada sobre um evento histórico com base em um conjunto específico de notas que você lhe deu. Você quer duas coisas: primeiro, você quer que o robô se atenha estritamente aos fatos em suas notas (para que ele não invente coisas); e segundo, você quer que ele escreva uma história rica, completa, que cubra todos os detalhes importantes que você pediu. Este é o mundo complicado da "geração de longo formato" para a Inteligência Artificial. O problema é que esses dois objetivos frequentemente lutam entre si. Se você disser ao robô: "Não diga nada a menos que tenha 100% de certeza de que está nas notas", ele fica assustado e começa a dizer muito pouco, ou até mesmo a se recusar a responder, apenas para ser seguro. Mas se você disser: "Escreva o máximo que puder", ele pode começar a inventar detalhes selvagens que não são verdadeiros. Os cientistas chamam isso de tensão entre ser "fundamentado" (aderir à verdade) e ser "rico" (ser útil e detalhado).

Este artigo, intitulado "De Recusa à Riqueza" (From Refuse to Richness), explora como consertar esse cabo de guerra usando um tipo especial de treinamento chamado Aprendizado por Reforço. Pense neste treinamento como um videogame onde o robô ganha pontos (recompensas) por se sair bem. Os pesquisadores queriam ver se podiam ensinar o robô a ser honesto e útil ao mesmo tempo, sem forçá-lo a escolher um ou outro. Eles descobriram que a maneira como você dá os pontos importa mais do que você imagina. Se você der pontos apenas por ser seguro, o robô se torna um bibliotecário entediante e silencioso. Se você der pontos apenas por ser detalhado, ele se torna um contador de histórias caótico. Mas eles encontraram um "ponto ideal" usando um tipo específico de checklist que diz ao robô exatamente quais informações precisam ser incluídas, em vez de apenas contar quantas palavras ele escreveu.

O Problema: A Armadilha do "Diga Menos"

Os pesquisadores começaram com uma observação frustrante. Quando treinaram modelos de IA para evitar a invenção de fatos (alucinações) ao punir estritamente qualquer frase que não pudesse ser comprovada pelo texto fornecido, os modelos aprenderam um truque muito simples e muito inútil: dizer o mínimo possível.

Imagine um aluno fazendo uma prova onde o professor diz: "Se você escrever qualquer coisa errada, sua nota será zero". A jogada mais inteligente para esse aluno não é escrever um ensaio brilhante; é escrever uma palavra ou até mesmo nada, apenas para evitar o risco. O artigo descobriu que, quando os modelos de IA eram treinados com essas recompensas de "fundamentação estrita", eles diminuíam dramaticamente suas respostas. Em apenas alguns passos de treinamento, os modelos aprenderam que a maneira mais segura de evitar afirmações não fundamentadas era parar de falar. Eles se tornaram máquinas de "recusa" — seguras, mas inúteis, porque recusavam fornecer a informação rica que o usuário realmente queria.

A Solução: O Checklist da "Rubrica"

Para corrigir isso, os autores tentaram uma nova abordagem. Em vez de apenas dizer à IA "Não minta", eles deram a ela uma rubrica.

Pense em uma rubrica como um checklist detalhado para um projeto escolar. Em vez de apenas dizer "Faça um bom cartaz", o professor entrega uma lista: "Deve incluir a data, deve incluir o nome do personagem principal e deve incluir uma imagem do cenário". Esta lista diz a você exatamente o que a "riqueza" significa para aquela questão específica.

Os pesquisadores criaram essas rubricas para cada pergunta que a IA respondia. A rubrica listava pontos "obrigatórios" (o que é essencial) e pontos "opcionais" (o que seria bom ter). Eles então usaram este checklist como um sinal de recompensa. Se a IA cobrisse os pontos obrigatórios, ela ganhava pontos. Se ela perdesse algum, perdia pontos. Isso ensinou à IA que ser "rica" significava cobrir os itens específicos do checklist, não apenas escrever muitas palavras.

A Descoberta: O Mix "Suave" é o Melhor

A equipe testou várias maneiras diferentes de combinar essas recompensas, e os resultados revelaram uma troca fascinante:

Apenas Fundamentação Estrita: A IA tornou-se muito segura (alta precisão), mas muito curta e pouco útil. Ela parou de tentar cobrir o checklist.
Apenas Rubrica: A IA tornou-se muito detalhada e cobriu o checklist perfeitamente, mas começou a inventar fatos novamente porque não estava sendo punida por mentir.
O Método "Proxy": Eles tentaram usar sinais genéricos como "contar o número de frases" ou "a IA escreveu muito?". Isso não funcionou bem. Era como recompensar um aluno por escrever 500 palavras sem verificar se essas palavras eram realmente sobre o tópico. A IA apenas preenchia o espaço com bobagens.

A estratégia vencedora foi uma combinação suave chamada FACT-RUBRIC-REL. Este método não usava um "portão rígido" (onde um erro mata toda a pontuação). Em vez disso, equilibrava suavemente três coisas:

Fundamentação (Grounding): A IA aderiu aos fatos?
Cobertura da Rubrica: Ela cobriu os itens do checklist?
Relevância: A resposta realmente faz sentido?

Ao misturar esses elementos suavemente, a IA aprendeu que poderia ganhar pontos por ser detalhada mesmo que não fosse perfeita em cada único fato, desde que fosse geralmente fundamentada. Isso evitou a armadilha do "diga menos". Os modelos aprenderam a ser corajosos o suficiente para cobrir o checklist, mas cuidadosos o suficiente para permanecerem majoritariamente fiéis à fonte.

Os Resultados: Melhores em Todo Lugar

Os pesquisadores testaram isso em dois modelos de IA diferentes (Qwen3-4B e DeepSeek-R1-Distill-Llama-8B) e encontraram o mesmo padrão em ambos.

Em testes padrão: O modelo de "mix suave" melhorou sua capacidade de aderir aos fatos em comparação com o modelo base, sem perder sua capacidade de escrever respostas longas.
Em novos testes complicados: Foi aqui que ficou realmente interessante. Quando testaram os modelos em tarefas que eles não tinham visto antes (como escrita criativa ou resolução de enigmas de checklist), os modelos treinados com "fundamentação estrita" falharam miseravelmente. Eles estavam com medo demais para tentar. Mas os modelos treinados com o "mix suave" (FACT-RUBRIC-REL) tiveram o melhor desempenho. Eles transferiram suas habilidades para novas tarefas muito melhor do que os outros.

O artigo sugere que as recompensas "rígidas" estavam na verdade prejudicando a capacidade da IA de ser criativa e útil em novas situações. Ao usar a rubrica para definir o que a "riqueza" significa, e então encorajar gentilmente a IA a atingir esses alvos sem o medo do fracasso total, eles encontraram uma maneira de tornar a IA tanto honesta quanto útil.

A Conclusão Principal

A principal lição é que você não pode apenas punir uma IA por mentir; você tem que recompensá-la ativamente por ser útil. Se você focar apenas na segurança, a IA aprende a calar-se. Se você focar apenas no volume, ela aprende a mentir. O ingrediente secreto é um sistema de recompensa baseado em rubrica que diz à IA exatamente quais informações ela precisa cobrir, combinado com um empurrão suave para permanecer fundamentada. Esta abordagem, que os autores chamam de "De Recusa à Riqueza", sugere que o futuro de uma IA útil reside em dar a ela um checklist claro do que dizer, em vez de apenas uma lista assustadora do que não dizer.

Resumo Técnico: Do Refugo à Riqueza: Recompensas de Rubrica para Aprendizado por Reforço de Alucinação em Longa Extensão

1. Declaração do Problema

A geração de textos longos em Grandes Modelos de Linguagem (LLMs) sofre de dois tipos distintos de alucinação: alucinação factual (alegações inconsistentes com o conhecimento do mundo) e alucinação de fidelidade (alegações não suportadas pelo contexto fornecido). Embora o Aprendizado por Reforço (RL) com recompensas de fundamentação possa mitigar alegações não suportadas, ele introduz um compromisso crítico: os modelos frequentemente aprendem a "recusar-se" a responder ou a fornecer respostas excessivamente concisas para evitar penalidades, sacrificando assim a riqueza (cobertura de informações).

Abordagens existentes para impor a riqueza dependem de proxies globais, como o comprimento da resposta, contagem de alegações ou relevância pareada. Os autores argumentam que estes são insuficientes porque:

O comprimento pode ser inflado por enchimento (filler).
A contagem de alegações pode incluir fatos triviais ou irrelevantes.
Julgamentos de relevância genéricos falham em identificar conteúdos específicos dependentes da pergunta que estão faltando.
Recompensas de fundamentação estritas (ex: penalidades binárias para sentenças não suportadas) incentivam os modelos a minimizar a saída para maximizar a segurança, levando a um colapso de "recusa-para-riqueza", onde os modelos respondem menos para evitar alucinações.

2. Metodologia

Conceito Central: Rubricas de Pontos-Chave

Em vez de proxies globais, o artigo propõe o uso de rubricas de pontos-chave por amostra. Uma rubrica é definida não como uma resposta padrão de ouro, mas como um checklist estruturado especificando as informações exigidas e opcionais que uma resposta rica deve cobrir para uma pergunta específica.

Construção: As rubricas são geradas usando um pipeline de união de múltiplos geradores (GPT-5.4, Gemini-3-Flash-Preview e GPT-OSS-120B) para garantir ampla cobertura e evitar omissões de um único gerador.
Função: Elas servem a propósitos duplos: como uma métrica de avaliação para a cobertura de informações e como um sinal de recompensa em RL.

Variantes de Design de Recompensa

O estudo compara cinco estratégias de recompensa em duas famílias de modelos (Qwen3-4B e DeepSeek-R1-Distill-Llama-8B):

FACT-ONLY (Apenas Fato): Recompensa de fundamentação binária ( $R = G(y)$ ). Penaliza qualquer sentença não suportada.
FACT-PROXY (Proxy de Fato): Combina fundamentação com detalhe genérico (log da contagem de alegações suportadas) e relevância pareada.
RUBRIC-ONLY (Apenas Rubrica): Recompensa a cobertura da checklist da rubrica ( $C_{rub}$ ) sem um termo de fundamentação explícito.
FACT-RUBRIC (Fato-Rubrica): Uma combinação aditiva de fundamentação e cobertura de rubrica.
FACT-RUBRIC-REL: Uma composição suave de três componentes combinando fundamentação ( $0.5G$ ), cobertura de rubrica ( $0.4C_{rub}$ ) e relevância pareada ( $0.1R_{rel}$ ). Crucialmente, isso evita o "gating" (multiplicativo) onde uma falha de fundamentação zera toda a recompensa.

Protocolo de Treinamento

Algoritmo: GRPO (Group Relative Policy Optimization).
Dados: Um conjunto de treinamento de 4.000 prompts, compreendendo 2.000 prompts fundamentados (com contexto) e 2.000 prompts abertos (sem contexto).
Mecanismo de Segurança: Uma penalidade de formato é aplicada se a resposta for curta demais para suportar um julgamento de fundamentação significativo, evitando que os modelos "hackeiem" a recompensa ao truncar as respostas.

3. Resultados Principais

Desempenho In-Distribution (Benchmarks de Fundamentação)

Nos benchmarks padrão de fundamentação (FACTS Grounding, LongFact, FActScore):

FACT-ONLY atinge a maior precisão de fundamentação, mas suprime significativamente a cobertura da rubrica e a contagem de alegações (ex: a cobertura do Qwen3-4B cai de 0.459 para 0.334).
RUBRIC-ONLY maximiza a cobertura, mas causa o colapso da precisão de fundamentação (ex: caindo para 0.097 no Qwen3-4B).
FACT-RUBRIC-REL oferece um equilíbrio, mantendo a fundamentação acima do modelo base enquanto preserva alta cobertura.

Desempenho Out-of-Distribution (OOD)

Em tarefas que exigem conclusão de checklist (CL-bench) e escrita criativa (Arena-Hard):

Fundamentação Estrita (FACT-ONLY/PROXY): Estas recompensas prejudicam ativamente o desempenho OOD. No DeepSeek-R1-Distill-Llama-8B, o FACT-PROXY reduz as taxas de vitória de escrita criativa para uma fração do desempenho do modelo base.
RUBRIC-ONLY: Entrega os resultados OOD mais fortes, indicando que os sinais de cobertura específicos da pergunta transferem-se bem para diversas tarefas.
FACT-RUBRIC-REL: É a única variante que melhora tanto a fundamentação in-distribution quanto o comportamento OOD em comparação ao modelo base. Ela transfere com sucesso o comportamento de conclusão de checklist das recompensas de rubrica enquanto retém fundamentação suficiente.

Sensibilidade do Modelo

O compromisso "recusa-para-riqueza" é consistente tanto no Qwen3-4B quanto no DeepSeek-R1-Distill-Llama-8B. No entanto, o modelo DeepSeek, que possui destilação de raciocínio, é mais sensível a recompensas de fundamentação rígidas, exibindo um colapso de comprimento de resposta mais acentuado e uma degradação OOD mais severa que o Qwen.

4. Principais Contribuições

Formalização da Riqueza: O artigo define a riqueza para respostas longas como cobertura de informação específica da pergunta, em vez de detalhe genérico, enquadrando o RL de alucinação como uma mitigação conjunta de erros factuais e de fidelidade.
Pipeline de Rubrica: A construção de um pipeline de múltiplas gerações para rubricas de pontos-chave por amostra, aplicado em quatro benchmarks de fundamentação e um conjunto de treinamento de RL de 4K.
Análise de Composição de Recompensa: Evidência empírica de que a composição suave de fundamentação e cobertura de rubrica (especificamente FACT-RUBRIC-REL) produz a melhor fronteira de Pareto, equilibrando segurança in-distribution com utilidade out-of-distribution.

5. Significância e Alegações

O artigo afirma que o problema da "recusa-para-riqueza" surge porque recompensas que sofrem overfitting para fundamentação ensinam os modelos a dizer menos. A significância deste trabalho reside em demonstrar que:

A fundamentação sozinha é insuficiente: Ela captura suporte, mas não completude.
As rubricas são essenciais: Elas fornecem o sinal necessário sobre o que uma resposta deve conter, não apenas o que ela deve evitar.
A composição suave é a chave: O gating multiplicativo (onde a falha de fundamentação anula as recompensas de cobertura) suprime comportamentos úteis. Uma combinação aditiva suave permite que os modelos recebam crédito por cobrir pontos necessários mesmo que existam problemas menores de fundamentação, preservando o comportamento de "estilo checklist" necessário para a geração de textos longos.

Os autores concluem que rubricas por amostra são mais eficazes como um complemento à fundamentação, não como um substituto, e que a composição de recompensa proposta (FACT-RUBRIC-REL) fornece uma solução robusta para treinar geradores de longo formato que sejam simultaneamente fundamentados e ricos.

6. Limitações

O estudo é limitado a dois modelos de pesos abertos relativamente pequenos (Qwen3-4B e DeepSeek-R1-Distill-Llama-8B). Os autores observam que modelos proprietários ou maiores podem exibir sensibilidades diferentes aos gates de fundamentação rígidos. Além disso, o desempenho de livro fechado (closed-book) do FActScore permaneceu próximo de zero, atribuído às limitações de conhecimento paramétrico do modelo base, e não ao design da recompensa.