🤖 AI

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

O artigo apresenta o RubricForge, um método que evolui rubricas de julgamento legíveis por humanos a partir de trajetórias de verdade fundamental para reduzir significativamente a supercreditação de comportamentos de agentes falhos em avaliações livres de recompensa, priorizando a fidelidade e a redução de falsos positivos em detrimento da concordância bruta com baselines genéricos.

Autores originais: Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

Publicado 2026-08-17

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde construímos assistentes digitais — agentes inteligentes que podem reservar voos, comprar roupas ou escrever código ao conversar com computadores e sites. Esses agentes estão se tornando incrivelmente bons em parecerem confiantes e educados. Mas aqui está a parte complicada: como sabemos se eles realmente fizeram o trabalho ou se apenas contaram uma história muito fluida e convincente sobre tê-lo feito? No passado, tínhamos que verificar cada trabalho manualmente, como um professor corrigindo cada redação à mão. Mas agora, há agentes demais para verificar um por um. Então, cientistas começaram a usar uma segunda IA para atuar como um "juiz" para avaliar o primeiro. Isso é como contratar um professor robô para corrigir o trabalho de outro robô. O problema é que esses professores robôs são frequentemente enganados facilmente. Eles adoram uma boa história. Se um agente escreve um relatório longo, fluente e de som confiante, mas na verdade falhou em reservar o voo, o juiz ainda pode dar um "A" a ele só porque a escrita era muito agradável. Isso é perigoso porque significa que podemos lançar um software quebrado que parece perfeito no papel, mas que falha na vida real.

Este artigo apresenta uma nova maneira inteligente de treinar esses juízes robôs para que eles parem de cair na armadilha do "bom de papo". Em vez de apenas dizer ao juiz o que procurar com um livro de regras genérico, ou alterar o cérebro do juiz (o que é caro e difícil de entender), os autores criaram um método chamado RUBRICFORGE. Pense nisso como um detetive treinando um novo parceiro. Em vez de apenas dar ao parceiro uma lista de regras, eles mostram a ele um pequeno monte de casos reais onde sabem exatamente quem escapou de um crime e quem não escapou. O detetive então pede ao parceiro que escreva um novo conjunto de regras baseado nesses casos específicos, e eles continuam refinando essas regras até que o parceiro consiga detectar as falsificações perfeitamente. O resultado é um conjunto de instruções escritas em inglês simples que o juiz segue. A grande surpresa? Este novo método não torna necessariamente o juiz mais de acordo com a "verdade" em perguntas simples de sim/não. Em vez disso, torna o juiz muito melhor em detectar o tipo específico de erro que mais importa: dar uma nota de aprovação a um fracasso que apenas soou muito bem.

A História do Robô "Bom de Papo"

No mundo da inteligência artificial, temos esses "agentes" que atuam como funcionários digitais. Eles tentam realizar tarefas como comprar uma camisa ou corrigir um erro de código. Para ver se eles fizeram um bom trabalho, geralmente usamos uma "verdade fundamental" (ground truth) — uma chave de resposta perfeita e imutável. Por exemplo, se o agente deveria comprar uma camisa vermelha, a verdade fundamental é uma verificação no banco de dados: "Uma camisa vermelha foi adicionada ao carrinho?".

Mas verificar esse banco de dados é lento, caro ou às vezes impossível se a tarefa envolver dinheiro real ou ações perigosas. Por isso, usamos uma segunda IA, um "Juiz", para observar a conversa do agente e adivinhar se ele teve sucesso. O problema é que esses Juízes são tendenciosos. Eles são como um professor que dá um A para um aluno que escreve uma redação belíssima, mas erra a matemática. Eles preferem respostas que sejam fluentes, confiantes e longas, mesmo que a tarefa real tenha falhado. Isso é chamado de "sobrecrédito" (over-crediting). É um assassino silencioso porque, se você pensa que seu agente está funcionando porque o Juiz disse "Aprovado", mas ele está na verdade quebrado, você pode lançá-lo ao público e causar um desastre.

A Solução: RUBRICFORGE

Os autores, Darragh Quinn e sua equipe, queriam consertar isso. Eles não queriam apenas escrever um livro de regras melhor à mão (o que é lento e pode deixar passar coisas) ou retreinar o cérebro do Juiz (o que é caro e cria uma "caixa preta" que não conseguimos entender). Em vez disso, eles inventaram o RUBRICFORGE.

Aqui está como funciona, passo a passo:

O Campo de Treinamento: Eles pegam um pequeno conjunto de tentativas reais de agentes onde já conhecem o resultado real (a "verdade fundamental"). Alguns tiveram sucesso, outros falharam.
A Evolução: Eles usam um processo de "evolução reflexiva". Imagine um robô tentando escrever um livro de regras. Ele escreve um rascunho, testa nas causas conhecidas e vê onde cometeu erros. Então, ele olha para os erros e pergunta: "Por que eu errei isso? Qual foi a pista real que eu perdi?". Ele reescreve o livro de regras para corrigir esse erro específico. Ele faz isso repetidamente, tornando-se mais inteligente a cada tentativa.
O Congelamento: Uma vez que o livro de regras está perfeito para os casos de treinamento, eles o "congelam". Eles não alteram o cérebro do Juiz de forma alguma; eles apenas dão a ele este novo conjunto de instruções super específicas.
O Teste: Eles usam esse Juiz congelado em novas tentativas de agentes não vistos anteriormente. Como o Juiz está seguindo um livro de regras baseado em texto, toda vez que ele dá uma nota, ele pode apontar exatamente qual regra utilizou. É transparente.

O Que Eles Descobriram: A Descoberta do "Mais Difícil de Enganar"

Os resultados foram fascinantes e um pouco contraintuitivos. Os autores foram muito honestos sobre o que encontraram e o que não encontraram.

Primeiro, eles verificaram se o novo Juiz concordava com a "verdade" com mais frequência do que um Juiz padrão e genérico. A resposta foi: não muito. Em um teste simples de passar/falhar, o novo método e o antigo estavam basicamente empatados. O artigo afirma explicitamente que a diferença na concordância geral não foi estatisticamente significativa. Em outras palavras, se você apenas perguntasse: "Eles concordaram com a chave de resposta?", o novo método não obteu uma vitória clara.

No entanto, a verdadeira vitória foi na segurança. O artigo foca em um tipo específico de erro: o Falso Positivo (False Pass). Isso é quando o Juiz diz "Sucesso" para um agente que, na verdade, falhou. Esse é o erro perigoso, pois resulta no lançamento de um software quebrado.

O Juiz genérico padrão deu um "Passar" para agentes que falharam cerca de 17,3% das vezes (no conjunto de dados $\tau$ -bench).
O novo Juiz do RUBRICFORGE deu um "Passar" para agentes que falharam apenas cerca de 11,5% das vezes.

Isso é uma queda enorme. O novo método detectou três casos específicos onde o antigo Juiz foi enganado por uma história fluida, e o novo Juiz corretamente disse "Falha". Crucialmente, o novo Juiz nunca cometeu um erro que o antigo já não cometesse; ele apenas detectou mais erros. Ele é "mais difícil de enganar".

A Armadilha da "Falha Fluente"

O artigo destaca que essa vantagem aparece especialmente quando o agente é "fluente" — quando ele fala muito e parece muito confiante.

No domínio de Companhias Aéreas (uma tarefa difícil), o antigo Juiz foi enganado 43,8% das vezes em tentativas de falha.
O novo Juiz foi enganado apenas 25,0% das vezes.
Isso foi especialmente verdadeiro para agentes usando uma estratégia de "autoevolução" que escreviam relatórios longos e detalhados. O antigo Juiz adorava os relatórios longos; o novo Juiz olhava para as evidências e via a falha.

O artigo também observou "notas graduadas" (como uma nota de 0 a 100). Aqui, o novo método foi melhor em classificar (saber qual agente era melhor que o outro), mas o método antigo foi ligeiramente melhor em dar o número exato. Os autores são cuidadosos ao dizer: se você precisa comparar agentes para ver quem é o melhor, use o novo método. Se você precisa de uma pontuação precisa para um relatório, o método antigo pode ser ligeiramente mais preciso.

Por Que Isso Importa

A lição mais importante é uma mudança na forma como devemos medir o sucesso. O artigo argumenta que, para agentes de IA, a concordância não é o objetivo; a fidelidade é. Um juiz que concorda com a verdade 90% das vezes, mas perde os 10% de agentes quebrados que parecem perfeitos, é inútil. Um juiz que detecta esses agentes quebrados, mesmo que seja ligeiramente menos perfeito em outras coisas, é seguro para uso.

Ao fundamentar as regras do Juiz em exemplos reais e rotulados de falha, os autores criaram um sistema que resiste à armadilha da "Lei de Goodhart" (onde otimizar uma métrica torna a métrica inútil). Eles não apenas tornaram o Juiz mais inteligente; eles o tornaram mais honesto. O veredito final? O novo método é mais difícil de enganar do que de concordar, e é exatamente isso que precisamos para confiar nossos agentes de IA no mundo real.

Resumo Técnico: Indução de Rubricas de Julgamento Livres de Recompensa que Reduzem o Crédito Excessivo na Avaliação de Agentes

1. Declaração do Problema

A avaliação de agentes de modelos de linguagem em escala depende cada vez mais de sistemas de "LLM-como-juiz" (LLM-as-a-judge) porque o sinal de verdade fundamental (uma recompensa de ambiente executável) é frequentemente caro, lento ou destrutivo para consultar durante a implantação. Os juízes automáticos atuais dependem tipicamente de rubricas de pontuação escritas à mão (ex: G-EVAL) ou de pesos de modelos ajustados (fine-tuned).

O artigo identifica um modo de falha crítico e assimétrico nestes juízes existentes: o crédito excessivo (over-crediting). Os juízes tendem a recompensar narrativas fluentes, verbosas e confiantes, mesmo quando a trajetória subjacente do agente não alcança o objetivo real (ex: uma confirmação de reserva que narra o sucesso, mas nunca efetiva a transação).

Falso Positivo (Crédito Excessivo): Pontuar uma trajetória falha como um sucesso. Isso é perigoso, pois certifica silenciosamente agentes quebrados, infla as taxas de sucesso e mascara regressões.
Falso Negativo: Pontuar uma trajetória bem-sucedida como uma falha. Isso é meramente ineficiente, custando uma tentativa de reprocessamento ou uma amostra descartada.

Os autores argumentam que, para um avaliador livre de recompensa ser seguro para implantação, a métrica primária de sucesso não deve ser o acordo agregado com a verdade fundamental, mas sim a minimização da taxa de falsos positivos.

2. Metodologia: RUBRICFORGE

O artigo propõe o RUBRICFORGE, um método que induz o texto de uma rubrica de julgamento de agentes em vez de escrevê-la manualmente ou realizar o ajuste fino dos pesos do modelo. A inovação central é otimizar a própria string da rubrica enquanto mantém o modelo juiz congelado.

Componentes Principais

Backbone Congelado: Um único modelo de linguagem (Qwen2.5-7B) serve tanto como agente quanto como juiz. Os pesos do modelo nunca são atualizados; apenas o texto da rubrica é otimizado.
Evolução Reflexiva: A rubrica é evoluída usando GEPA (um algoritmo de evolução de prompt reflexivo).
- Entrada: Um pequeno conjunto de trajetórias rotuladas com verdade fundamental (pool de treinamento).
- Processo: A rubrica atual pontua as trajetórias de treinamento. Casos mal pontuados (onde o veredito do juiz discorda do rótulo de verdade fundamental) são coletados.
- Reflexão: Um meta-prompt apresenta a rubrica atual, os casos mal pontuados e seus rótulos reais para o modelo. O modelo é instruído a propor uma rubrica revisada que identifique corretamente as evidências observáveis de falha (ex: "erros de ferramenta", "confirmação ausente") em vez de simplesmente memorizar o rótulo.
- Seleção: As rubricas evoluídas são avaliadas em um conjunto de validação retido (held-out). A melhor rubrica é selecionada.
Congelamento e Aplicação: A rubrica selecionada é congelada literalmente. No momento do teste, ela é aplicada a trajetórias retidas em uma única chamada de modelo sem acesso ao ambiente.

Escolhas de Design Chave

Aterramento (Grounding): A indução é fundamentada em rótulos de resultados programáticos externos, evitando que a rubrica derive em direção aos vieses internos do juiz (fluência).
Interpretabilidade: Como o artefato otimizado é um texto legível por humanos, cada veredito pode ser atribuído a critérios específicos e nomeados (ex: "Autenticação Bem-Sucedida", "Verificação de Pedido").
Segurança: O contrato de saída é um JSON estrito; qualquer falha de parsing resulta em um veredito de "falha", garantindo que o sistema seja conservador (direção segura) em vez de passar esporadicamente agentes quebrados.

3. Principais Contribuições

RUBRICFORGE: Um método de indução de métrica automática que evolui uma rubrica de julgamento contra rótulos de verdade fundamental usando um backbone congelado, produzindo critérios concretos, legíveis por humanos e fundamentados na trajetória.
Fidelidade sobre Acordo: O artigo demonstra que a indução melhora significativamente a fidelidade (reduzindo falsos positivos) mesmo quando não melhora significativamente o acordo binário bruto.
Melhor Ranking: Em tarefas graduadas, a rubrica induzida classifica os resultados de forma mais fiel (maior correlação de Spearman) do que juízes genéricos, apesar de ser marginalmente pior na calibração de pontuação absoluta.
Protocolo de Avaliação: Os autores propõem um protocolo abrangente para avaliação livre de recompensa que inclui:
- Um teto de recompensa oracle.
- Uma sonda específica de taxa de falso positivo.
- Uma divisão entre fidelidade de ranking e calibração absoluta.
- Atribuição de leave-one-out por critério.
- Estratificação por dificuldade e fluência.

4. Resultados Experimentais

Os experimentos foram conduzidos no $\tau$ -Bench (atendimento ao cliente de varejo/companhia aérea, recompensa binária) e no WEBSHOP (compras, recompensa graduada).

$\tau$ -Bench (Sucesso Binário)

Acordo: O RUBRICFORGE alcançou 0,774 de precisão contra 0,726 do G-EVAL. No entanto, essa diferença não foi estatisticamente significativa (McNemar $p = 0,248$ ). Os autores afirmam explicitamente que, em rótulos binários difíceis, o juiz 7B congelado está próximo de seu teto de acordo.
Crédito Excessivo (Taxa de Falso Positivo): É aqui que o método se destaca.
- Taxa de falso positivo do G-EVAL: 0,173 (9/52 falhas).
- Taxa de falso positivo do RUBRICFORKE: 0,115 (6/52 falhas).
- Resultado: O RUBRICFORGE aplica crédito excessivo aproximadamente metade das vezes em comparação ao outro. Toda a margem entre os dois juízes consiste em três trajetórias onde o G-EVAL falhou (crédito excessivo) e o RUBRICFORGE falhou corretamente. Hou& zero reversões (o RUBRICFORGE nunca passou uma trajetória que o G-EVAL falhou).
Estudos de Caso: As três trajetórias detectadas eram fluentes, mas falharam devido a erros específicos observáveis (ex: "pedido não encontrado", "incompatibilidade de pagamento"). O RUBRICFORGE identificou estes corretamente através de seus critérios induzidos (ex: "Verificação de Pedido", "Cumprimento de Requisição"), enquanto o G-EVAL foi influenciado pela narrativa final confiante.

WEBSHOP (Recompensa Graduada)

Ranking: O RUBRICFORGE alcançou uma correlação de Spearman de 0,410 contra os 0,370 do G-EVAL, indicando maior fidelidade na ordenação de resultados.
Calibração: O G-EVAL foi marginalmente melhor na calibração de pontuação absoluta (diferença de Erro Médio Absoluto de -0,048, $p = 2 \times 10^{-4}$ ). Os autores observam que as pontuações do RUBRICFORGE tendem a ser mais decisivas (0,2 ou 1,0), o que aguçará o ranking, mas infla o erro absoluto contra recompensas graduadas suaves.

Estratificação

A vantagem do RUBRICFORGE não foi uniforme. Ela se concentrou em domínios mais difíceis (Companhia Aérea vs. Varejo) e políticas fluentes (RSEA vs. ReAct). O método foi mais eficaz em capturar trajetórias "fluentes, mas erradas", que são o principal modo de falha de juízes genéricos.

5. Significância e Alegações

A alegação central do artigo é modesta, mas precisa: A indução torna um avaliador livre de recompensa "mais difícil de enganar do que de concordar".

Relevância de Implantação: Para um avaliador livre de recompensa, a taxa de falso positivo é a métrica de implantação crítica. Um falso positivo envia um agente quebrado; um falso negativo apenas custa uma tentativa de reprocessamento. O RUBRICFORGE reduz significativamente este tipo de erro perigoso sem degradar o desempenho em outras métricas.
Aterramento vs. Lei de Goodhart: Os autores conectam seu método à lei de Goodhart. Um juiz não aterrado otimiza para "parecer bem-sucedido" (fluência), levando ao desvio da métrica. Ao fundamentar a indução da rubrica em rótulos externos verificáveis, o RUBRICFORGE resiste a esse desvio, conferindo fidelidade.
Interpretabilidade: Diferente do ajuste fino de caixa-preta, a rubrica induzida é texto. Profissionais podem inspecionar, editar e auditar os critérios específicos (ex: "Autenticação Bem-Sucedida") que impulsionam um veredito, tornando o processo de avaliação transparente.

Os autores concluem que, embora o acordo agregado seja frequentemente a métrica de destaque, este é o destaque errado para a avaliação livre de recompensa. O verdadeiro valor do RUBRICFORGE reside em sua capacidade de reduzir o risco assimétrico de implantar agentes quebrados, alcançado ao fundamentar o objetivo de avaliação em resultados reais, em vez das intuições desvinculadas do juiz.