A Rubric-Supervised Critic from Sparse Real-World Outcomes

Este artigo propõe um modelo crítico supervisionado por rubricas que aprende a partir de interações humano-agente esparsas e ruidosas, demonstrando melhorias significativas no reranking, na detecção precoce de falhas e na curadoria de dados para agentes de codificação em cenários do mundo real.

O essencial

Imagine que você está ensinando um estagiário de programação muito inteligente, mas inexperiente, a trabalhar em uma empresa real.

No mundo dos testes de escola (os "benchmarks" acadêmicos), o estagiário recebe um problema, escreve o código e o professor diz: "Passou ou não passou?". É simples, rápido e tudo está escrito em preto no branco. Se o código funciona, ele ganha um 10.

Mas no mundo real, a coisa é diferente. O estagiário trabalha com um chefe humano. O chefe pode mudar de ideia no meio do caminho, pedir para refazer algo, ficar frustrado com a lentidão, ou simplesmente aceitar um código que não é perfeito, mas que resolve o problema imediato. O "sucesso" aqui não é um teste automático; é uma mistura de "o chefe ficou feliz?", "o código vai quebrar amanhã?" e "o chefe teve que gastar tempo consertando o que o estagiário fez?".

O problema é que, no mundo real, os chefes raramente dão um feedback escrito e claro. Às vezes, eles apenas aceitam o trabalho e somem. Às vezes, o feedback chega dias depois. É como tentar aprender a cozinhar apenas olhando para pratos que foram servidos, sem saber se o cozinheiro errou o tempero ou se o cliente apenas não reclamou.

A Solução: O "Crítico" com uma Lista de Verificação (Rubric)

Os autores deste artigo propuseram uma solução inteligente para ensinar esse estagiário (o agente de IA) a se comportar melhor no mundo real, mesmo sem feedback constante. Eles criaram um "Crítico".

Pense no Crítico como um supervisor experiente que observa o estagiário trabalhando. Mas, em vez de apenas dizer "bom" ou "ruim" no final, esse supervisor usa uma Lista de Verificação (Rubric) com 24 itens específicos.

Aqui está a mágica:

1. A Lista de Verificação (Critic Rubrics): Em vez de esperar o chefe dizer "isso é ótimo", o Crítico olha para o que o estagiário fez e marca na lista:

   • "Entendeu o pedido?"
   • "Ignorou alguma regra?"
   • "Fez testes suficientes?"
   • "O usuário pareceu frustrado?"
   • "Repetiu o mesmo erro várias vezes?"

   Essa lista é preenchida para todo e qualquer trabalho que o estagiário faz, mesmo que o chefe não tenha dado nenhum feedback. É como ter um observador anotando cada detalhe do processo.

2. O Feedback Esparsos (O "Milagre" do Sucesso): De vez em quando, o chefe realmente dá um feedback claro (ex: "o código foi aceito no sistema" ou "o projeto foi aprovado"). Isso é raro e acontece em apenas 4% a 6% dos casos.

3. A Lição de Casa (Treinamento Semi-supervisionado): O Crítico é treinado de duas formas ao mesmo tempo:

   • Aprende a preencher a Lista de Verificação para todos os casos (o que dá muita informação).
   • Aprende a prever se o trabalho será um sucesso nos poucos casos onde o feedback real existe.

Ao fazer isso, o Crítico aprende a conectar os pontos: "Ah, quando o estagiário ignora a regra X e o usuário fica frustrado (pontos da lista), o trabalho tende a ser rejeitado (feedback real)."

Por que isso é revolucionário?

O artigo mostra que esse Crítico é um "super-herói" para a inteligência artificial de três maneiras:

• O Filtro de Qualidade (Melhor de N): Imagine que o estagiário tenta resolver um problema 8 vezes. O Crítico olha para as 8 tentativas e diz: "A número 3 é a melhor, escolha essa". Isso aumenta muito a chance de sucesso, sem precisar de mais tempo de computação.
• O Parar-Precoce (Early Stopping): Se o Crítico vê que o estagiário está fazendo algo errado logo no início (ex: "está ignorando instruções"), ele pode gritar: "Pare! Isso não vai funcionar!". Isso economiza tempo e dinheiro, evitando que o agente continue tentando algo que já está fadado ao fracasso.
• O Curador de Dados: Para treinar o estagiário no futuro, em vez de usar todo o lixo de dados do mundo real, o Crítico seleciona apenas os melhores exemplos para ensinar. É como um professor que escolhe os melhores exemplos de redação para mostrar à turma, em vez de mostrar tudo o que foi escrito.

A Analogia Final

Pense no treinamento de IA atual como tentar ensinar um cachorro a sentar apenas mostrando fotos de cachorros sentados (os testes de laboratório). Funciona bem no parque, mas quando você leva o cachorro para a rua barulhenta, ele se perde.

Este novo método é como colocar um treinador de cães ao lado do cachorro na rua. O treinador não espera o cachorro fazer tudo certo para dar um petisco. Ele observa: "O cachorro olhou para o barulho (erro), ignorou o comando (erro), mas depois sentou (sucesso)". O treinador usa essa observação detalhada (a lista de verificação) para ensinar o cachorro a se comportar bem em qualquer situação, mesmo quando ninguém está olhando.

Resumo: O papel cria um "olho crítico" que aprende a julgar a qualidade do trabalho de uma IA não apenas pelo resultado final (que é raro), mas pelo processo de trabalho (que é sempre visível). Isso torna as IAs mais inteligentes, mais rápidas e mais úteis no mundo real.

Resumo técnico

1. O Problema: A Lacuna entre Benchmarks e o Mundo Real

O artigo identifica uma discrepância fundamental no desenvolvimento de agentes de codificação baseados em LLMs:

• Benchmarks Acadêmicos: Avaliam agentes com base na conclusão autônoma de tarefas, utilizando recompensas verificáveis e imediatas, como a passagem de testes unitários (ex: SWE-bench).
• Cenário Real: Agentes operam em loops humanos (human-in-the-loop), onde o sucesso é definido pela aceitação do usuário, qualidade do código para revisão, manutenibilidade e redução do trabalho do usuário.
• Desafio Principal: O feedback no mundo real é esparsa, atrasada e ruidosa. Usuários raramente fornecem feedback direto sobre a qualidade de cada interação; o sinal de sucesso (ex: um Pull Request mesclado) chega apenas no final e pode ser confuso (várias interações levam a um único PR, ou o usuário reescreve o código do agente). Isso torna difícil treinar modelos de avaliação (critics) que guiem o agente ou otimizem a inferência.

2. Metodologia Proposta

Os autores propõem um pipeline para aprender um modelo "crítico" (avaliador) a partir de dados de interação reais, utilizando uma abordagem semi-supervisionada.

A. Modelagem de Dados: Segmentos

Em vez de tratar conversas inteiras como uma única unidade, o trabalho divide as interações em segmentos:

• Um segmento é uma unidade mínima de trabalho autônomo, iniciada por uma mensagem do usuário e terminada quando o agente executa uma ação de finish.
• Isso permite atribuir créditos (ou falhas) a partes específicas da conversa, mesmo em interações de múltiplas voltas.

B. Critic Rubrics (Rubricas Críticas)

Para superar a escassez de rótulos de sucesso (apenas 4-6% dos segmentos têm dados de "sobrevivência de código" ou "PR mesclado"), os autores introduzem Critic Rubrics:

• Um conjunto de 24 características comportamentais observáveis diretamente no rastro da interação (trace), sem necessidade de saber o resultado final.
• As rubricas são divididas em três categorias:
  1. Problemas Comportamentais do Agente: (ex: mal-entendido da intenção, não seguir instruções, testes insuficientes, loop de falhas, escopo não solicitado).
  2. Padrões de Acompanhamento do Usuário: (ex: solicitações de esclarecimento, correções, mudanças de direção, frustração).
  3. Problemas de Infraestrutura: (ex: falhas externas vs. falhas causadas pelo agente).
• Essas rubricas fornecem supervisão densa, pois podem ser anotadas em 100% dos segmentos (usando LLMs para anotação inicial).

C. Treinamento Semi-Supervisionado

O modelo crítico é treinado com um objetivo multi-tarefa:

1. Cabeça de Sucesso: Prevê a probabilidade de sucesso baseada em proxies esparsos do mundo real (ex: sobrevivência do código no diff final ou merge do PR).
2. Cabeça de Rubricas: Prevê as 24 características comportamentais para todos os segmentos.

• Inovação: O modelo aprende a generalizar padrões de falha (rubricas) a partir de todos os dados, enquanto ajusta sua escala de sucesso com base nos poucos dados rotulados de resultado real.

3. Principais Contribuições

1. Framework de Supervisão Baseado em Rubricas: A introdução de 24 rubricas comportamentais que transformam dados não rotulados em sinais de aprendizado úteis, permitindo o treinamento semi-supervisionado.
2. Hierarquia de Atribuição de Crédito: Uma estrutura que mapeia resultados de alto nível (PRs) para commits e, finalmente, para segmentos individuais, utilizando métricas como "Code Survival" (qual fração do código escrito pelo agente persistiu no diff final).
3. Modelo Crítico Generalizável: Um modelo treinado que não apenas prevê sucesso, mas identifica por que algo falhou, tornando-se robusto a diferentes backbones de LLM.

4. Resultados Experimentais

Os experimentos foram conduzidos em dados reais de produção (OpenHands) e benchmarks (SWE-bench, SWE-Gym).

• Transferência para o Mundo Real: Modelos treinados apenas em benchmarks falham no mundo real (AUC ~0.45-0.48, pior que o aleatório). A supervisão do mundo real é essencial.
• Qualidade da Supervisão: O proxy de "Code Survival" (sobrevivência do código) mostrou-se superior ao "PR Merge" para treinamento, pois é mais granular e menos ruidoso.
• Desempenho em Inferência (Scaling):
  • Best-of-K Reranking: O uso do crítico para reordenar trajetórias melhorou o desempenho no SWE-bench em +15.9 pontos (Best@8) em comparação com a seleção aleatória.
  • Early Stopping: Permitiu interromper trajetórias falhas precocemente, reduzindo o custo computacional em 83% (média de 1.35 tentativas vs. 8) mantendo ganhos de +17.7 pontos sobre o aleatório.
• Robustez Cross-Backbone: Modelos treinados apenas com "Sucesso" (Success-Only) tendem a superajustar (overfit) a um LLM específico (ex: Claude Sonnet) e falham em outros. Modelos supervisionados por rubricas (Success + Rubrics) generalizam bem entre diferentes LLMs (Sonnet e Opus), mantendo ganhos positivos em ambos.
• Curadoria de Dados para Treinamento: O uso do crítico para selecionar segmentos para Supervised Fine-Tuning (SFT) melhorou a taxa de resolução em SWE-bench, superando a seleção aleatória e aproximando-se do limite superior definido por filtros de proxy.

5. Significado e Impacto

Este trabalho oferece uma solução prática para o problema da escassez de feedback em agentes de IA no mundo real:

• Viabilidade de Aprendizado: Demonstra que é possível aprender avaliadores robustos a partir de dados de produção ruidosos, desde que se utilize supervisão processual densa (rubricas) combinada com sinais de resultado esparsos.
• Eficiência Operacional: Permite a aplicação de técnicas de inference-time scaling (como seleção Best-of-K e early stopping) em cenários reais, economizando significativamente recursos computacionais.
• Melhoria Contínua: Fornece um mecanismo para curar dados de treinamento, selecionando automaticamente exemplos de alta qualidade para melhorar os agentes via SFT.
• Generalização: A abordagem baseada em rubricas cria avaliadores que entendem o comportamento do agente de forma independente do modelo de linguagem específico, facilitando a adoção em diferentes stacks tecnológicos.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de depender apenas de resultados finais verificáveis (que são raros), utiliza a observação de comportamentos intermediários (rubricas) para criar avaliadores inteligentes que podem guiar, otimizar e melhorar agentes de codificação em ambientes reais e complexos.