Resumo Técnico: Counsel – Um Conjunto de Dados de Meta-Avaliação para Tarefas Agênticas

Declaração do Problema

À medida que os sistemas agênticos são implantados para lidar com tarefas cada vez mais complexas e de múltiplas etapas, a avaliação de suas trajetórias de execução tornou-se um gargalo crítico. A anotação humana de uma única trajetória de agente em benchmarks populares (ex: SWE-bench) pode levar horas, dificultando a escala das avaliações para medição de desempenho ou curadoria de dados de treinamento. Consequentemente, o campo mudou para abordagens automatizadas, especificamente o LLM-as-a-Judge (LLMJ), para criticar agentes tanto ao nível do processo (passo a passo) quanto ao nível do resultado.

No entanto, existe uma lacuna significativa: embora os LLMJs sejam amplamente utilizados para curadoria de dados, treinamento e implantação, a solidez de suas críticas raramente é medida. Os esforços de meta-avaliação existentes tipicamente se restringem à comparação de julgamentos finais (pontuações/preferências) contra a verdade fundamental (ground truth) humana. Eles carecem de dados granulares de nível de processo para determinar se um LLMJ identificou corretamente onde ocorreu um erro e se o seu raciocínio para esse erro foi sólido. Essa ausência de dados de meta-avaliação dificulta a capacidade de calibrar, melhorar ou treinar diretamente LLMJs para produzir feedback diagnóstico de maior qualidade.

Metodologia

Os autores introduzem o Counsel, o primeiro conjunto de dados público de meta-avaliações para tarefas agênticas. A construção do conjunto de dados envolve um pipeline de três estágios:

1. Geração de Trajetória de Agente

Os autores geraram trajetórias de agentes usando modelos de pesos abertos em dois benchmarks distintos:

• $\tau$-bench (Varejo): Um benchmark de suporte ao cliente que simula interações multi-turno entre ferramenta-agente-usuário. Os autores utilizaram o subconjunto de varejo (115 tarefas).
• DA-Code: Um benchmark de geração de código para ciência de dados envolvendo fluxos de trabalho complexos (limpeza, análise, modelagem) em um ambiente controlado (sandbox). Os autores utilizaram os subconjuntos de Data Insights e Data Manipulation (50 tarefas).

Modelos de Agente: Para garantir modos de falha heterogêneos, as trajetórias foram geradas usando:

• GPT-OSS-20B: Um modelo de mistura de especialistas (MoE) de 20B parâmetros com capacidades de raciocínio médias.
• Qwen3-235B-A22B-Instruct-2507: Um modelo MoE de 235B parâmetros sem raciocínio explícito (pensamento de Sistema 1).

2. Geração de Crítica do Juiz

Cada etapa (span) das trajetórias dos agentes foi avaliada por LLMJs de pesos abertos. Os juízes receberam o mesmo contexto disponível para o agente naquele passo (sem informações futuras) e foram incumbidos de:

• Identificar se ocorreu um erro na etapa atual.
• Fornecer uma crítica concisa e legível por humanos explicando o erro.
• Categorizar o tipo de erro (ex: raciocínio, uso de ferramenta, fluxo de trabalho).

Modelos de Juiz: Para induzir variação sistemática, os autores empregaram:

• GPT-OSS-120B: Avaliado tanto em configurações de baixo quanto de alto raciocínio.
• Qwen3-235B-A22B-Instruct-2507: Usado como uma linha de base sem raciocínio.
• O estudo incluiu pareamentos da mesma família (ex: GPT julgando GPT) e de famílias cruzadas para analisar o viés de auto-preferência.

3. Meta-Avaliação Humana

Anotadores humanos (três profissionais experientes em ciência de dados com mais de 10 anos de experiência) revisaram os outputs dos juízes. Crucialmente, os anotadores tiveram acesso à trajetória completa (passado e futuro dos passos), ao contrário dos juízes que viram apenas o contexto atual.

Esquema de Anotação: Os anotadores rotularam cada intervalo (span) sinalizado em uma de três categorias:

1. No ponto (Spot on): O local do erro está correto e o raciocínio está correto.
2. Local correto, mas raciocínio pobre: O local do erro foi identificado corretamente, mas a explicação é falha ou inadequada.
3. Não deveria ter sinalizado: O juiz identificou incorretamente um erro (tanto o local quanto o raciocínio estão errados).

Os anotadores atingiram um $\alpha$ de Krippendorff de 0,78, indicando alta concordância entre os anotadores.

Principais Contribuições

1. Conjunto de Dados Counsel: Um conjunto de dados público, com licença permissiva, contendo 1.131 meta-anotações humanas de críticas de juízes através de 225 trajetórias de agentes únicas.
2. Meta-Avaliação Granular: Diferente de trabalhos anteriores focados em pontuações finais, o Counsel fornece rótulos tanto para localização de erro quanto para qualidade do raciocínio, permitindo a avaliação da utilidade diagnóstica dos LLMJs.
3. Ecossistema de Pesos Abertos: Todo o pipeline (agentes, juízes e geração de dados) baseia-se em modelos de pesos abertos, facilitando o uso amplo pela comunidade e a reprodutibilidade.

Resultados e Análise

Os autores apresentam várias descobertas principais da análise do conjunto de dados:

• Variância de Desempenho do Juiz:
  • Esforço de Raciocínio: Juízes com maior esforço de raciocínio (GPT-OSS-120B:high) alcançaram significativamente melhor concordância humana do que seus equivalentes de baixo raciocínio. O juiz mais forte alcançou ~88% de concordância na localização do erro e ~65% de concordância na qualidade do raciocínio.
  • Especificidade de Domínio: A precisão da crítica variou por domínio. Por exemplo, o Qwen3 alcançou 43% de precisão "Spot on" no DA-Code, mas 63% no $\tau$-bench varejo, sugerindo que a eficácia do juiz é dependente do ambiente.
• Viés de Auto-Preferência: O estudo analisou se os juízes eram mais lenientes com agentes da mesma família de modelos. Testes estatísticos (testes normais unilaterais para proporções) não encontraram viés de auto-preferência significativo em nenhum dos juízes avaliados.
• Localização de Erro vs. Recall: O design do conjunto de dados prioriza a precisão (revisando apenas erros sinalizados) sobre o recall. Embora o conjunto de dados permita comparações de recall relativo (comparando verdadeiros positivos entre juízes), ele não mede a taxa na qual os juízes falham em sinalizar erros existentes.

Significância e Alegações

O artigo posiciona o Counsel como um recurso fundamental para o estudo rigoroso e a melhoria de avaliadores baseados em LLM. Os autores alegam que o conjunto de dados permite três casos de uso primários:

1. Avaliar a Qualidade da Crítica: Ir além da concordância de pontuação final para avaliar se os juízes localizam corretamente os erros e fornecem raciocínio de alta qualidade.
2. Treinar Meta-Juízes: Otimizar modelos que pontuam, classificam ou filtram outputs de juízes para selecionar as críticas de maior qualidade.
3. Treinar Juízes: Usar meta-anotações como supervisão ou sinais de recompensa para otimizar diretamente os juízes para uma melhor geração de críticas.

Os autores enfatizam que, embora o Counsel suporte a calibração e o treinamento de avaliadores automatizados, ele é destinado a complementar, não substituir, o julgamento humano. Eles observam limitações, incluindo o foco em precisão sobre recall e a restrição a dois domínios agênticos específicos (varejo e codificação), o que pode limitar a generalização para outros tipos de tarefas.

Um experimento preliminar no artigo demonstra que usar as meta-anotações do Counsel como exemplos de few-shot in-context pode melhorar o desempenho do agente em um loop, especificamente quando o feedback "Spot on" é forneado a um juiz de barreira (guardrail judge), embora os efeitos tenham sido geralmente pequenos.