AdaRubric: Task-Adaptive Rubrics for LLM Agent Evaluation

Resumo Técnico: ADARUBRIC

1. O Problema

A avaliação de agentes de LLM (Large Language Models) que realizam tarefas complexas e multi-etapa (como automação web, orquestração de APIs e engenharia de software) enfrenta um gargalo crítico: a rigidez das rubricas estáticas.

• Falha das Métricas Atuais: Métodos baseados em sobreposição superficial (ROUGE-L, BERTScore) ignoram o raciocínio direcionado a objetivos. A abordagem "LLM-as-Judge" tradicional utiliza dimensões fixas (ex: "Utilidade", "Fluência", "Segurança") independentemente da tarefa.
• Viés Sistemático: Rubricas fixas, desenhadas para assistentes de chat, falham em capturar critérios essenciais para agentes. Por exemplo, uma tarefa de depuração de código exige "Correção" e "Tratamento de Erros", enquanto uma tarefa de navegação web exige "Alinhamento ao Objetivo" e "Eficiência de Ação".
• Consequência: Rubricas estáticas introduzem viés, penalizam comportamentos corretos (mas esteticamente diferentes) e não conseguem capturar falhas específicas de dimensões, levando a julgamentos de qualidade indiferenciados e insuficientes para treinamento ou implantação.

2. Metodologia: O Framework ADARUBRIC

O ADARUBRIC propõe um pipeline de três estágios que gera rubricas de avaliação específicas para cada tarefa "sob demanda", substituindo dimensões fixas por dimensões adaptativas.

• Estágio 1: Geração Adaptativa de Rubrica (Rubric Generation)

  • Dada uma descrição da tarefa $T$, um LLM gera dinamicamente uma rubrica $R(T)$.
  • A rubrica consiste em $N$ dimensões de avaliação ortogonais (não sobrepostas), com pesos de importância ($w_j$) e critérios de pontuação verbalizados de 1 a 5 pontos.
  • Validação Automática: O sistema verifica a não sobreposição semântica, a soma dos pesos e a completude dos níveis de pontuação. Se falhar, tenta novamente ou usa um template de domínio.
  • Otimização: As rubricas são cacheadas por tipo de tarefa, reduzindo custos de API em >95%.

• Estágio 2: Avaliação de Trajetória Ponderada por Confiança

  • Cada passo da trajetória do agente (pensamento, ação, observação) é avaliado em relação a cada dimensão da rubrica gerada.
  • O LLM avaliador retorna uma pontuação $s_{k,j} \in \{1..5\}$ e um peso de confiança $c_{k,j} \in [0,1]$. O peso de confiança é baixo se o passo não for diretamente relevante para aquela dimensão.
  • Agregação: As pontuações são agregadas usando estratégias como Média Ponderada (WM), Média Geométrica (GM) ou Mínimo, permitindo atribuição de crédito granular por passo e dimensão para RL/DPO.

• Estágio 3: Filtragem e Síntese de Recompensa

  • DimensionAwareFilter (Filtro Consciente de Dimensão): Um componente novel que impede que dimensões com pontuação alta mascarem falhas críticas em outras dimensões. Uma trajetória só passa se todas as dimensões superarem um limiar, evitando pares de preferência de baixa qualidade.
  • Síntese de Pares DPO: Gera pares de preferência (escolhido vs. rejeitado) com uma margem de diferença de pontuação ($\delta_{min}$), garantindo que os pares usados para treinamento (Direct Preference Optimization) sejam de alta qualidade e informativos.

3. Principais Contribuições

1. Geração de Rubricas Adaptativas: O primeiro framework a gerar dimensões de avaliação específicas para a tarefa a partir da descrição, eliminando a necessidade de engenharia manual de rubricas.
2. Recompensas Densas Multidimensionais: Permite a atribuição de crédito em nível de passo e dimensão, essencial para o treinamento de RL e DPO, superando a limitação de sinais binários ou escalares.
3. Filtro DimensionAwareFilter: Uma condição necessária provada para prevenir que falhas em uma dimensão sejam ocultadas por altas pontuações em outras, melhorando a qualidade dos dados de treinamento.
4. Quantificação de Confiabilidade: Estabelece o coeficiente alfa de Krippendorff ($\alpha \ge 0.80$) como critério padrão para a implantação de avaliadores baseados em LLM.
5. Pipeline End-to-End: Integração completa desde a geração da rubrica até a criação de pares de preferência para treinamento de agentes.

4. Resultados Experimentais

O ADARUBRIC foi avaliado em três benchmarks principais: WebArena, ToolBench e AgentBench, além de uma generalização para SWE-bench.

• Correlação Humana:
  • Alcançou uma correlação de Pearson r = 0.79 com avaliadores humanos no WebArena, superando a melhor linha de base estática (GPT-4 Direct, r=0.64) em +0.15 pontos.
  • Média geral sobre os benchmarks: r = 0.767 (vs. 0.620 do GPT-4 Direct).
• Qualidade de Treinamento (DPO):
  • Agentes DPO treinados com pares de preferência do ADARUBRIC-DA apresentaram ganhos de 6.8 a 8.5 pontos percentuais (pp) na taxa de sucesso de tarefas em comparação com o baseline Prometheus.
  • No ToolBench, o ganho foi de +8.5 pp; no AgentBench, +7.7 pp.
• Generalização (SWE-bench):
  • Sem nenhuma engenharia de rubrica adicional, o método generalizou para tarefas de reparo de código (SWE-bench), alcançando r = 0.77 e um ganho de +4.9 pp na taxa de resolução de problemas.
• Aceleração de RL (PPO):
  • Em treinamento online com PPO, o ADARUBRIC acelerou a convergência, alcançando +6.6 pp de vantagem em 5.000 passos em comparação com recompensas escalares estáticas.
• Confiabilidade:
  • O sistema atingiu um alfa de Krippendorff de 0.83, atendendo ao critério de implantação rigoroso.

5. Significado e Impacto

O ADARUBRIC representa uma mudança de paradigma na avaliação de agentes de IA:

• Da Estática para a Dinâmica: Demonstra que a eficácia da avaliação depende da adaptação das dimensões à tarefa, não apenas da força do modelo avaliador.
• Qualidade de Dados para RLHF/DPO: Ao fornecer recompensas densas, confiáveis e livres de viés de dimensão, o framework permite o treinamento de agentes mais robustos e alinhados, superando as limitações de dados de preferência gerados por rubricas genéricas.
• Padrão de Implantação: A introdução de métricas de confiabilidade (Krippendorff's $\alpha$) e filtros de qualidade (DimensionAwareFilter) oferece um protocolo rigoroso para o uso de LLMs como avaliadores em cenários de produção.
• Versatilidade: A capacidade de generalizar para domínios não vistos (como engenharia de software) sem reconfiguração manual sugere que o método captura princípios fundamentais de "raciocínio direcionado a objetivos".

Em suma, o ADARUBRIC fecha a lacuna entre a avaliação teórica e as necessidades práticas de agentes complexos, fornecendo um mecanismo escalável e preciso para melhorar o desempenho de agentes de LLM através de feedback de alta qualidade.