Resumo Técnico: Avaliando o Avaliador: Lições da Avaliação de um Sistema de Análise de Dados Agêntico

Declaração do Problema

Sistemas agênticos de análise de dados, como frameworks de LLM multiagentes, geram saídas ricas e de múltiplas etapas que compreendem código, logs de execução, estatísticas intermediárias e diagnósticos verbais. Essa complexidade cria um desafio significativo para a avaliação automatizada: distinguir desacordos genuínos entre a saída de um agente e uma resposta de referência (ground-truth) de "artefatos de graduação" causados por falhas de extração ou mecanismos de pontuação rígidos.

Benchmarks atuais, como o DSGym, frequentemente dependem de avaliadores de correspondência exata simples que tratam pequenas diferenças de formatação (ex: "0,2" vs. "0,20") como erros, levando a falsos negativos. Essa dificuldade estrutural é exacerbada pela natureza estocástica e de múltiplas etapas dos fluxos de trabalho agênticos, onde a "saída correta" nem sempre é um único escalar, mas sim um pipeline complexo. O artigo aborda a necessidade de um framework de avaliação rigoroso e reprodutível que possa avaliar esses sistemas de forma confiável sem confundir erros do agente com limitações do avaliador.

Metodologia

O estudo utiliza o LAMBDA, um assistente de ciência de dados multiagente de código aberto, avaliado em 153 tarefas numéricas de QRData do DSGym. O pipeline de avaliação é projetado para isolar e melhorar a confiabilidade da graduação através dos seguintes componentes:

1. Wrapper de Dois Ciclos com Instrumentação

O LAMBDA foi integrado a um wrapper Python customizado apresentando dois loops aninhados:

• Ciclo Interno: Executa o ciclo padrão de programador-inspetor (até 3 iterações) para resolver erros de execução de código.
• Ciclo Externo: Lida com respostas ausentes ou ambíguas. Se nenhum escalar for detectado ou se houver muitos candidatos, o sistema emite um nudge (um prompt de acompanhamento) para guiar o agente em direção a uma resposta numérica única e limpa. Este ciclo permite até 2 nudges por tarefa.
• Instrumentação: Cada etapa é registrada, incluindo tipo de instrução, tempo decorrido, status de erro e uma "pontuação de ancoragem" que mede a sobreposição de palavras-chave entre a vez do agente e a pergunta original.

2. Estratégias de Extração de Resposta

Dois pipelines de extração distintos foram comparados:

• Parser Heurístico (Baseline): Escaneia o texto e seleciona o último valor numérico encontrado.
• Pipeline Ancorado por Palavras-Chave: Um processo de três estágios:
  1. Identificação de Região: Segmenta a saída em blocos, pontuando-os com base na sobreposição de palavras-chave com a pergunta e na presença de frases indicadoras de resposta (ex: "a resposta é").
  2. Extração de Múltiplos Números: Extrai todos os números do bloco com maior pontuação, filtrando números de linha e índices de arrays.
  3. Gatilho de Ambiguidade: Se restarem mais de três candidatos, um nudge é acionado.

3. Cascata de Graduação de Três Camadas

Para avaliar o desempenho, foi empregado um sistema de graduação hierárquico:

1. Graduador Estrito: Utiliza correspondência regex com uma tolerância relativa de 2% ($rtol=0,02$) no escalar extraído.
2. Graduador Leniente: Se o graduador estrito falhar, um LLM (GPT-4o-mini) extrai semanticamente a resposta pretendida da saída completa e a compara com a referência usando uma tolerância de 3%.
3. Inspeção Humana: Um revisor humano audita trechos de 100 caracteres para triagem e realiza revisões de transcrição completa para atribuir o rótulo final de "acordo com a referência". Este rótulo humano serve como o padrão ouro para avaliar os graduadores automatizados.

4. Variações Experimentais

O estudo comparou dois modos de nudge para determinar se a reinjeção da pergunta original auxilia na recuperação:

• Modo A: Instrução de formato de resposta + Reinjeção da pergunta original.
• Modo B: Apenas instrução de formato de resposta.

Principais Contribuições

O artigo apresenta cinco contribuições primárias:

1. Framework de Avaliação com Nudging: Um wrapper de dois loops adapta agentes conversacionais para benchmarks de disparo único (single-shot). O nudging iterativo aumentou o sucesso da execução da graduação de 36% para 97% e as taxas de aprovação leniente de 16% para 46%.
2. Graduação de Três Camadas com Calibragem Humana: Uma cascata combinando estratégias não-GenAI (regex/palavras-chave) e GenAI (LLM). Ambos os graduadores automatizados alcançaram 100% de precisão observada (0 falsos positivos). O graduador leniente alcançou 97% de recall (70/72 correspondências) contra os rótulos humanos. Auditorias de trechos humanos confirmaram 89% dos resultados de graduação automática.
3. Interação Parsing-Graduação: Um pipeline de extração ancorado por palavras-chave melhorou o recall do graduador estrito em 60 pontos percentuais (de 26% para 86%) em comparação com o heurístico de último número. Descobriu-se que o graduador leniente é arquiteturalmente independente do parser.
4. Covariáveis de Tarefa como Sinais Interpretativos: A análise dos metadados das tarefas revelou que o tipo de variável (categórica, contínua, mista) é a única covariável consistentemente associada à dinâmica de graduação. Tarefas categóricas foram mais difíceis de extrair, mas tiveram maior acordo com a referência; tarefas contínuas foram mais fáceis de graduar, mas produziram mais discrepâncias devido a variações metodológicas.
5. Resultado Negativo sobre Reinjeção de Prompt: Comparar os modos de nudge mostrou que a reinjeção da pergunta original não ofereceu benefício para estas tarefas curtas. O nudge serve primariamente como uma dica de formato de resposta, pois o agente retém o estado computacional internamente.

Resultados

• Acordo com a Referência: A inspeção humana determinou que 72 de 153 tarefas (47,1%) coincidiram com a referência.
• Desempenho do Graduador:
  • Graduador Estrito (Heurístico): 26% de recall.
  • Graduador Estrito (Ancorado por Palavras-Chave): 86% de recall.
  • Graduador Leniente: 97% de recall.
  • Precisão: Todas as configurações alcançaram 100% de precisão observada.
• Eficácia do Nudge: 98 tarefas (64%) acionaram pelo menos um nudge. Das 94 tarefas que recuperaram via nudge, 78 (83%) não tinham um escalar detectável na saída pré-nudge, indicando que o nudge atua primariamente como uma dica de formatação, não como uma correção computacional.
• Dinâmica de Tipo de Variável:
  • Tarefas Categóricas: Altamente dependentes de nudge (79%), mas alcançaram a maior taxa de aprovação estrita (80%).
  • Tarefas Contínuas: Maior taxa de execução "limpa" (42%), mas menor taxa de aprovação estrita (76%), frequentemente devido a diferenças metodológicas (ex: valores-p unilaterais vs. bilaterais) que a comparação escalar não consegue diagnosticar.

Significância e Alegações

O artigo argumenta que avaliar sistemas agênticos de análise de dados é, por si só, uma tarefa de análise de dados que requer um fluxo de trabalho estatístico iterativo e de múltiplas perspectivas. Sua significância reside em:

• Desentranhamento de Erros: Demonstrar que as "notas de resultado" são um composto do desempenho do agente e da capacidade do graduador. Sem calibração humana, métricas automatizadas podem levar desenvolvedores a otimizar para os fatores errados.
• Estratégias Práticas: Fornecer um framework reutilizável (nudging, parsing ancorado por palavras-chave e graduação leniente baseada em LLM) que se estende a configurações de avaliação mais ricas além de escalares únicos.
• Colaboração Humano-IA: Propor um protocolo de inspeção humana de baixo custo (triagem baseada em trechos) que atinge 89% de concordância com revisões completas, permitindo auditorias escaláveis.
• Escopo Modesto: Os autores declaram explicitamente que estes achados são evidências de um estudo de caso específico (LAMBDA no QRData) e não devem ser generalizados como uma afirmação universal sobre a dificuldade de tarefas em todos os sistemas de IA agêntica. Eles destacam limitações, como a dependência do parsing ancorado por palavras-chave em relação à sobreposição lexical e o potencial de vieses de mesma família entre o agente e o graduador leniente.

O trabalho enfatiza que, embora as referências escalares forneçam uma base rigorosa, a avaliação de agentes de análise de dados deve eventualmente abordar as etapas de raciocínio intermediárias (limpeza, transformação, especificação), onde pequenas diferenças metodológicas podem gerar resultados materialmente diferentes, porém defensáveis.