One-Eval: An Agentic System for Automated and Traceable LLM Evaluation

O artigo apresenta o One-Eval, um sistema agêntico que automatiza e torna rastreável a avaliação de modelos de linguagem grandes, convertendo solicitações em linguagem natural em fluxos de trabalho executáveis e personalizáveis para reduzir o esforço manual e aumentar a reprodutibilidade em ambientes industriais.

O essencial

Imagine que você é um gerente de uma grande empresa e precisa contratar um novo funcionário (neste caso, um Modelo de Inteligência Artificial). Antes de contratá-lo, você precisa fazer uma entrevista, um teste de raciocínio e verificar se ele sabe fazer o trabalho.

No mundo da tecnologia atual, fazer esses testes em modelos de linguagem (como o ChatGPT ou o Qwen) é como tentar montar um quebra-cabeça gigante, mas com peças de tamanhos diferentes, em caixas diferentes e com instruções em línguas diferentes. O pesquisador precisa:

1. Encontrar o teste certo.
2. Baixar os dados manualmente.
3. Ajustar as configurações para que o computador entenda.
4. Ler os resultados e tentar descobrir o que eles significam.

Isso é chato, demorado e cheio de erros.

O que é o One-Eval?

O One-Eval é como se fosse um assistente pessoal superinteligente e organizado que faz todo esse trabalho sujo por você. Em vez de você ter que montar o quebra-cabeça, você apenas diz ao assistente: "Quero testar a inteligência matemática do meu modelo e ver onde ele erra".

Aqui está como ele funciona, usando uma analogia de uma Cozinha de Restaurante de Alta Tecnologia:

1. O Pedido (NL2Bench)

Você chega no balcão e diz: "Quero um prato que teste a criatividade e a lógica".

• O problema antigo: O cozinheiro teria que procurar em 100 livros de receitas diferentes, tentar entender qual ingrediente usar e como cortar.
• O One-Eval: O "Chefe de Cozinha" (o agente NL2Bench) ouve seu pedido, entende que você quer "criatividade e lógica", e imediatamente sugere: "Ok, vamos usar o teste de 'Resolução de Problemas' e o teste de 'Histórias Criativas' que temos na despensa". Ele transforma sua frase solta em um plano de ação claro.

2. A Preparação (BenchResolve)

Agora que o plano está feito, precisamos pegar os ingredientes.

• O problema antigo: Às vezes, o ingrediente "farinha" está em um pacote de 1kg, às vezes em 500g, e às vezes o nome é diferente. O cozinheiro teria que medir tudo manualmente.
• O One-Eval: O "Garçom Robô" (o agente BenchResolve) vai até a despensa (a internet e bancos de dados), pega os pacotes, abre, mede tudo para o tamanho padrão da cozinha e coloca na tigela certa. Ele garante que, não importa de onde veio o ingrediente, ele estará pronto para ser usado sem que você precise tocar em nada.

3. O Prato e o Relatório (Metrics & Reporting)

O modelo "come" o teste e produz uma resposta. Agora, como saber se foi bom?

• O problema antigo: O cozinheiro te entrega um papel com apenas um número: "Nota: 7,5". Você não sabe se ele errou na salada, no tempero ou no cozimento.
• O One-Eval: O "Crítico Gastronômico" (o agente de Relatórios) não te dá apenas uma nota. Ele te entrega um relatório detalhado: "O modelo acertou 90% das contas, mas errou quando a pergunta tinha duas partes. Aqui estão 3 exemplos de onde ele errou e por que errou. Sugiro treinar mais na parte de lógica complexa."

O "Segurança Humano" (Human-in-the-Loop)

O sistema é inteligente, mas não é onisciente. Em momentos importantes (como escolher qual teste usar), ele para e pergunta: "Ei, você tem certeza que quer usar este teste difícil? Posso ajustar algo?".
É como se o assistente dissesse: "Vou preparar o jantar, mas antes de acender o fogo, confirme se você não é alérgico a castanhas". Isso garante que você tenha o controle total, mas sem ter que fazer o trabalho braçal.

Por que isso é importante?

Hoje, testar uma IA é como tentar dirigir um carro de Fórmula 1 sem volante, apenas empurrando-o. O One-Eval coloca o volante, o acelerador e o GPS na mão do piloto.

• Rastreável: Se algo der errado, você pode olhar o "diário de bordo" e ver exatamente o que o robô fez.
• Automático: Você pede, ele faz, ele entrega o resultado pronto para tomada de decisão.
• Útil para empresas: Em vez de apenas ver uma nota na prancheta, as empresas podem tomar decisões reais, como "Vamos lançar este modelo" ou "Precisamos corrigir esse erro de lógica antes".

Em resumo, o One-Eval transforma a avaliação de Inteligência Artificial de um "burocracia técnica chata" em um processo simples, transparente e focado em resolver problemas reais.

Resumo técnico

Título: One-Eval: Um Sistema Agente para Avaliação Automatizada e Rastreável de LLMs

1. O Problema

A avaliação de Modelos de Linguagem Grandes (LLMs) é fundamental para seu desenvolvimento e implantação industrial, mas os fluxos de trabalho atuais enfrentam desafios significativos:

• Alta Dependência de Esforço Manual: Os praticantes precisam identificar benchmarks apropriados, reproduzir repositórios de código heterogêneos, configurar mapeamentos de esquema de dados e interpretar métricas agregadas manualmente.
• Falta de Flexibilidade e Usabilidade: As ferramentas existentes (como lm-eval-harness ou OpenCompass) geralmente assumem tarefas, benchmarks e métricas pré-definidos. Elas exigem que o usuário mapeie manualmente objetivos de avaliação abstratos para configurações concretas.
• Resultados Limitados: As saídas de avaliação são frequentemente restritas a métricas escalares isoladas (ex: uma única pontuação de precisão), o que é insuficiente para apoiar decisões industriais complexas, como seleção de modelos, prontidão para implantação e avaliação de riscos.
• Falta de Rastreabilidade: A depuração e auditoria de resultados são difíceis devido à ausência de trilhas de evidência claras sobre como os dados foram processados e quais configurações foram usadas.

2. Metodologia: O Sistema One-Eval

O One-Eval é um framework de avaliação baseado em agentes (agentic) que transforma solicitações de avaliação em linguagem natural em fluxos de trabalho executáveis, verificáveis e personalizáveis. O sistema segue um pipeline modular de três estágios principais, integrando um mecanismo de humano-no-loop para revisão e validação.

A. Componentes Principais

1. NL2Bench (Estruturação de Intenção e Planejamento):

   • Função: Traduz solicitações em linguagem natural em uma representação estruturada de intenção e recomenda benchmarks adequados.
   • Mecanismo:
     • Estruturação de Intenção: Decompõe o pedido do usuário em domínio, capacidades, benchmarks explícitos e restrições.
     • Recuperação de Candidatos: Busca em uma galeria local de 77 benchmarks curados e, se necessário, realiza busca ao vivo no HuggingFace Hub. Utiliza modos de recuperação baseados em embeddings (para precisão semântica) e TF-IDF (para recall).
     • Seleção: Escolhe um subconjunto compacto de benchmarks que alinham com a intenção do usuário, evitando redundância e garantindo executabilidade.

2. BenchResolve (Resolução de Benchmark e Configuração):

   • Função: Converte o plano de benchmark nominal em configurações executáveis e reproduzíveis.
   • Mecanismo:
     • Resolução Hierárquica: Prioriza um registro local de configurações validadas por especialistas para benchmarks de alta frequência. Para outros, recorre dinamicamente ao HuggingFace para baixar dados e metadados.
     • Normalização de Esquema: Transforma dados heterogêneos (diferentes nomes de colunas, formatos de entrada/saída) em uma interface unificada (BenchInfo). Isso inclui mapeamento de chaves (ex: mapear "question" para "input" e "answer" para "target").
     • Validação: Garante que os splits (conjuntos de dados) e configurações existam antes da execução.

3. Métricas e Relatórios (Recomendação e Geração de Relatórios):

   • Função: Seleciona métricas baseadas na tarefa e gera relatórios orientados à decisão, indo além de pontuações simples.
   • Mecanismo:
     • Recomendação de Métricas em Dupla Trilha: Combina configurações estáticas (se definidas no metadado) com raciocínio semântico do agente para inferir métricas adequadas para tarefas não configuradas.
     • Relatórios Hierárquicos: Gera três visões:
       1. Macro: Perfil de capacidade (ex: gráficos de radar).
       2. Diagnóstico: Análise de causa raiz (ex: alucinações vs. erros de instrução).
       3. Micro: Análise de casos específicos com exemplos de falhas.
     • Métricas Especializadas: Inclui métricas customizadas para detectar falhas específicas (ex: equivalência simbólica em matemática, conformidade de formato).

B. Mecanismo Humano-no-Loop

O sistema integra pontos de interrupção onde o usuário pode revisar o plano de benchmark, editar configurações, aprovar decisões ou reverter ações. Isso garante que a automação permaneça alinhada com os objetivos do avaliador, mantendo a eficiência sem sacrificar o controle.

3. Contribuições Chave

• Paradigma de Avaliação Orientado a Intenção: É a primeira abordagem que trata a avaliação de modelos como um processo de decisão end-to-end dirigido por agente, transformando linguagem natural em pipelines executáveis.
• Rastreabilidade e Auditabilidade: O sistema preserva trilhas de evidência detalhadas (identificadores resolvidos, mapeamentos de esquema, caminhos de cache e decisões de configuração), permitindo a reprodução exata e a auditoria de resultados.
• Relatórios Orientados à Decisão: Substitui métricas escalares isoladas por relatórios estruturados que fornecem sinais acionáveis para engenheiros e gestores de produto.
• Flexibilidade Industrial: Suporta benchmarks de cauda longa (long-tail) e fontes heterogêneas através de resolução dinâmica e normalização automática de dados.

4. Resultados Experimentais

Os autores avaliaram o One-Eval sob uma perspectiva de usabilidade industrial e confiabilidade:

• Taxa de Sucesso End-to-End: Em um conjunto de 100 solicitações de avaliação em linguagem natural (abrangendo raciocínio, matemática, código, segurança, etc.):
  • 99% das solicitações resultaram em um plano executável (o sistema conseguiu interpretar a intenção e recuperar pelo menos um benchmark).
  • 85% das solicitações foram concluídas automaticamente até a configuração completa (incluindo inferência de split e mapeamento de chaves) sem erros que exigissem intervenção humana.
  • 84% atingiram a taxa de plano completo, incluindo inferência de tipo de tarefa e recomendação de métricas.
• Eficiência: O pipeline de 8 etapas completou-se em uma mediana de aproximadamente 11,4 minutos por solicitação.
• Comparação de Recursos: O One-Eval superou frameworks existentes (como lm-eval-harness, OpenCompass e HELM) na capacidade de oferecer automação ponta a ponta, recomendação de benchmarks baseada em intenção e recomendação automática de métricas.

5. Significado e Impacto

O One-Eval representa um avanço significativo na maturidade da avaliação de LLMs para cenários industriais:

• Redução de Fricção: Elimina a barreira técnica de configurar ambientes de avaliação complexos, permitindo que equipes de produto e engenharia realizem avaliações robustas com esforço mínimo.
• Decisões Baseadas em Evidências: Ao fornecer diagnósticos detalhados e trilhas de auditoria, o sistema transforma a avaliação de uma tarefa de "pontuação" para uma ferramenta de gestão de risco e melhoria contínua de modelos.
• Reprodutibilidade: A capacidade de rastrear exatamente quais dados e configurações foram usados em cada avaliação resolve um problema crônico de inconsistência em pesquisas e implantações de IA.
• Escalabilidade: A arquitetura baseada em agentes permite que o sistema se adapte a novos benchmarks e requisitos de avaliação sem reescrever o código central, suportando a evolução rápida do ecossistema de LLMs.

Em resumo, o One-Eval preenche a lacuna entre a intenção do usuário e a execução técnica, oferecendo um framework robusto, automatizado e auditável para a próxima geração de avaliação de modelos de linguagem.