EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair

O artigo apresenta o EigenData, uma plataforma multiagente autônoma e autoevolutiva que automatiza a síntese, auditoria e reparo de dados para chamadas de função, demonstrando sua eficácia ao corrigir sistematicamente o benchmark BFCL-V3 e introduzir métricas de avaliação baseadas no estado do banco de dados que melhor se correlacionam com julgamentos humanos de correção funcional.

O essencial

Imagine que você quer ensinar um robô superinteligente (uma Inteligência Artificial) a ser um detetive particular ou um agente de viagens. Para ele aprender a fazer isso bem, você precisa de milhões de histórias de casos resolvidos, onde o robô usa ferramentas certas, no momento certo, para chegar ao resultado correto.

O problema é que, até hoje, criar essas histórias era como tentar escrever um livro inteiro de cabeça, sozinho, sem erros. Era caro, lento e cheio de falhas.

Aqui entra o EigenData.

O Que é o EigenData?

Pense no EigenData não como um simples gerador de texto, mas como uma fábrica autônoma e autoconsertável de treinamento para robôs. É uma plataforma onde várias "IA especializadas" trabalham juntas para criar, testar e consertar o material de estudo dos robôs.

A fábrica é dividida em três departamentos principais, coordenados por um Chefe de Obra chamado EigenCore:

1. O Arquiteto de Dados (DatabaseAgent):

   • O que faz: Antes de o robô resolver um problema, ele precisa de um "cenário". Se o robô vai reservar voos, o Arquiteto cria um banco de dados com voos reais, preços, assentos e passageiros.
   • Analogia: É como o cenógrafo que monta o cenário de um filme. Ele garante que o avião no hangar tenha combustível, que o passageiro tenha passagem comprada e que nada esteja "quebrado" antes da cena começar.

2. O Engenheiro de Código (CodingAgent):

   • O que faz: Ele escreve o código que faz as ferramentas funcionarem. Se o robô precisa "cancelar uma reserva", o Engenheiro cria o botão e a lógica que apaga a reserva de verdade.
   • O diferencial: Ele não apenas escreve o código; ele é um inspetor de qualidade maníaco. Ele cria testes, tenta "quebrar" o código que ele mesmo fez, conserta os erros e só deixa passar quando o código funciona perfeitamente. É como um chef que prova a comida, ajusta o sal, e prova de novo antes de servir.

3. O Roteirista (DataAgent):

   • O que faz: Ele cria as conversas (os diálogos) entre o usuário e o robô. Ele inventa situações complexas: "O cliente está furioso, o voo foi cancelado e ele quer um reembolso imediato".
   • O diferencial: Ele usa um processo de auto-evolução. Ele escreve um roteiro, um "juiz" (outra IA) critica, o roteirista melhora, e o juiz critica de novo, até que o roteiro seja perfeito. Ele também sabe identificar onde o roteiro está ruim e conserta apenas aquela parte, sem precisar reescrever tudo.

O Grande Teste: O Caso do "Berkeley" (BFCL)

Os autores usaram essa fábrica para consertar um dos testes mais famosos do mundo para robôs, chamado BFCL (Berkeley Function-Calling Leaderboard).

Imagine que esse teste era como uma prova de matemática que tinha 71,5% das questões erradas.

• Às vezes, a pergunta dizia "use um número inteiro", mas a resposta esperada era uma "palavra".
• Às vezes, o código da ferramenta tinha um bug que fazia o robô ser punido mesmo quando estava certo.
• Às vezes, a resposta "correta" do gabarito estava errada.

O que o EigenData fez?
Ele entrou na prova, identificou todos os erros, corrigiu o código das ferramentas, ajustou as perguntas e reescreveu as respostas corretas.

O Resultado Surpreendente

Depois que o EigenData consertou a prova, algo mágico aconteceu:

• A classificação dos robôs mudou. Alguns robôs que pareciam ótimos na prova original (porque a prova tinha "pegadinhas" que eles adivinharam) caíram de lugar. Outros que pareciam ruins, mas eram inteligentes, subiram no ranking.
• A prova agora reflete a realidade. A nova classificação bateu de frente com o que humanos reais acham: "Este robô realmente resolveu o problema do cliente?".

Por que isso é importante?

Antes, os robôs eram treinados para "adivinhar a resposta do professor" (o gabarito). Agora, com o EigenData, eles são treinados para resolver o problema real.

É a diferença entre um aluno que decora a resposta certa de um livro de exercícios cheio de erros, e um aluno que aprendeu a pensar, usar as ferramentas corretamente e chegar ao resultado certo, não importa como a pergunta seja feita.

Em resumo: O EigenData é uma equipe de IA que constrói, testa e conserta o próprio material de ensino, garantindo que os robôs do futuro aprendam com exemplos perfeitos, e não com erros humanos.

Resumo técnico

Resumo Técnico: EigenData

1. O Problema

Os agentes de chamada de função (LLMs que invocam ferramentas e APIs) dependem criticamente de dados de treinamento de alta qualidade, específicos de domínio e que abranjam ambientes executáveis, bancos de dados de suporte e trajetórias multi-turno. No entanto, o estado atual enfrenta três desafios principais:

• Dependência de Anotação Humana: A criação de dados de alta qualidade é lenta, cara e difícil de escalar, exigindo que anotadores entendam esquemas complexos e mantenham consistência global.
• Fragilidade de Dados Sintéticos Existentes: Pipelines automatizadas atuais (como BFCL, TOUCAN) frequentemente produzem dados com "bugs" de esquema (definições incorretas), intenções de usuário ambíguas e métricas de avaliação fracas (baseadas apenas na correspondência de chamadas de função, ignorando o estado final do sistema).
• Inconsistências em Benchmarks: Benchmarks populares, como o Berkeley Function-Calling Leaderboard (BFCL), contêm erros sistemáticos em esquemas, implementações de código e trajetórias de referência, levando a rankings de modelos distorcidos que não refletem a verdadeira capacidade funcional.

2. Metodologia: A Plataforma EigenData

O EigenData é uma plataforma integrada e auto-evolutiva que automatiza todo o ciclo de vida dos dados de chamada de função através de uma arquitetura multi-agente. O sistema é coordenado por um módulo principal, o EigenCore, que orquestra três subsistemas especializados:

• EigenCore (Orquestrador de Nível Superior):

  • Recebe solicitações em linguagem natural (ex: "gerar dados de treinamento" ou "auditar o benchmark BFCL").
  • Decompõe tarefas em um grafo de dependências e coordena o fluxo entre os subsistemas.
  • Gerencia feedback cruzado: se um subsistema detecta inconsistências (ex: um ambiente gerado referencia campos de banco de dados inexistentes), ele solicita correções direcionadas ao subsistema upstream sem reiniciar todo o pipeline.

• DatabaseAgent (Construção de Banco de Dados):

  • Constrói bancos de dados realistas e internamente consistentes (tabelas relacionais, JSON, etc.) que servem como o "estado ground-truth".
  • Utiliza agentes para design de esquema, validação e preenchimento de dados com estratégias de amostragem conscientes de restrições e injeção de casos de borda.

• CodingAgent (Geração de Ambiente Executável):

  • Gera a camada de código executável (implementações de ferramentas, APIs REST, servidores MCP) baseada no banco de dados.
  • Emprega um fluxo de trabalho iterativo de geração-teste-debug com dois estágios:
    1. Testes Unitários: Para cada função, gera testes, implementa o código e entra em um loop de depuração guiado por um JudgeAgent (que decide se o erro está no código ou no teste).
    2. Testes de Fluxo de Trabalho: Valida a integração entre funções dependentes.
  • Garante que todos os artefatos sejam funcionalmente corretos antes de entrarem no pipeline de dados.

• DataAgent (Síntese de Trajetórias Multi-Turno):

  • Opera sobre os ambientes e bancos de dados gerados para sintetizar, avaliar e refinar trajetórias de diálogo.
  • Utiliza uma hierarquia de agentes trabalhadores (ex: UserSimulatorAgent, TrajectoryAgent, VerificationAgent) para criar diálogos realistas.
  • Processo de Auto-Evolução em Duas Fases:
    1. Otimização de Prompt: Refina prompts em um pequeno lote piloto usando feedback de julgamento iterativo.
    2. Geração em Escala: Gera o conjunto de dados completo com monitoramento contínuo de qualidade.
  • Inclui mecanismos de reparo cirúrgico: identifica turnos problemáticos em diálogos existentes e regenera apenas as partes afetadas, preservando o contexto válido.

3. Contribuições Principais

1. Infraestrutura End-to-End: Apresentação de um sistema capaz de construir todo o ambiente de treinamento (banco de dados + código + trajetórias) e auditá-lo/repará-lo, superando pipelines lineares e estáticos.
2. Protocolo de Avaliação Consciente de Resultados (Outcome-Aware): Introdução de uma métrica que avalia o sucesso da tarefa com base na correção do estado do banco de dados e não apenas na correspondência exata da sequência de chamadas de função. Isso permite aceitar sequências de chamadas funcionalmente equivalentes.
3. Correção do Benchmark BFCL-V3: Aplicação da plataforma para auditar e reparar o Berkeley Function-Calling Leaderboard, identificando e corrigindo erros em esquemas, implementações e trajetórias de referência.
4. Interface de Linha de Comando (CLI): Disponibilização de uma ferramenta CLI para que praticantes possam gerar dados, refinar esquemas e reparar benchmarks de forma programática.

4. Resultados

O estudo de caso no BFCL-V3 (subconjunto de 200 casos multi-turno) revelou os seguintes resultados:

• Descoberta de Erros: A auditoria automática identificou que 71,5% das entradas (143 de 200) continham erros:
  • 19,5% em esquemas de função (ex: tipos de parâmetro incompatíveis).
  • 45,5% em implementações de função (ex: bugs de lógica que penalizam saídas corretas).
  • 41,0% em trajetórias e avaliação (ex: rótulos de ground-truth incorretos ou avaliações excessivamente rígidas).
• Correção e Reavaliação: Após o reparo automático via EigenData, o benchmark foi reavaliado.
  • Inversão de Ranking: O benchmark original apresentava rankings distorcidos. Por exemplo, o modelo GPT-5.2 tinha uma pontuação baixa no original (28,12%) mas obteve 65,0% de aprovação na avaliação humana no benchmark reparado. Inversamente, o GLM-4.6 tinha a maior pontuação original (68,00%) mas caiu para o 4º lugar na avaliação humana (54,8%).
  • Correlação Humana: A métrica automatizada "All Three" (Configuração + Função Chave + Julgamento LLM) no benchmark reparado mostrou uma correlação substancialmente melhor com os julgamentos humanos de correção funcional do que o benchmark original.
  • Validação de Métricas: A análise mostrou que métricas unidimensionais escondem falhas; a combinação de métricas revela modos de falha independentes (ex: invocar a função certa com configuração errada).

5. Significado e Impacto

O EigenData demonstra que a qualidade dos dados e a confiabilidade dos benchmarks são tão críticas quanto a arquitetura dos modelos de IA.

• Mudança de Paradigma: Move o foco da simples geração de dados sintéticos para a criação de ambientes de treinamento verificados e auto-corretivos.
• Confiabilidade de Benchmarks: Evidencia que muitos rankings atuais podem estar baseados em artefatos de avaliação defeituosos, e que a correção sistemática desses artefatos é necessária para medir o progresso real da IA.
• Escalabilidade: A abordagem multi-agente permite escalar a criação e manutenção de dados complexos de forma mais eficiente e barata do que a anotação humana, ao mesmo tempo em que mantém rigor na qualidade através de verificação programática e feedback iterativo.

Em resumo, o EigenData não apenas gera dados, mas atua como um sistema de garantia de qualidade que evolui junto com os dados, garantindo que os benchmarks e conjuntos de treinamento reflitam fielmente a capacidade funcional dos agentes em cenários do mundo real.