Generating Expressive and Customizable Evals for Timeseries Data Analysis Agents with AgentFuel

O artigo apresenta o AgentFuel, uma ferramenta que permite a especialistas de domínio gerar avaliações personalizadas e expressivas para agentes de análise de dados temporais, identificando lacunas críticas nos sistemas atuais e demonstrando melhorias de desempenho ao utilizar benchmarks específicos.

O essencial

Imagine que você tem um assistente de dados superinteligente, um "robô analista" que promete responder a qualquer pergunta sobre os números da sua empresa apenas com uma conversa de voz. Você diz: "Ei, robô, quantos clientes abandonaram o carrinho de compras depois de verem o produto por mais de 5 minutos?" e ele deveria te dar a resposta exata.

O problema é que, na vida real, esses robôs são como estudantes que tiraram 10 na prova de matemática básica, mas travam completamente quando a pergunta envolve uma história complexa ou um evento de emergência.

Aqui está o resumo do papel "AgentFuel" explicado de forma simples:

1. O Problema: O Robô que Esquece o Contexto

Os autores do estudo testaram vários desses "robôs analistas" (como Databricks Genie, Snowflake Cortex, etc.) em cenários do mundo real:

• E-commerce: Analisar o comportamento de usuários.
• IoT (Internet das Coisas): Monitorar sensores de temperatura e pressão.
• Telecomunicações: Detectar falhas em redes de celular.

O que eles descobriram?
Os robôs são ótimos em perguntas simples e diretas, como "Qual foi a média de vendas ontem?". Mas, quando a pergunta exige memória (o que aconteceu antes e depois?) ou detecção de incidentes (algo estranho aconteceu?), eles falham miseravelmente.

• Analogia: É como pedir para um motorista de táxi que só sabe dirigir em linha reta. Se você pedir para ir ao centro, ele vai. Mas se você disser: "Vá até o centro, mas se vir um acidente na avenida 5, desvie e me diga quantos carros pararam antes do acidente", o motorista entra em pânico e dá uma resposta errada. Ele não consegue conectar os pontos no tempo.

2. A Causa: Os Testes Atuais são "Falsos"

Por que esses robôs são tão ruins? Porque os testes usados para avaliá-los (chamados de benchmarks) são como provas de escola muito fáceis e desatualizadas.

• Eles usam dados genéricos que não parecem com o caos do mundo real.
• Eles fazem perguntas que não exigem que o robô entenda a "história" dos dados (o estado das coisas ao longo do tempo).

É como treinar um jogador de futebol apenas chutando a bola parada na marca do pênalti e depois esperar que ele jogue uma partida contra a seleção mundial. Ele vai falhar porque o treino não era realista.

3. A Solução: O "AgentFuel" (O Combustível para Treinar Robôs)

A equipe criou uma ferramenta chamada AgentFuel. Pense nela como uma fábrica de cenários de treinamento personalizados.

Em vez de usar testes genéricos, o AgentFuel permite que um especialista humano (como um engenheiro de telecomunicações ou um analista de e-commerce) diga ao sistema:

1. "Crie dados que pareçam com os meus": O sistema gera dados sintéticos (falsos, mas realistas) que imitam exatamente o seu negócio, incluindo falhas, picos de uso e comportamentos estranhos.
2. "Crie perguntas difíceis e específicas": O sistema gera perguntas que exigem que o robô entenda sequências (ex: "O sensor falhou 10 minutos depois de a temperatura subir?") e não apenas números soltos.
3. "Teste o robô": O robô tenta responder a essas perguntas novas. Se ele errar, os desenvolvedores sabem exatamente onde melhorar.

Analogia do Chef:
Imagine que você é um chef. Antes de abrir seu restaurante, você não testa seus pratos apenas com água e sal. Você cria um menu de degustação com ingredientes específicos, temperos complexos e pratos que exigem técnica. O AgentFuel é esse menu de degustação que permite que o "chef" (o robô) pratique antes de atender os clientes reais.

4. O Resultado: Melhoria Real

Quando os autores usaram o AgentFuel para treinar e ajustar os robôs:

• Eles descobriram que os robôs, que antes acertavam apenas 10% das perguntas complexas, melhoraram significativamente.
• Ao usar as perguntas do AgentFuel para "refinar" o cérebro do robô (ajustando suas instruções), a precisão aumentou em 17%.

Resumo Final

O papel diz que, para ter robôs de dados que realmente funcionem no mundo real (onde as coisas mudam, quebram e acontecem em sequência), precisamos parar de usá-los em testes de "prova de escola" e começar a treiná-los com cenários realistas e personalizados.

O AgentFuel é a ferramenta que permite criar esses cenários de treinamento, garantindo que, quando você perguntar ao seu robô sobre um incidente complexo, ele não apenas dê uma resposta, mas a resposta correta.

Resumo técnico

Título: Gerando Avaliações Expressivas e Customizáveis para Agentes de Análise de Séries Temporais com AgentFuel

1. Problema e Motivação

A adoção de agentes de análise de dados conversacionais ("fale com seus dados") está crescendo em domínios críticos como IoT, observabilidade, telecomunicações e cibersegurança. No entanto, a confiabilidade desses agentes em cenários do mundo real permanece uma grande preocupação.

O artigo identifica uma lacuna crítica nas avaliações atuais (benchmarks) para agentes de dados:

• Foco em Consultas "Stateless" (Sem Estado): Benchmarks existentes (como Spider2-Snow, BIRD) são majoritariamente compostos por consultas estáticas que exigem apenas uma única busca ou agregação em um snapshot fixo de dados.
• Falta de Contexto Temporal e de Incidentes: Praticantes em domínios de séries temporais necessitam de consultas stateful (que dependem da sequência e timing de eventos, ex: "o usuário abandonou o carrinho 10 minutos após adicionar 3 itens?") e consultas específicas de incidentes (ex: "detectar picos anômalos de tráfego após o download de um arquivo malicioso").
• Falha dos Agentes Atuais: Os autores constataram que, embora os agentes de ponta (SOTA) tenham bom desempenho em benchmarks genéricos, eles falham consistentemente (com precisão na faixa de 10%) em consultas stateful e específicas de incidentes em dados de domínio real, produzindo respostas inconsistentes ou incorretas.

2. Metodologia: O Sistema AgentFuel

Para preencher essa lacuna, os autores apresentam o AgentFuel, um framework de avaliação expressivo e customizável projetado para permitir que especialistas de domínio criem seus próprios benchmarks de ponta a ponta.

O sistema opera em três fases principais:

• Fase 1: Geração de Dados Sintéticos (Pipeline Determinístico)

  • Utiliza um SDK em Python e assistentes de LLM para gerar dados sintéticos realistas baseados em esquemas e intenções do especialista.
  • Modelo de Dados: Define entidades (ex: sensores, usuários), atributos estáticos e dinâmicos, e trajetórias de estado.
  • Injeção de Padrões (Pattern Injection): Cria "exemplares" (subconjuntos de dados) que codificam comportamentos específicos (ex: degradação de KPI, falhas, picos súbitos).
  • Montagem Global: Combina esses exemplares em um conjunto de dados global através de "blending" (mistura) ao longo de épocas de tempo, permitindo simular cenários complexos como transições graduais de normal para degradado ou mudanças de regime súbitas.

• Fase 2: Geração de Pares Pergunta-Resposta (Q-A)

  • Gera consultas alinhadas aos dados injetados.
  • Tipos de Consultas:
    • Stateless: Agregações simples (contagens, médias) independentes da sequência temporal.
    • Stateful: Consultas que exigem reconstrução de uma máquina de estados lógica (ex: tempo entre eventos, sequências de ações, conversões).
    • Específicas de Incidentes: Consultas que exigem a detecção de anomalias nos dados e análise de entidades afetadas.
  • Variação Linguística: Utiliza LLMs para gerar variações naturais das perguntas, simulando diferentes personas (ex: engenheiro de dados vs. executivo) e dialetos.

• Fase 3: Integração de Testes

  • Exporta os dados e pares Q-A para pipelines de CI/CD e ferramentas de avaliação existentes.
  • Executa os agentes em um cenário "one-shot" (uma única tentativa) e avalia as respostas (texto natural ou artefatos) contra o "ground truth" calculado deterministicamente.

3. Contribuições Principais

1. AgentFuel Framework: Uma ferramenta modular e extensível para gerar benchmarks customizados de séries temporais, superando a dependência de dados públicos genéricos.
2. Identificação de Lacunas de Expressividade: Demonstração empírica de que benchmarks atuais não capturam a complexidade de consultas stateful e de incidentes, que são cruciais para aplicações empresariais.
3. Benchmarks de Referência: Criação e disponibilização pública de conjuntos de dados e benchmarks para três domínios:
   • Analytics de Produto (E-commerce).
   • Monitoramento de IoT (Sensores).
   • Observabilidade de Telecomunicações (RAN).
4. Método de Melhoria de Agentes: Demonstração de que o uso do AgentFuel em loops de otimização de prompts (como GEPA) pode melhorar significativamente o desempenho dos agentes.

4. Resultados da Avaliação

Os autores avaliaram 6 agentes populares (Databricks Genie, Snowflake Cortex, PandasAI, Nao, etc.) usando os benchmarks do AgentFuel:

• Desempenho Geral:
  • Os agentes alcançaram ~73% de precisão em consultas stateless (básicas).
  • A precisão caiu drasticamente para ~34% em consultas stateful.
  • A precisão despencou para ~10% em consultas específicas de incidentes.
• Análise de Falhas:
  • Consultas Stateless: Falhas devido a confusão de esquema (escolher tabelas erradas).
  • Consultas Stateful: Incapacidade de rastrear estados ao longo de sessões (ex: não contar visualizações de produto após adicionar ao carrinho).
  • Consultas de Incidente: Falha em detectar o incidente a partir dos dados; os agentes assumem janelas de tempo fixas ou globais em vez de identificar anomalias dinâmicas.
• Melhoria via Otimização:
  • Ao utilizar o AgentFuel para treinar/otimizar prompts via GEPA (uma técnica de evolução de prompts reflexiva), foi possível melhorar a precisão dos agentes em 17% no conjunto de dados de telecomunicações. Um agente específico (PandasAI O4Mini) viu uma melhoria de 25% em consultas de incidentes.

5. Significado e Conclusão

O trabalho destaca que a avaliação de agentes de dados não pode se limitar a benchmarks genéricos de Text-to-SQL. Para que agentes sejam confiáveis em ambientes empresariais críticos (como segurança e operações de rede), eles devem ser testados contra dados que simulam comportamentos temporais complexos e incidentes reais.

O AgentFuel oferece uma solução prática para engenheiros e cientistas de dados criarem seus próprios testes de validação, garantindo que os agentes sejam robustos antes da implantação em produção. Além disso, o estudo sugere que esses benchmarks customizados não servem apenas para testar, mas também para treinar e refinar os agentes, fechando o ciclo de desenvolvimento orientado a avaliação.

Disponibilidade: Os benchmarks e dados gerados estão disponíveis publicamente no Hugging Face (RockfishData/TimeSeriesAgentEvals).