Generating Expressive and Customizable Evals for Timeseries Data Analysis Agents with AgentFuel

Dit paper introduceert AgentFuel, een hulpmiddel dat domeinexperts in staat stelt om aangepaste en expressieve evaluaties te genereren voor tijdsreeksdata-analyseagenten, waardoor de beperkingen van bestaande benchmarks worden opgelost en de prestaties van deze agenten kunnen worden verbeterd.

De kern

Stel je voor dat je een zeer slimme, maar nogal naïeve assistent hebt die je helpt om door bergen data te bladeren. Je kunt tegen deze assistent praken: "Hoeveel mensen hebben gisteren mijn winkelwagen verlaten?" of "Waarom is de snelheid van mijn netwerk plotseling gedaald?"

Dit zijn data-analyse-agenten. Ze worden steeds populairder in bedrijven, van telecommaatschappijen tot online winkels. Maar er is een groot probleem: deze assistenten zijn vaak geweldig in simpele vragen, maar ze raken in de war zodra de vraag complex wordt of als er een "crisis" in de data zit.

Deze paper introduceert AgentFuel, een gereedschap dat helpt om deze assistenten te trainen en te testen voordat ze echt aan het werk gaan.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Assistent die "Kijkt" maar niet "Begrijpt"

Stel je voor dat je een nieuwe chauffeur hebt die een auto rijdt.

• Simpele vraag: "Wat is de gemiddelde snelheid op de snelweg?"
  • De chauffeur: "Dat is 100 km/u." (Goed gedaan!)
• Complexe vraag: "Rijdt de auto harder dan 120 km/u na dat we een ongeluk hebben gezien, en hoe lang duurde dat?"
  • De chauffeur: "Ik weet het niet, ik heb geen ongeluk gezien," of "Ik denk dat het 5 minuten duurde," terwijl het eigenlijk 2 minuten was.

De assistenten in de paper (zoals Databricks Genie of Snowflake Cortex) zijn die chauffeurs. Ze doen het goed op standaardvragen, maar falen als het gaat om:

1. Tijd en volgorde: Wat gebeurde er eerst en wat daarna? (Bijvoorbeeld: Heeft de gebruiker eerst het product bekeken en toen in de winkelwagen gedaan, of andersom?)
2. Incidenten: Kunnen ze een "crisis" in de data herkennen? (Bijvoorbeeld: "Zie je die vreemde piek in de verkeersdata die wijst op een hack?")

De auteurs ontdekten dat bestaande tests (zoals een rijexamen) alleen simpele rechte wegen testten. Ze zagen niet of de chauffeur ook een stormachtige nacht of een onverwachte file kon hanteren.

2. De Oplossing: AgentFuel (De "Simulator")

AgentFuel is als een super-geavanceerde rij-simulator voor deze data-assistenten. In plaats van ze zomaar op de weg te zetten, creëert AgentFuel een veilige omgeving om ze te testen.

Het werkt in drie stappen:

• Stap 1: Het Bouwen van de Wereld (Data Generatie)
  AgentFuel bouwt een nep-wereld op basis van wat de expert nodig heeft.

  • Vergelijking: Stel je voor dat je een simulator bouwt voor een brandweer. Je maakt niet alleen een "normale" stad na, maar je voegt ook specifiek een brand toe, een storm, en een verkeersopstopping. AgentFuel doet dit met data: het creëert datasets met "normale" dagen, maar injecteert ook specifieke "incidenten" (zoals een plotselinge daling in verkoop of een storing in een telefoonmast).

• Stap 2: Het Stellen van de Vragen (Query Generatie)
  Vervolgens stelt AgentFuel vragen die precies passen bij die nep-wereld.

  • Vergelijking: In de simulator vraagt de instructeur niet alleen "Hoe snel rij je?", maar ook: "Hoeveel seconden duurde het voordat je remde nadat je die rode lichten zag?" AgentFuel maakt vragen die de assistent dwingen om naar de volgorde van gebeurtenissen te kijken en om de "brand" in de data te vinden.

• Stap 3: Hetexamen (Testen)
  De assistent krijgt de vragen en de nep-data. AgentFuel kijkt dan: "Heeft de assistent de brand gevonden? Heeft hij de juiste volgorde van gebeurtenissen begrepen?"

  • Als de assistent faalt, weet de ontwikkelaar precies waar hij moet verbeteren.

3. Wat Vonden Ze? (De Resultaten)

Toen de auteurs deze "simulator" gebruikten om populaire data-assistenten te testen, was het resultaat schokkend:

• Op simpele vragen scoorden ze ongeveer 73% goed.
• Op de complexe vragen (tijd, volgorde, incidenten) vielen ze terug naar slechts 10%.

Het was alsof de chauffeurs perfect konden rijden op een lege weg, maar volledig in de pan reden zodra er een ongeluk gebeurde. Ze zagen de "brand" in de data niet eens.

4. De Magie: AgentFuel maakt ze slimmer

Het beste nieuws is dat AgentFuel niet alleen een test is, maar ook een trainingshulpmiddel.
De auteurs toonden aan dat als ze de assistenten lieten oefenen met de vragen van AgentFuel (met behulp van een slimme optimalisatie-tool genaamd GEPA), de prestaties met 17% verbeterden.

• Vergelijking: Het is alsof je de chauffeur niet alleen een examen laat doen, maar hem ook laat oefenen in de simulator met de specifieke scenario's waar hij faalde. Na de training rijdt hij veel veiliger.

Samenvatting

AgentFuel is een gereedschap voor bedrijven die data-assistenten willen gebruiken. Het zorgt ervoor dat deze assistenten niet alleen kunnen tellen, maar ook echt kunnen denken over tijd, volgorde en problemen in de data. Het is de simulator die ervoor zorgt dat je data-assistent niet faalt op het moment dat het er echt toe doet.

Technische samenvatting

Titel: Genereren van Expressieve en Aanpasbare Evaluaties voor Tijdreeksdata-Analyse Agents met AgentFuel

Auteurs: Aadyaa Maddi, Prakhar Naval, Deepti Mande, Shane Duan, Muckai Girish, Vyas Sekar (Rockfish Data en Carnegie Mellon University)
Datum: 28 februari 2026 (Pre-print)

---

1. Het Probleem

In diverse domeinen zoals IoT, observability, telecommunicatie en cybersecurity worden steeds vaker conversational data analysis agents ingezet ("praat met je data"). Hoewel deze agents goed presteren op traditionele, statische benchmarks (zoals Text2SQL op algemene datasets), blijken ze tekort te schieten in specifieke enterprise-scenario's die tijdreeksdata betreffen.

De auteurs identificeren twee kritieke expressiviteitsgaten in bestaande evaluatieframeworks:

1. Datasets Gap: Bestaande benchmarks missen domeinspecifieke semantiek. Ze bevatten zelden patronen van "normaal" gedrag versus "ongewone" incidenten (zoals pieken, uitval of anomalieën) die cruciaal zijn voor domeinen zoals beveiliging of netwerkmonitoring.
2. Query Gap: Agents falen op stateful (toestandsafhankelijke) en incident-specifieke queries.
   • Stateful queries vereisen het volgen van sequenties en timing (bijv. "Hoe lang duurde het tussen het toevoegen aan de winkelwagen en het verlaten?").
   • Incident queries vereisen het detecteren van afwijkingen in de data (bijv. "Welke routers hadden verhoogd pakketverlies tijdens dit incident?").

Bestaande benchmarks (zoals Spider2-Snow, BIRD) bestaan voor 92-96% uit "stateless" queries (enkele lookups of aggregaties), waardoor ze de complexiteit van real-world tijdreeksproblemen niet testen.

2. Methodologie: Het AgentFuel Framework

Om deze gaten te dichten, stellen de auteurs AgentFuel voor: een modulair, uitbreidbaar framework voor het genereren van aangepaste evaluaties voor tijdreeksdata-agents. Het systeem werkt in drie fasen:

Fase 1: Data Generatie (Synthetische Datasets)

AgentFuel genereert realistische, domeinspecifieke tijdreeksdata via een deterministische pipeline:

• Entiteitsspecificaties: Definieert statische attributen (bijv. OS-versie, locatie) en dynamische sleutels (bijv. CPU, temperatuur).
• Staatsovergangen: Gebruikt een semi-Markov-proces om toestanden te simuleren (bijv. normaal, gedegradeerd, falen) met bijbehorende overgangskansen.
• Exemplaren (Exemplars): Creëert zelfstandige synthetische datasets die specifieke gedragingen coderen (bijv. een sensor die een waarschuwing geeft, gevolgd door onderhoud).
• Globale Assemblage: Mengt deze exemplaren over tijdsepochen om een grote, globale dataset te creëren met gewenste patronen (bijv. een geleidelijke verslechtering of een plotselinge instorting).
• Pattern Injection: Een bibliotheek injecteert specifieke incidentpatronen (KPI-deterioratie, data-outages, flash crowds).

Fase 2: Vraag-Antwoord Generatie

Op basis van de gegenereerde data worden gealigneerde query-antwoordparen gegenereerd:

• Stateless Queries: Aggregaties over een tijdsvenster zonder staatshistorie (bijv. gemiddelde CPU).
• Stateful Queries: Vereisen het reconstrueren van een toestandsmachine om sequenties, duur tussen gebeurtenissen of conversieroutes te analyseren.
• Incident-specifieke Queries: Filteren op specifieke incidenten en analyseren van de impact op geassocieerde entiteiten.
• Variatie: Een LLM-assistent genereert natuurlijke taalvarianten van de vragen om verschillende gebruikerspersonas (bijv. SRE vs. manager) en dialecten te simuleren.

Fase 3: Test Integratie

Het framework exporteert de datasets en Q&A-paren naar bestaande CI/CD-workflows en evaluatieharnesses voor end-to-end functionele tests van agents.

3. Belangrijkste Resultaten

De auteurs hebben AgentFuel getest op drie domeinen (E-commerce, IoT, Telecommunicatie) met vier state-of-the-art agents (Databricks Genie, Snowflake Cortex, Nao, PandasAI).

• Prestatieverschil:
  • Agents presteren goed op stateless queries (ongeveer 73% nauwkeurigheid).
  • De nauwkeurigheid daalt drastisch naar 34% voor stateful queries.
  • Voor incident-specifieke queries zakt de nauwkeurigheid tot slechts 10%.
• Foutpatronen:
  • Stateless: Verwarring over schemas en tijdsintervallen.
  • Stateful: Onvermogen om staat over tijd te volgen (bijv. het niet correct tellen van productviews tijdens een winkelwagen-sessie).
  • Incident: Gebrek aan data-exploratie. Agents nemen vaak een vast tijdsvenster aan in plaats van het incident in de data te detecteren, en vergelijken met globale gemiddelden in plaats van historische baselines.
• Verbetering via GEPA:
  • Door AgentFuel-evaluaties te gebruiken in een prompt-optimatiecyclus (GEPA), kon de nauwkeurigheid van agents op incident-queries met 17% worden verbeterd. Dit bewijst dat AgentFuel niet alleen nuttig is voor testen, maar ook voor het trainen/verbeteren van agents.

4. Kernbijdragen

1. AgentFuel Framework: Een volledig werkend systeem voor het genereren van domeinspecifieke, synthetische tijdreeksdata en bijbehorende evaluatievragen.
2. Identificatie van Gaten: Empirisch bewijs dat bestaande benchmarks tekortschieten voor stateful en incident-gerelateerde tijdreeksanalyses.
3. Data-Query Alignement: Een methodologie die garandeert dat de gegenereerde data en de vragen semantisch gekoppeld zijn, waardoor "ground truth" voor complexe scenario's mogelijk wordt.
4. Openbare Benchmark: Een dataset van 3 domeinen en bijbehorende evaluaties is beschikbaar op Hugging Face voor de gemeenschap.

5. Betekenis en Impact

Dit paper is van groot belang voor de ontwikkeling van betrouwbare AI-agents in enterprise-omgevingen. Het toont aan dat "talk to your data" agents nog niet klaar zijn voor complexe, real-world scenario's zonder specifieke evaluatie en training op domeinspecifieke patronen.

• Voor Practitioners: Biedt een tool om agents te valideren voordat ze in productie gaan, specifiek gericht op de kritieke gebieden van incidentdetectie en sequentie-analyse.
• Voor Onderzoek: Legt de nadruk op de noodzaak van "stateful" evaluaties en synthetische data-generatie die realistische anomalieën bevat, in plaats van te vertrouwen op statische, openbare datasets.
• Toekomst: Het framework kan worden gebruikt voor continue verbetering van agents en het opbouwen van robuuste CI/CD-pipelines voor data-analyse.

Kortom, AgentFuel verschuift de focus van het testen van "kan de agent SQL schrijven?" naar "kan de agent complexe, tijd-afhankelijke business-incidenten begrijpen en oplossen?".