Generating Expressive and Customizable Evals for Timeseries Data Analysis Agents with AgentFuel

Das Paper stellt AgentFuel vor, ein Framework zur Generierung maßgeschneiderter und ausdrucksstarker Evaluierungen für Zeitreihen-Datenanalyse-Agenten, das bestehende Lücken in der Bewertung von zustandsbehafteten und incidentspezifischen Abfragen schließt und nachweislich zur Leistungsverbesserung solcher Systeme beiträgt.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber manchmal etwas verwirrten Assistenten. Dieser Assistent kann riesige Mengen an Daten lesen und dir sagen, was los ist – zum Beispiel: „Wie viele Kunden haben heute etwas gekauft?" oder „Wie schnell lädt unsere Website?". Das klingt toll, oder?

Aber hier ist das Problem: Wenn du ihn fragst: „Was ist passiert, kurz nachdem ein Kunde drei Produkte in den Warenkorb gelegt hat, aber bevor er bezahlt hat?" oder „Welcher Server hat gerade angefangen, seltsame Fehler zu machen, nachdem er einen verdächtigen Download hatte?", dann stolpert dieser Assistent oft. Er vergisst den Kontext, verliert die Spur oder antwortet einfach falsch.

Genau dieses Problem haben die Autoren des Papers mit ihrem neuen Werkzeug namens AgentFuel gelöst. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der Assistent ist gut im Zählen, aber schlecht im „Verstehen"

Die meisten aktuellen Daten-Assistenten (die sogenannten „Data Agents") sind wie Schüler, die gut auswendig gelernt haben, wie man einfache Rechenaufgaben löst. Sie können dir sagen, wie viele Kunden es gab (einfache Frage). Aber wenn du sie nach einer Geschichte fragst – also einer Abfolge von Ereignissen über die Zeit (z. B. „Zuerst hat er das gesehen, dann hat er es angefasst, dann hat er es weggeworfen") –, dann kommen sie durcheinander.

Die Autoren haben getestet, wie gut diese Assistenten in echten Szenarien (wie Telekommunikation, Internet der Dinge oder Online-Shops) funktionieren. Das Ergebnis war ernüchternd: Bei einfachen Fragen waren sie zu 73 % richtig, aber bei Fragen, die eine „Geschichte" oder einen „Vorfall" (z. B. einen Server-Ausfall) betrafen, lagen sie nur bei 10 % Richtigkeit.

2. Die Lösung: AgentFuel – Der „Trainer" für Daten-Assistenten

Stell dir AgentFuel wie einen Trainer vor, der einen Sportler auf ein wichtiges Spiel vorbereitet.

• Das alte Training: Bisher trainierten die Entwickler ihre Assistenten mit allgemeinen, langweiligen Daten (wie ein Sportler, der nur auf einem leeren Feld läuft). Das reicht nicht für das echte Spiel.
• Das neue Training mit AgentFuel: AgentFuel erstellt maßgeschneiderte Trainingsdaten.
  1. Der Szenario-Generator: Der Trainer (AgentFuel) baut eine künstliche Welt auf. Er sagt: „Okay, wir simulieren 1000 Kunden. 50 davon kaufen, 20 legen Dinge in den Warenkorb und gehen dann weg, und 5 haben einen technischen Defekt." Er fügt absichtlich „Störungen" und „Fehler" in die Daten ein, genau wie im echten Leben.
  2. Die Prüfungsfragen: Anschließend stellt der Trainer dem Assistenten Fragen, die genau auf diese Szenarien zugeschnitten sind. „Wie viele Kunden haben den Warenkorb verlassen, nachdem sie das rote Hemd angesehen haben?"
  3. Die Bewertung: Wenn der Assistent die Antwort falsch gibt, weiß der Trainer genau, wo das Problem liegt (z. B. „Er hat die Zeitfolge vergessen" oder „Er hat den Vorfall nicht erkannt").

3. Warum ist das so wichtig? (Die Analogie)

Stell dir vor, du trainierst einen Autopiloten für ein Flugzeug.

• Ohne AgentFuel: Du testest den Autopiloten nur bei gutem Wetter auf einer geraden Strecke. Er fliegt perfekt.
• Mit AgentFuel: Du baust einen Simulator, der plötzlich Sturmböen, Turbulenzen und einen Triebwerksausfall simuliert. Du testest den Autopiloten genau in diesen kritischen Momenten. Nur so findest du heraus, ob er wirklich sicher ist, bevor er in der echten Welt fliegt.

AgentFuel macht genau das für Daten-Assistenten. Es zwingt sie, sich mit den schwierigen, chaotischen und zeitlichen Abläufen der echten Welt auseinanderzusetzen, bevor sie eingesetzt werden.

4. Das Ergebnis: Bessere Assistenten

Die Autoren haben gezeigt, dass man mit AgentFuel nicht nur Fehler findet, sondern die Assistenten auch besser machen kann. Wenn man dem Assistenten die Fragen von AgentFuel als „Lernmaterial" gibt und ihn wiederholt üben lässt, verbessert sich seine Treffsicherheit um etwa 17 %.

Zusammenfassend:
AgentFuel ist ein Werkzeug, das Entwicklern hilft, ihre Daten-Assistenten nicht nur mit einfachen Fragen zu testen, sondern mit realistischen, komplexen Geschichten und Notfällen. Es ist wie ein Simulator, der sicherstellt, dass dein KI-Assistent nicht nur gut aussieht, sondern auch wirklich funktioniert, wenn es darauf ankommt.

Technische Zusammenfassung

1. Problemstellung

In vielen Domänen wie IoT, Observability, Telekommunikation und Cybersicherheit werden zunehmend konversationelle Datenanalyse-Agenten („Talk-to-Your-Data"-Agenten) eingesetzt, die es Nutzern ermöglichen, über natürliche Sprache Erkenntnisse aus Zeitreihendaten zu gewinnen.

Das zentrale Problem, das die Autoren identifizieren, ist die mangelnde Zuverlässigkeit dieser Agenten bei spezifischen, domänenspezifischen Abfragen, insbesondere bei:

• Stateful Queries (Zustandsbehaftete Abfragen): Fragen, die Sequenzen, Zeitabstände und Kontext erfordern (z. B. „Wie lange verbrachte ein Nutzer im Warenkorb, bevor er abgebrochen hat?").
• Incident-Specific Queries (Vorfall-spezifische Abfragen): Fragen, die das Erkennen von Anomalien oder spezifischen Störungsmustern erfordern (z. B. „Wie viele Zellen verloren während des Ausfalls am 2. Januar die Verfügbarkeit, während die Kernknoten unter Last standen?").

Die Autoren stellen fest, dass bestehende Benchmarks (wie Spider2-Snow, BIRD, Beaver) und Evaluierungsframeworks zwei wesentliche Lücken aufweisen:

1. Datengap: Fehlende domänenspezifische Datensätze, die sowohl normale Muster als auch seltene Anomalien (Incidents) abbilden.
2. Abfrage-Gap: Fehlende Abfragetypen, die den realen Anforderungen von Praktikern (z. B. SREs, Datenanalysten) entsprechen. Die meisten existierenden Benchmarks bestehen aus „stateless" (zustandslosen) Abfragen, die nur statische Momentaufnahmen betrachten, während reale Szenarien oft komplexe zeitliche Abhängigkeiten erfordern.

Tests mit aktuellen State-of-the-Art-Agenten (Databricks Genie, Snowflake Cortex, PandasAI, Nao) zeigten, dass diese zwar bei einfachen Aggregationsabfragen gut abschneiden (ca. 73 % Genauigkeit), bei stateful und incident-spezifischen Abfragen jedoch drastisch versagen (Genauigkeit im Bereich von 10–34 %).

2. Methodik: AgentFuel System

Um diese Lücken zu schließen, stellen die Autoren AgentFuel vor, ein Framework zur Generierung ausdrucksstarker und anpassbarer Evaluierungsszenarien für Zeitreihen-Agenten. Das System besteht aus drei logischen Phasen:

Phase 1: Datengenerierung (Dataset Generation)

AgentFuel generiert synthetische, domänenspezifische Zeitreihendaten, die reale Semantik abbilden.

• Entitäten & Attribute: Definition von statischen Attributen (z. B. Gerätetyp, Standort) und dynamischen Messwerten.
• Zustandsübergänge: Nutzung von Zustandsautomaten (State Transition Diagrams), um das Verhalten von Entitäten über die Zeit zu modellieren (z. B. Normalzustand -> Degradation -> Ausfall).
• Exemplare (Exemplars): Erstellung von selbständigen synthetischen Datensätzen, die spezifische Verhaltensmuster kodieren (z. B. „Normal", „Flash Crowd", „Datenlücke").
• Globale Zusammenstellung: Diese Exemplare werden über Zeitperioden (Epochen) hinweg gemischt, um globale Muster wie saisonale Schwankungen oder plötzliche Regimewechsel zu erzeugen.
• Pattern Injection: Eine Bibliothek injiziert gezielt Anomalien und Incident-Muster (z. B. KPI-Verschlechterung, Kaskadierende Ausfälle) in die Daten.

Phase 2: Generierung von Frage-Antwort-Paaren (Q-A Generation)

Basierend auf den generierten Daten werden präzise Abfragen erstellt.

• Query-Templates: Unterscheidung zwischen Stateless (Aggregationen ohne Zeitkontext) und Stateful (Abfragen, die Sequenzen, Übergänge und Zustandsdauern erfordern).
• Incident-Spezifische Anpassung: Abfragen werden so konstruiert, dass der Agent den Vorfall erst aus den Daten erkennen muss (z. B. durch Vergleich mit dem historischen Verhalten der Entität selbst), anstatt globale Schwellenwerte zu nutzen.
• Sprachliche Variation: Ein LLM-gestützter Workflow generiert natürliche Sprachvarianten der Abfragen, um verschiedene Nutzer-Personas (z. B. Data Engineer vs. VP) und Dialekte zu simulieren.

Phase 3: Test-Integration (Test Harness)

Das Framework integriert die generierten Daten und Abfragen in bestehende CI/CD-Pipelines. Es führt End-to-End-Tests durch, bei denen die Agenten-Antworten mit den Ground-Truth-Ergebnissen verglichen werden. Der Fokus liegt auf der funktionalen Korrektheit der Antwort, nicht nur auf der Korrektheit des generierten SQL-Codes.

3. Hauptbeiträge

1. AgentFuel Framework: Ein modulares, erweiterbares System zur Erstellung maßgeschneiderter Evaluierungsbenchmarks für Zeitreihen-Agenten, das die Lücke zwischen generischen Benchmarks und realen Unternehmensanforderungen schließt.
2. Synthetische Datengenerierung: Eine Methode zur kontrollierten Erzeugung realistischer Zeitreihendaten mit eingebetteten Anomalien und komplexen Zustandsübergängen.
3. Identifikation von Expressivitätslücken: Der Nachweis, dass aktuelle Benchmarks die Fähigkeiten von Agenten bei zustandsbehafteten und vorfall-spezifischen Aufgaben massiv überschätzen.
4. Open-Source-Benchmark: Die Bereitstellung von Datensätzen und Evaluierungssuiten für drei Domänen (E-Commerce, IoT, Telekommunikation) auf Hugging Face.

4. Ergebnisse und Evaluation

Die Autoren evaluierten AgentFuel an vier Agenten (Databricks Genie, Snowflake Cortex, PandasAI, Nao) über drei Domänen.

• Leistungsgefälle: Während die Agenten bei zustandslosen Abfragen eine Genauigkeit von ca. 73 % erreichten, fiel die Leistung bei zustandsbehafteten Abfragen auf 34 % und bei vorfall-spezifischen Abfragen auf nur 10 %.
• Fehleranalyse:
  • Schema-Verwirrung: Agenten wählten falsche Tabellen oder Spalten.
  • Zustandsverfolgung: Agenten konnten Sequenzen (z. B. „Add-to-Cart" gefolgt von „Purchase") nicht korrekt über die Zeit verfolgen.
  • Fehlende Datenexploration: Bei Incident-Abfragen nutzten Agenten oft feste Zeitfenster oder globale Durchschnitte, anstatt die Anomalie dynamisch in den Daten zu detektieren.
• Verbesserungspotenzial: In einem Vorversuch wurde AgentFuel genutzt, um Prompts mittels GEPA (einem Prompt-Optimierungsverfahren) zu verbessern. Dies führte zu einer 17 %igen Steigerung der Genauigkeit bei den Agenten, was zeigt, dass AgentFuel nicht nur zum Testen, sondern auch zur Verbesserung der Agentenleistung genutzt werden kann.

5. Bedeutung und Ausblick

Das Paper unterstreicht, dass die Einführung von Daten-Agenten in kritischen Infrastrukturen (Telekom, Sicherheit, IoT) ohne domänenspezifische Evaluierung riskant ist.

• Praktische Relevanz: AgentFuel ermöglicht es Praktikern, Agenten vor dem Produktivgang auf ihre Zuverlässigkeit in spezifischen Szenarien zu testen.
• Forschungsbeitrag: Es liefert eine Methodik, um die „Black Box" von Agenten bei komplexen zeitlichen Abhängigkeiten zu beleuchten und zeigt, dass reine Text2SQL-Benchmarks für Zeitreihenanalysen unzureichend sind.
• Zukunft: Die Autoren planen, AgentFuel auf Multi-Turn-Konversationen und kontinuierliches Training (Continuous Improvement) auszuweiten, um die Agenten noch robuster zu machen.

Zusammenfassend bietet AgentFuel einen kritischen Schritt hin zu zuverlässigen, vertrauenswürdigen Daten-Agenten, die nicht nur einfache Fragen beantworten, sondern komplexe, zustandsbehaftete Probleme in der realen Welt lösen können.