Generating Expressive and Customizable Evals for Timeseries Data Analysis Agents with AgentFuel

Il paper presenta AgentFuel, un framework che permette agli esperti di dominio di generare valutazioni personalizzate ed espressive per agenti di analisi dati su serie temporali, colmando le lacune esistenti e migliorando le prestazioni di questi agenti attraverso benchmark specifici.

L'essenziale

Immagina di avere un assistente personale super-intelligente (un "agente AI") il cui lavoro è leggere i dati della tua azienda e risponderti a domande come un umano. Potresti chiedergli: "Quanti clienti hanno abbandonato il carrello dopo aver messo dentro tre prodotti?" oppure "Quale sensore ha smesso di funzionare proprio quando la temperatura è salita?".

Il problema? Questi assistenti sono spesso bravi a fare calcoli semplici (come "qual è la media delle vendite?"), ma quando la storia diventa complessa, con sequenze di eventi, cambiamenti nel tempo o incidenti strani, si perdono completamente. È come se avessero una memoria a breve termine molto corta o non capissero il contesto.

Ecco cosa propone la ricerca "AgentFuel" in termini semplici:

1. Il Problema: Gli Agenti sono "Ciechi" al Contesto

Gli autori hanno testato diversi agenti AI famosi su dati reali (come quelli di un negozio online, di sensori industriali o di una rete telefonica).
Hanno scoperto che:

• Se chiedi: "Qual è la media delle vendite?", l'agente risponde bene.
• Se chiedi: "Cosa è successo ai clienti che hanno messo 3 prodotti nel carrello e poi sono scappati entro 10 minuti?", l'agente spesso sbaglia, inventa risposte o si blocca.

Perché? Perché i test attuali per queste intelligenze artificiali sono come esami di guida su un circuito vuoto. L'agente impara a guidare dritto, ma non sa cosa fare se arriva un ostacolo improvviso, se piove o se deve fare una manovra complessa. Mancano i "dati di addestramento" che simulano la realtà caotica del mondo vero.

2. La Soluzione: AgentFuel (Il "Simulatore di Volo" per i Dati)

AgentFuel è uno strumento creato per risolvere questo problema. Immaginalo come un simulatore di volo per gli agenti AI.

Invece di usare dati noiosi e generici, AgentFuel permette agli esperti umani di creare scenari di addestramento personalizzati in tre passi magici:

• Passo 1: Costruire il Mondo (Generazione Dati)
  L'agente AI non vede solo numeri. Con AgentFuel, gli esperti dicono: "Voglio un mondo dove ci sono 100 sensori, 10 di loro si rompono improvvisamente, e poi c'è un picco di traffico". AgentFuel crea automaticamente questi dati sintetici, inserendo proprio gli "incidenti" e le "anomalie" che accadono nella realtà (come un sensore che si surriscalda o un utente che abbandona il carrello).

  • Metafora: È come se un allenatore di calcio non facesse allenare i giocatori solo su un campo perfetto, ma creasse scenari con pioggia, fango e portieri che fanno errori, per prepararli alla partita vera.

• Passo 2: Fare le Domande Giuste (Generazione Query)
  Una volta creato il mondo, AgentFuel genera le domande che un umano farebbe in quella situazione. Non chiede solo "quanto vale X?", ma chiede: "Quanti sensori hanno smesso di funzionare dopo che la temperatura è salita?".

  • Metafora: È come un insegnante che, dopo aver preparato un esercizio di matematica, chiede allo studente di risolvere il problema non solo con i numeri, ma spiegando perché è successo quel risultato.

• Passo 3: Il Test Finale (Valutazione)
  L'agente AI viene messo alla prova su questi scenari. Se sbaglia, il sistema lo segnala. Se risponde bene, significa che è pronto per il mondo reale.

3. Perché è una Rivoluzione?

Gli autori hanno usato AgentFuel per testare gli agenti e hanno scoperto cose incredibili:

• Gli agenti che sembravano geniali sui test standard, su questi nuovi test "realistici" hanno fallito miseramente (solo il 10% di risposte corrette su domande complesse).
• Ma c'è di più: hanno usato i risultati di AgentFuel per ri-addestrare gli agenti (usando una tecnica chiamata GEPA). Risultato? L'intelligenza dell'agente è migliorata del 17%.

In Sintesi

AgentFuel è come un laboratorio di ingegneria dove si costruiscono scenari di disastro, successi e comportamenti strani per testare le intelligenze artificiali prima di farle lavorare con i dati veri della tua azienda.

Senza di esso, stiamo affidando i nostri dati a un assistente che sa solo contare le mele, ma non sa capire cosa succede quando il carrello della spesa si rompe. Con AgentFuel, possiamo insegnargli a gestire il caos, gli incidenti e le storie complesse dei dati, rendendolo un vero partner di lavoro.

Sommario tecnico

1. Il Problema: Il Divario di Espressività negli Agenti di Analisi Dati

Il paper affronta una sfida critica nell'adozione di agenti di analisi dati conversazionali (che permettono agli utenti di "parlare con i propri dati") in settori basati su dati temporali (timeseries), come IoT, osservabilità (observability), telecomunicazioni e cybersecurity.

Sebbene gli agenti esistenti (sia open-source che proprietari) mostrino buone prestazioni su benchmark generici e query di base (es. aggregazioni semplici), il paper evidenzia un divario di espressività significativo quando questi agenti vengono testati su dati e query specifici del dominio. In particolare, gli agenti falliscono su:

• Query stateful (con stato): Richiedono il tracciamento di sequenze temporali e contesti (es. "Quanto tempo è passato tra l'aggiunta al carrello e l'abbandono?").
• Query specifiche per incidenti: Richiedono la rilevazione di anomalie o pattern di guasto all'interno dei dati (es. "Quante celle hanno perso disponibilità durante l'incidente del 2 gennaio mentre i nodi core erano sotto carico?").

Gli autori identificano due lacune principali negli attuali framework di valutazione (evals):

1. Divario nei Dataset: I dataset esistenti sono troppo generici e non catturano le semantiche specifiche del dominio (pattern normali vs. incidenti/anomalie).
2. Divario nelle Query: Le query di valutazione attuali non simulano le intenzioni reali degli utenti esperti (SRE, analisti di prodotto) che devono analizzare comportamenti temporali complessi e stati di emergenza.

2. Metodologia: Il Framework AgentFuel

Per colmare queste lacune, gli autori presentano AgentFuel, un framework modulare ed estensibile progettato per generare rapidamente valutazioni (evals) personalizzate e espressive per agenti di analisi dati su serie temporali.

AgentFuel opera attraverso tre fasi logiche principali (illustrate nella Figura 3 del paper):

Fase 1: Generazione del Dataset (Data Generation)

Invece di usare dati statici, AgentFuel genera dati sintetici realistici e controllati:

• Specifiche delle Entità: Definisce distribuzioni per attributi statici (es. tipo di dispositivo, OS) e modelli di transizione di stato (es. da "normale" a "degradato" a "guasto").
• Exemplar (Esemplari): Crea dataset sintetici autocontenuti che codificano comportamenti specifici (es. un sensore che entra in modalità critica, un utente che abbandona il carrello).
• Assemblaggio Globale: Mescola diversi "exemplar" in epoche temporali per creare un dataset globale che simula scenari realistici, inclusi drift graduali, oscillazioni stagionali o cambiamenti improvvisi di regime (incidenti).
• Iniezione di Pattern: Utilizza una libreria controllabile per iniettare pattern comuni nel settore enterprise (degradazione KPI, interruzioni dati, picchi improvvisi).

Fase 2: Generazione di Coppie Domanda-Risposta (Query-Answer Generation)

Una volta generato il dataset, il sistema crea coppie domanda-risposta allineate ai dati:

• Modelli di Query: Distingue tra query stateless (aggregazioni su finestre temporali fisse) e stateful (che richiedono la ricostruzione di una macchina a stati per tracciare sequenze, durate e transizioni).
• Personalizzazione per Incidenti: Genera query specifiche che richiedono all'agente di identificare l'incidente nei dati, filtrare le entità colpite e analizzare le metriche circostanti.
• Variazioni Linguistiche: Utilizza LLM per generare varianti naturali delle domande, simulando diversi ruoli utente (es. ingegnere dati vs. VP) e dialetti, mantenendo l'intento semantico.

Fase 3: Integrazione del Test (Test Integration)

Il framework esporta dataset e coppie Q-A in formati compatibili con pipeline CI/CD esistenti, permettendo test funzionali end-to-end (risposta naturale vs. risposta attesa) senza focalizzarsi solo sui passaggi intermedi (come il codice SQL generato).

3. Risultati Sperimentali

Gli autori hanno valutato 6 agenti popolari (Databricks Genie, Snowflake Cortex, PandasAI, Nao) su tre domini: E-commerce, IoT e Telecomunicazioni.

• Performance Generale: Gli agenti hanno mostrato un'accuratezza accettabile sulle query stateless (circa 73%), ma le prestazioni sono crollate drasticamente sulle query stateful (34%) e sulle query specifiche per incidenti (10%).
• Fallimenti Ricorrenti:
  • Confusione dello Schema: Selezione di tabelle o colonne errate.
  • Mancanza di Tracciamento dello Stato: Incapacità di collegare eventi sequenziali (es. non riescono a contare le visualizzazioni mentre un oggetto è nel carrello).
  • Assenza di Esplorazione Dati: Per le query sugli incidenti, gli agenti tendono a usare finestre temporali fisse o soglie globali predefinite invece di rilevare dinamicamente l'anomalia dai dati.
• Miglioramento con GEPA: In uno studio preliminare, l'uso delle valutazioni generate da AgentFuel in un ciclo di ottimizzazione dei prompt (tramite GEPA) ha portato a un miglioramento dell'accuratezza del 17% (fino al 25% per alcuni agenti), dimostrando che AgentFuel può essere usato non solo per testare, ma anche per addestrare/migliorare gli agenti.

4. Contributi Chiave

1. Identificazione del Gap: Dimostrazione empirica che i benchmark attuali (come Spider2-Snow o BIRD) sono inadeguati per valutare agenti su dati temporali complessi, essendo prevalentemente privi di contesto temporale e stati di incidente.
2. AgentFuel Framework: Un sistema completo per la generazione procedurale di dataset sintetici realistici e query allineate, che permette ai domain expert di creare valutazioni su misura in modo rapido.
3. Dataset e Benchmark Aperti: Rilascio pubblico di dataset specifici per dominio e suite di query (disponibili su Hugging Face) per la comunità di ricerca.
4. Evidenza di Miglioramento: Dimostrazione che le valutazioni specifiche per dominio possono guidare l'ottimizzazione dei prompt e migliorare le prestazioni degli agenti.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma di valutazione degli agenti AI da un approccio generico ("Text-to-SQL" su tabelle statiche) a un approccio orientato al dominio e al contesto temporale.

• Affidabilità Operativa: Fornisce agli ingegneri e ai praticanti uno strumento per testare la fiabilità degli agenti prima del deployment in produzione, riducendo il rischio di decisioni errate basate su dati critici.
• Scalabilità: La capacità di generare automaticamente scenari di incidenti e pattern complessi risolve il problema della scarsità di dati etichettati reali per il testing.
• Futuro della Ricerca: Stabilisce una nuova direzione per la ricerca sugli agenti di dati, sottolineando la necessità di modelli capaci di ragionamento temporale, gestione dello stato e rilevamento di anomalie, piuttosto che semplice estrazione di informazioni.

In sintesi, AgentFuel non è solo un benchmark, ma un'infrastruttura abilitante per lo sviluppo di agenti di analisi dati robusti e affidabili in ambienti enterprise critici.