Riepilogo Tecnico: Verso una Data Science Agente Verificabile: Risolvere la TSQA Irregolare tramite il Ragionamento Basato su Strumenti (Tool-Grounded Reasoning)

1. Definizione del Problema

I dati delle serie temporali del mondo reale sono prevalentemente irregolari: le osservazioni sono asincrone, i valori mancanti sono spesso informativi piuttosto che casuali e le frequenze di campionamento variano tra i sensori e le finestre operative. Nonostante il rapido progresso dei Large Language Models (LLM) e degli agenti AI nel ragionamento complesso, gli esistenti benchmark per la Time Series Question Answering (TSQA) (ad es., TSAQA, Time-MQA) assumono ampiamente input campionati regolarmente. Ciò crea un fondamentale divario di valutazione, poiché i modelli attuali non sono rigorosamente testati sulle sfide semantiche e strutturali poste dai dati irregolari.

Inoltre, i metodi esistenti per generare serie temporali irregolari si affidano spesso a trasformazioni sintetiche come il dropout casuale (MCAR) o la maschera sparsa (sparse masking), che non riescono a catturare la semantica del dominio e le cause specifiche della mancanza di dati presenti negli scenari reali (ad es., il monitoraggio in terapia intensiva innescato dalla necessità clinica o i sensori industriali che registrano solo in caso di anomalia). Il documento nota che, sebbene il lavoro recente (TIME-IMM) abbia stabilito una tassonomia dell'irregolarità, nessun pipeline precedente ha utilizzato questa tassonomia per ancorare semanticamente la trasformazione da dati regolari a irregolari ai fini del benchmarking.

2. Metodologia

Gli autori introducono IRTS-ToolBench, un benchmark progettato per valutare LLM e agenti AI sulla TSQA univariata irregolare attraverso il ragionamento basato su strumenti (tool-grounded reasoning). La metodologia si basa su tre componenti principali:

A. Pipeline di Trasformazione Irregolare Guidata da LLM

Per colmare il divario tra dati regolari e irregolari, gli autori propongono una pipeline a tre livelli che trasforma le serie temporali regolari in sequenze irregolari semanticamente ancorate:

1. Arricchimento del Contesto: Un LLM genera una descrizione dettagliata del contesto per ogni serie temporale, catturando il dominio, le caratteristiche statistiche e le caratteristiche del segnale.
2. Selezione della Tassonomia: Sulla base del contesto arricchito, un LLM seleziona il tipo di irregolarità più appropriato da una tassonomia di nove tipi (categorizzati come Basati su Trigger, Basati su Vincoli e Basati su Artefatti, seguendo TIME-IMM) e produce un piano di trasformazione con annotazioni di anomalie.
3. Generazione dei Parametri: L'LLM traduce il piano in parametri numerici validati per le funzioni di trasformazione, producendo sequenze irregolari con pattern di mancanza realistici e timestamp con jitter.

B. Costruzione del Benchmark

IRTS-ToolBench comprende 1.700 domande che spaziano su 10 tipi di task attraverso 13 domini (ad es., finanza, sanità). I task sono organizzati in una gerarchia di ragionamento progressivo:

• Ragionamento Standard: Rilevamento di Anomalie, Classificazione, Discriminazione tra Regolare e Irregolare, e Recupero della Regolarità.
• Ragionamento Specifico per l'Irregolarità: Caratterizzazione (proprietà temporali), Relazione Temporale (ordine/causalità) e Attribuzione della Causa dell'Irregolarità.
• Ragionamento all'Interfaccia Regolarità-Irregolarità: Ragionamento sulla Mancanza (gap informativi vs non informativi), Stima della Severità dell'Irregolarità e Previsione (Forecasting).

C. Libreria di Strumenti e Golden Tool Set

Il benchmark include una libreria di 30 strumenti divisa in due livelli:

1. Operatori di Irregolarità (7 strumenti): Gestiscono specifiche irregolarità (ad es., ALIGN ASOF, MISSING POLICY, RESAMPLE, GAP DETECT).
2. Strumenti Analitici Avanzati (23 strumenti): Forniscono primitive di analisi (ad es., TREND CLASSIFIER, SEASONALITY DETECTOR, FORECASTER, INTERPOLATE).

Per ogni campione del benchmark, viene costruito un Golden Tool Set tramite un protocollo di consenso multi-LLM (utilizzando GPT-5.1, Claude Sonnet 4.5 e Gemini 2.5 Flash) per definire l'insieme minimo di strumenti necessari per rispondere correttamente a una domanda. Ciò consente la valutazione sia del prompting diretto degli LLM sia dei framework agentici di utilizzo degli strumenti.

3. Contributi Chiave

1. Nuova Pipeline di Trasformazione: Una pipeline semanticamente ancorata per convertire serie temporali regolari in irregolari, andando oltre il dropout casuale verso una generazione di irregolarità consapevole del dominio.
2. Benchmark Completo (IRTS-ToolBench): Un dataset di 1.700 domande su 10 tipi di task e 13 domini, progettato specificamente per la TSQA univariata irregolare.
3. Framework di Valutazione Basato su Strumenti: Una libreria di 30 strumenti e un protocollo per la costruzione di "Golden Tool Sets", che consente la valutazione simultanea della correttezza della risposta e del comportamento di ragionamento degli agenti riguardo all'invocazione degli strumenti.

4. Risultati della Valutazione

Gli autori hanno valutato le prestazioni zero-shot su diversi modelli commerciali e open-source (inclusi Claude-Opus-4.7, Qwen3.5-4B, Qwen3.6-27B e DeepSeek-V4-Flash).

• Prestazioni Complessive: Qwen3.6-27B ha raggiunto l'accuratezza complessiva più elevata (78,59%), superando gli altri modelli. Modelli commerciali come Claude-Opus-4.7 hanno mostrato un'accuratezza costante tra il 74% e il 77%.
• Impatto della Chiamata degli Strumenti (Tool Calling): L'uso degli strumenti ha fornito miglioramenti significativi per i task che richiedono un'analisi numerica esplicita. Ad esempio, Qwen3.6-27B è passato dal 96,80% al 99,60% nel Rilevamento di Anomalie e ha raggiunto il 100% nella Classificazione con gli strumenti. DeepSeek-V4-Flash ha mostrato guadagni massicci nella Stima della Severità dell'Irregolarità (dal 31,33% al 98,67%) e nel Recupero della Regolarità (dal 64,67% all'89,33%) quando gli strumenti erano abilitati.
• Sfide Residue: Nonostante l'integrazione degli strumenti, i task di ragionamento temporale di livello superiore, come il ragionamento sulla Relazione Temporale e la Discriminazione tra Regolare e Irregolare, sono rimasti difficili, con prestazioni che variano significativamente tra i modelli.
• Baseline Umana: I revisori umani hanno raggiunto accuratezze del 80% e 78%, indicando che, sebbene la maggior parte delle domande sia comprensibile, task come il Recupero della Regolarità e il Ragionamento sulla Mancanza rimangono impegnativi anche per gli esseri umani.

5. Significato e Rivendicazioni

Il documento posiziona IRTS-ToolBench come un passo necessario verso una "data science agente verificabile". Il suo significato risiede in:

• Colmare il Divario di Valutazione: Affronta il limite critico per cui i benchmark esistenti ignorano la natura irregolare delle serie temporali reali.
• Standardizzazione: Fornisce input standardizzati e un protocollo di valutazione riproducibile per i ricercatori che lavorano sull'analisi di serie temporali irregolari basate su LLM.
• Insight Comportamentale: Utilizzando i Golden Tool Set, il benchmark permette ai ricercatori di studiare non solo se un modello ottiene la risposta corretta, ma come ragiona (ovvero, se identifica e invoca correttamente gli strumenti necessari per gestire l'irregolarità).

Gli autori concludono che, sebbene gli attuali LLM mostrino capacità di ragionamento non banali sulle serie temporali irregolari — specialmente quando supportati da contesto e strumenti — essi incontrano ancora difficoltà nei ragionamenti temporali di livello superiore e richiedono un forte scaffolding per un uso strumentale (tool use) affidabile e agente. Riconoscono i limiti nella loro pipeline di generazione basata su LLM, notando la potenziale sensibilità al prompting e alla qualità del consenso, e suggeriscono che il lavoro futuro dovrebbe concentrarsi su una validazione più ampia e sull'integrazione di dati sorgente naturalmente irregolari.