xaitimesynth: A Python Package for Evaluating Attribution Methods for Time Series with Synthetic Ground Truth

Il paper presenta xaitimesynth, un pacchetto Python open source che fornisce un'infrastruttura riutilizzabile per la generazione di serie temporali sintetiche con verità fondamentale nota e per la valutazione di metodi di attribuzione tramite metriche di localizzazione standard.

L'essenziale

Immagina di avere un oracolo digitale, un'intelligenza artificiale che guarda una sequenza di dati nel tempo (come il battito cardiaco di un paziente o le vendite di un negozio) e ti dice: "Questo è un attacco di cuore!" oppure "Questo negozio venderà moltissimo!".

Ma c'è un problema: l'oracolo non ti dice perché lo pensa.

Nell'Intelligenza Artificiale, questo "perché" si chiama attribuzione. È come se l'AI ti mostrasse una mappa di calore, evidenziando quali momenti specifici della sequenza hanno convinto il modello a prendere quella decisione.

Il Problema: Come facciamo a sapere se la mappa è giusta?

Qui nasce il dilemma descritto nel paper. Per sapere se la mappa dell'AI è corretta, dovremmo sapere esattamente dove si trova la verità. Ma nei dati reali (come le cartelle cliniche o i dati finanziari), la verità non è scritta da nessuna parte. Non c'è un'etichetta che dice: "Ehi, guarda proprio qui, tra le 14:00 e le 14:05, c'era il segnale importante".

Senza questa "verità nascosta" (ground truth), è come cercare di correggere un compito a scuola senza avere le soluzioni del professore.

La Soluzione: Costruire un Mondo Finto Perfetto

Gli scienziati hanno un trucco: creano dati sintetici. Immagina di essere un regista che costruisce un set cinematografico. Invece di girare nella realtà caotica, costruisci una stanza dove sai esattamente dove sono posizionate le luci e gli oggetti.

Fino ad oggi, ogni ricercatore che voleva testare le sue mappe di calore doveva costruire il proprio set da zero, ogni volta, reinventando la ruota. Era come se ogni cuoco dovesse coltivarsi le proprie verdure prima di poter cucinare una ricetta.

L'Innovazione: xaitimesynth

Il paper presenta xaitimesynth, che è come un kit di costruzione "fai-da-te" per dati temporali. È un pacchetto software (una scatola di attrezzi digitale) che fa tre cose magiche:

1. Crea il "Finto Reale": Genera sequenze di dati (come un battito cardiaco o un grafico di vendite) che sembrano reali.
2. Nasconde il Segreto (e lo tiene in tasca): All'interno di questi dati, inserisce un "segnale speciale" (un picco, un'onda, un rumore) in un momento preciso. Il software sa esattamente dove lo ha messo e lo registra come verità segreta.
3. Fornisce il Righello: Offre strumenti pronti per misurare quanto la mappa dell'AI si avvicina a quel punto segreto.

L'Analogia del "Cacciatore di Tesori"

Immagina di giocare a un gioco del Cacciatore di Tesori con un amico (l'AI).

• Tu nascondi un tesoro (il segnale importante) in un lungo tunnel (la sequenza temporale).
• Il tuo amico deve indicare dove pensa che sia il tesoro.
• Prima di xaitimesynth: Ogni volta che giocavate, dovevi scavare il tunnel a mano, nascondere il tesoro e poi misurare la distanza a occhio nudo. Era lento e disordinato.
• Con xaitimesynth: Hai un tunnel prefabbricato. Appena lo assembli, il sistema ti dice: "Il tesoro è nascosto esattamente tra il metro 40 e il metro 50". Poi, il tuo amico indica il suo punto. Il sistema calcola automaticamente: "Hai sbagliato di 5 metri!" o "Hai azzeccato!".

Cosa offre esattamente questo pacchetto?

• Flessibilità: Puoi creare tunnel semplici (dati con una sola linea) o complessi (dati con molte linee, come un ECG con 12 derivazioni).
• Riciclabilità: Puoi salvare le istruzioni su come hai costruito il tunnel in un file di testo (YAML). Così, se un altro ricercatore vuole ripetere il tuo esperimento, può usare le tue stesse istruzioni. Niente più "ma il mio computer era diverso dal tuo".
• Misurazioni Precise: Include già i "righelli" matematici più usati (come l'AUC-PR o la Relevance Mass Accuracy) per dire se l'AI sta guardando nel posto giusto o se sta solo indovinando.

Perché è importante?

Senza questo strumento, potremmo avere un'AI che sembra bravissima, ma in realtà sta guardando le cose sbagliate (ad esempio, sta guardando il rumore di fondo invece del segnale reale). Con xaitimesynth, possiamo fare un test di realtà controllato: se l'AI non riesce a trovare il tesoro nel nostro tunnel finto dove sappiamo dove si trova, allora non è affidabile nemmeno nel mondo reale.

In sintesi, xaitimesynth è la cassetta degli attrezzi standardizzata che permette agli scienziati di costruire laboratori di prova perfetti, per assicurarsi che le Intelligenze Artificiali non stiano solo "allucinando" le loro spiegazioni.

Sommario tecnico

1. Il Problema

L'articolo affronta una sfida fondamentale nell'ambito dell'Intelligenza Artificiale Spiegabile (XAI) applicata alle serie temporali: la difficoltà di valutare i metodi di attribuzione.

• Mancanza di Verità Fondamentale (Ground Truth): Nei dataset reali, è quasi impossibile sapere con certezza quali punti temporali specifici abbiano guidato una previsione del modello. Senza questa "verità fondamentale", è difficile determinare se un metodo di attribuzione stia correttamente identificando le cause della decisione.
• Limiti delle Metriche Esistenti: Le metriche basate sulla perturbazione (che modificano gli input per vedere come cambia l'output) sono sensibili alle scelte implementative e possono produrre risultati sistematicamente distorti tra diverse classi.
• Ridondanza nella Ricerca: Attualmente, ogni studio che utilizza dati sintetici per valutare l'XAI deve reimplementare da zero la generazione dei dati e il tracciamento della verità fondamentale. Questo porta a una mancanza di standardizzazione, riproducibilità e riutilizzo del codice tra diversi ricercatori.

2. Metodologia

Il paper propone xaitimesynth, un pacchetto Python progettato per standardizzare il flusso di lavoro di valutazione basato su dati sintetici. La metodologia si basa su un modello additivo per la generazione dei dati:

• Generazione dei Dati: Ogni serie temporale sintetica $x$ è costruita come la somma di due componenti:
  $$x = n + f$$
  Dove:
  • $n$ è un segnale di fondo (es. rumore gaussiano, camminata casuale, segnale stagionale).
  • $f$ è una feature discriminante per la classe, localizzata in una finestra temporale specifica (es. un picco, un impulso gaussiano, un burst oscillatorio).
• Maschera di Verità Fondamentale: Il pacchetto registra automaticamente la posizione temporale della feature $f$ come una maschera binaria di ground truth. Questo permette di confrontare direttamente l'output del metodo di attribuzione con la posizione esatta della feature nota.
• Flessibilità e Configurazione:
  • Supporta serie temporali univariate e multivariate.
  • Offre un'API dichiarativa (Builder API) e un formato di configurazione YAML per definire in modo flessibile segnali, feature, finestre temporali e allineamento tra canali.
  • Include generatori predefiniti (rumore, trend, picchi, impulsi) e permette l'estensione tramite funzioni personalizzate.

3. Contributi Chiave

I principali contributi del lavoro sono:

1. Pacchetto xaitimesynth: Una libreria open-source che unisce la generazione di serie temporali sintetiche con il tracciamento automatico della verità fondamentale, eliminando la necessità di reimplementazioni ad hoc.
2. Interfacce di Configurazione: L'uso di YAML e di un'API fluida (fluent API) rende le definizioni dei dataset concise, riproducibili e facilmente condivisibili.
3. Suite di Metriche di Localizzazione: Il pacchetto implementa metriche standard per valutare la sovrapposizione tra le attribuzioni e la maschera di ground truth, tra cui:
   • AUC-ROC e AUC-PR: Per valutare la qualità del ranking delle attribuzioni.
   • Relevance Mass Accuracy (RMA): Calcola la frazione della massa totale di attribuzione che ricade all'interno della finestra di ground truth.
   • Relevance Rank Accuracy (RRA): Verifica se i top-K punti temporali con attribuzione più alta cadono nella finestra corretta.
   • Pointing Game, NAC Score, MAE, MSE: Altre metriche per valutazioni più granulari o basate su regressione.
4. Indipendenza dai Framework: Il pacchetto non richiede framework di deep learning (come PyTorch o TensorFlow) per la generazione dei dati o il calcolo delle metriche, dipendendo solo da librerie standard come NumPy e pandas.

4. Risultati e Validazione

Sebbene il paper si concentri principalmente sull'introduzione dello strumento piuttosto che su un esperimento empirico massivo, i risultati sono presentati attraverso:

• Esempi di Utilizzo: Dimostrazioni di come definire un dataset a due classi, generare split di training/test e valutare le attribuzioni (Listing 1).
• Visualizzazione: Figure che mostrano la separazione chiara tra segnale di fondo, feature localizzata e la somma totale, con la maschera di ground truth evidenziata.
• Confronto con lo Stato dell'Arte: Una tabella comparativa (Tabella 1) che posiziona xaitimesynth rispetto ad altre librerie (come Captum, Quantus, Time Interpret, TimeSynth). xaitimesynth è l'unico pacchetto che combina nativamente la generazione di serie temporali sintetiche con le metriche di localizzazione specifiche per XAI, colmando un vuoto identificato nella letteratura esistente.

5. Significatività

L'importanza di questo lavoro risiede nella sua capacità di standardizzare la valutazione nell'XAI per le serie temporali:

• Riproducibilità: Fornisce un terreno di prova comune (benchmark) che permette ai ricercatori di confrontare direttamente i propri metodi di attribuzione con quelli di altri, utilizzando dataset generati con parametri identici.
• Controllo Sperimentale: Permette di investigare il comportamento dei metodi di attribuzione in scenari controllati dove la verità fondamentale è nota per costruzione, agendo come un "sanity check" (controllo di sanità mentale) per i modelli.
• Accessibilità: Rendendo l'infrastruttura di generazione dati e valutazione disponibile come pacchetto open-source, riduce la barriera all'ingresso per studi futuri sull'XAI temporale, spostando il focus dalla creazione di dati alla ricerca metodologica vera e propria.

In sintesi, xaitimesynth trasforma un processo di valutazione frammentato e ripetitivo in un flusso di lavoro standardizzato, robusto e riproducibile, essenziale per lo sviluppo di metodi di spiegazione affidabili per l'intelligenza artificiale nelle serie temporali.