TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

Riepilogo Tecnico: TSFMAudit – Audit della Contaminazione dei Dati nei Modelli Fondamentali per le Serie Temporali

1. Formulazione del Problema

I Modelli Fondamentali per le Serie Temporali (TSFM) sono sempre più preaddestrati su grandi corpora eterogenei derivanti da fonti reali e sintetiche diverse. Parallelamente, i benchmark di valutazione ampiamente utilizzati (ad esempio GIFT-Eval, TIME) sono spesso assemblati dalle stesse fonti pubbliche. Questa sovrapposizione crea un rischio significativo di contaminazione del preaddestramento, in cui i dati di valutazione sono stati esposti durante la fase di preaddestramento del modello. Tale esposizione può gonfiare artificialmente le stime delle prestazioni a valle, portando a valutazioni eccessivamente ottimistiche delle capacità di generalizzazione di un modello.

L'audit di tale contaminazione nelle serie temporali è univocamente impegnativo rispetto ai Modelli Linguistici di Grande Dimensione (LLM) a causa della natura dei dati:

• Continuità ed Eterogeneità: Le serie temporali sono valori continui, rendendo inapplicabile la corrispondenza esatta di stringhe o token (utilizzata nel rilevamento di sovrapposizioni negli LLM).
• Sensibilità al Preprocessing: Lo stesso segnale sottostante può riapparire dopo ridimensionamento, rinominazione, finestramento o altre trasformazioni, rendendo fragile il semplice rilevamento dei duplicati.
• Mancanza di Documentazione: La documentazione a livello di corpus è spesso incompleta, rendendo difficile verificare l'esposizione tramite i soli metadati.
• Inaffidabilità delle Metriche Statiche: I punteggi di perdita o di perplessità statici sono indicatori inaffidabili perché tendenze stagionali fluide o dataset semplici possono produrre una bassa perdita anche per modelli che non hanno mai visto i dati.

Il documento formalizza l'obiettivo dell'audit della contaminazione: dato un TSFM candidato $f_\theta$ e un dataset auditato $D$, l'obiettivo è stimare un punteggio $S(f_\theta, D)$ che quantifichi il rischio di contaminazione da preaddestramento, distinguendo tra coppie "pulite" e "contaminate" senza accesso all'intero corpus di preaddestramento.

2. Metodologia: TSFMAudit

Gli autori propongono TSFMAudit, un framework basato sulla dinamica di adattamento delle sonde. L'intuizione fondamentale è che la contaminazione si manifesta come un adattamento insolitamente efficiente durante una sonda di fine-tuning.

Osservazioni Chiave:

1. Adattamento Efficiente: Se un modello ha già codificato strutture predittive specifiche di un dataset durante il preaddestramento, richiede meno adattamento quando successivamente sottoposto a fine-tuning sullo stesso dataset. Ciò si traduce in una riduzione più rapida della perdita con un movimento minimo dei parametri del backbone.
2. Bias sulla Difficoltà del Dataset: Un adattamento rapido non è esclusivo dei modelli contaminati; anche i modelli puliti possono adattarsi rapidamente se il dataset è intrinsecamente facile. Per mitigare ciò, il metodo confronta il candidato con una Suite di Riferimento di modelli con architettura comparabile ma senza esposizione al dataset target.

La Pipeline TSFMAudit:

1. Fase di Sonda: Sia il modello candidato che una suite di modelli di riferimento ($\mathcal{R}$) vengono sottoposti a fine-tuning sul dataset auditato $D$ per un numero fisso di epoche ($T_{probe}$).
2. Estrazione delle Tracce: Per ogni epoca $t$, il sistema registra:
   • $\ell_t$: La perdita di previsione.
   • $w_t$: Lo spostamento cumulativo $\ell_2$ dei parametri del backbone dal loro stato iniziale.
   • Metriche derivate: Riduzione relativa della perdita ($d_t$) ed efficienza di adattamento ($a_t = d_t / w_t$).
3. Debiasing tramite Confronto di Riferimento: Per rimuovere il bias specifico della difficoltà del dataset, le caratteristiche della traccia del candidato vengono confrontate elemento per elemento con la traccia di ciascun modello di riferimento. Ciò genera caratteristiche di differenza ($\Delta$) e rapporto ($\rho$).
4. Punteggio e Calibrazione: Uno scorer leggero (regressione logistica) viene addestrato su un set di addestramento per l'audit utilizzando queste caratteristiche debiasate per prevedere la probabilità di contaminazione.
   • Soglia: Il sistema adotta un principio conservativo "non accusare l'innocente" (calibrazione FP-0). La soglia decisionale $\tau$ è impostata al punteggio massimo osservato su dataset di validazione puliti noti, garantendo che nessun dataset pulito venga falsamente segnalato come contaminato.

3. Contributi Chiave

• Primo Studio Sistematico: Per quanto ne sappiano gli autori, questo è il primo lavoro a studiare formalmente e proporre un metodo per l'audit della contaminazione da preaddestramento specificamente per i TSFM.
• Metodologia Innovativa: L'introduzione di TSFMAudit, che sfrutta le dinamiche di adattamento durante la sonda (riduzione della perdita vs. movimento dei parametri) piuttosto che la perdita statica o l'estrazione di memorizzazione.
• Debiasing Basato su Riferimento: Un meccanismo per controllare la difficoltà del dataset confrontando l'efficienza di adattamento del candidato con una suite di modelli di riferimento addestrati da zero o su dati non correlati.
• Valutazione Completa: Il metodo è stato valutato su 6 TSFM (Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) e 187 dataset (combinando i benchmark GIFT-Eval e TIME), confrontandosi con 10 baseline adattate dalla letteratura sugli LLM.

4. Risultati Sperimentali

Gli esperimenti affrontano quattro domande principali riguardanti l'efficacia del metodo:

• Prestazioni di Rilevamento (Q1): TSFMAudit supera significativamente le baseline basate sulla perdita statica (Raw Loss, Loss Drop Rate), i rapporti ispirati a LiRA e le baseline nel dominio della frequenza. Mentre le metriche statiche producono coefficienti di correlazione di Matthews (MCC) vicini allo zero, TSFMAudit raggiunge un MCC di 0.125 (configurazione All Ref) e un Macro-F1 di 0.521. Gli autori notano che i valori assoluti di MCC rimangono modesti, riflettendo la difficoltà intrinseca del problema sotto una calibrazione conservativa FP-0 e l'uso di etichette proxy rumorose.
• Effetto del Debiasing (Q2): Il debiasing basato su riferimento è cruciale. Tutte le varianti basate su riferimento superano la baseline delle dinamiche solo del candidato. La configurazione "All Ref" (utilizzando tutti e quattro i modelli di riferimento: ScratchCNN, ScratchTransformer, Stat, VisionTS) produce le migliori prestazioni aggregate, confermando che i segnali di adattamento relativi sono più informativi di quelli assoluti.
• Utilità delle Caratteristiche (Q3): L'ablazione delle caratteristiche mostra che nessuna singola caratteristica è sufficiente. L'efficienza di adattamento ($a_t$) è la singola caratteristica più forte, supportando l'ipotesi che la contaminazione sia caratterizzata da alta efficienza (rapida riduzione della perdita, basso movimento dei parametri). Tuttavia, combinare tutte le caratteristiche dinamiche (perdita, spostamento, efficienza) produce i migliori risultati.
• Implementazione Pratica (Q4): Il metodo è stato testato sul Benchmark TIME, un nuovo benchmark esterno privo di etichette di contaminazione. Utilizzando un auditor fisso addestrato su dati precedenti, TSFMAudit ha correttamente identificato i dataset TIME come "puliti" (non trapelati) con alta confidenza (tasso di non-trapelo raggruppato > 95%), dimostrando la sua utilità in scenari di implementazione reale senza riaddestramento.

5. Significato e Affermazioni

Il documento afferma che TSFMAudit stabilisce le dinamiche durante la sonda come una base promettente per un audit affidabile della contaminazione nelle serie temporali.

• Cambio di Paradigma: Si allontana dalle metriche statiche pre-sonda (che sono inaffidabili nelle serie temporali) verso un'analisi comportamentale dinamica durante il fine-tuning.
• Fattibilità: Dimostra che l'audit della contaminazione è fattibile anche senza accesso al corpus di preaddestramento o alla capacità di riprodurre il preaddestramento su larga scala, a condizione che si possa sondare il comportamento di adattamento del modello.
• Limitazioni: Gli autori rimangono modesti sui risultati, riconoscendo che il problema del rilevamento è impegnativo. I punteggi MCC modesti indicano che, sebbene il metodo sia superiore alle baseline, non è un rilevatore perfetto, specialmente sotto vincoli rigorosi di falsi positivi e quando si tratta di etichette proxy che potrebbero non catturare tutte le forme di trapelamento (ad esempio, duplicati trasformati).

In conclusione, TSFMAudit fornisce il primo framework dedicato all'audit dei TSFM, offrendo un approccio robusto e dinamico per identificare la contaminazione dei dati che tiene conto della natura continua ed eterogenea dei dati delle serie temporali.