StationarityToolkit: Comprehensive Time Series Stationarity Analysis in Python

Il paper presenta `StationarityToolkit`, una libreria Python completa che esegue 10 test statistici su trend, varianza e stagionalità per fornire diagnosi dettagliate e azioni correttive sulla stazionarietà delle serie temporali, superando i limiti degli approcci basati su un singolo test.

L'essenziale

Immagina di avere una macchina del tempo che ti permette di guardare i dati del passato per prevedere il futuro. Ma c'è un problema: se la strada su cui viaggi è piena di buchi, curve improvvise o se la macchina stessa cambia peso mentre guidi, non potrai mai prevedere dove finirai.

In statistica, questa "strada stabile" si chiama stazionarietà. Significa che le regole del gioco (la media, la variabilità, le ripetizioni stagionali) non cambiano mai, indipendentemente da quando guardi i dati. Se le regole cambiano, i tuoi modelli di previsione falliscono.

Ecco come StationarityToolkit risolve questo problema, spiegato in modo semplice:

1. Il Problema: Il "Dottore" che fa solo una diagnosi

Fino a oggi, chi analizzava i dati doveva usare diversi "dottori" (test statistici) separati.

• Uno controllava se c'era una tendenza (es. le vendite crescono sempre).
• Un altro controllava se la variabilità era esplosiva (es. i prezzi oscillano in modo caotico).
• Un terzo controllava le stagionalità (es. le vendite di gelato salgono d'estate).

Il problema? Spesso un dato passa il test della tendenza ma fallisce quello della variabilità. Se usi solo un test, è come se il dottore ti dicesse "Non hai la febbre" ignorando che hai una frattura alla gamba. Inoltre, correggere un problema (es. togliere la tendenza) a volte ne crea un altro (es. rende la variabilità esplosiva). È un gioco di "chiudi una porta, si apre una finestra".

2. La Soluzione: Il "Check-up Completo"

StationarityToolkit è come un centro medico di alto livello che fa un check-up completo in una sola seduta. Invece di farti scegliere quale test fare, lo strumento esegue automaticamente 10 esami diversi (4 per la tendenza, 4 per la variabilità, 2 per le stagionalità).

Non ti dice semplicemente "Sei sano" o "Sei malato". Ti dà un rapporto dettagliato che dice:

• "Ehi, c'è una tendenza costante, prova a toglierla."
• "Attenzione, la variabilità sta impazzendo, prova a stabilizzarla."
• "C'è un picco stagionale, controlla se è reale o un errore."

3. Come Funziona: Il Ciclo di Riparazione

Immagina di dover sistemare una casa vecchia.

1. Ispezione: Lo strumento guarda i dati e ti dice esattamente cosa non va.
2. Riparazione: Tu (l'utente) applichi la correzione giusta basandoti sui consigli (es. "rimuovi la tendenza" o "stabilizza la varianza").
3. Nuova Ispezione: Lo strumento controlla di nuovo. A volte, riparare un muro fa crollare il soffitto. Il toolkit ti avvisa subito se hai creato un nuovo problema, permettendoti di ripetere il ciclo finché la casa non è solida.

4. Perché è Speciale?

• Non decide per te: Molti software moderni cercano di "automatizzare" tutto, applicando correzioni a caso. StationarityToolkit è diverso: è un istruttore, non un autista. Ti mostra cosa sta succedendo nei tuoi dati e ti lascia decidere la strategia migliore, perché ogni situazione è unica.
• Legge il calendario: Se dai al toolkit dati con date, capisce automaticamente se stai guardando dati giornalieri, mensili o annuali e adatta i suoi test di stagionalità di conseguenza. Non devi indovinare i periodi.
• Trasparenza: Ti dice anche quando i suoi stessi test potrebbero ingannarti (ad esempio, quando un test confonde una tendenza liscia con un "crollo" improvviso).

In Sintesi

StationarityToolkit è una cassetta degli attrezzi intelligente per chi lavora con i dati nel tempo. Invece di darti un solo martello e sperare che funzioni, ti offre un intero laboratorio diagnostico che ti dice esattamente quale chiave inglese usare, avvertendoti se rischi di stringere troppo o di danneggiare il pezzo. È progettato per rendere la scienza dei dati più chiara, onesta e affidabile per tutti, dai ricercatori agli analisti aziendali.

Sommario tecnico

Titolo: StationarityToolkit: Analisi Completa della Stazionarietà nelle Serie Temporali in Python

1. Il Problema

La stazionarietà è una proprietà fondamentale delle serie temporali, in cui le caratteristiche statistiche (tendenza, varianza, stagionalità) rimangono costanti nel tempo. È un prerequisito essenziale per molti metodi di previsione e analisi (es. ARIMA, VAR, causalità di Granger).
Tuttavia, la non-stazionarietà non è un fenomeno monolitico; può manifestarsi in modi diversi che richiedono trasformazioni specifiche:

• Radici unitarie: Richiedono differenziazione.
• Tendenze deterministiche: Richiedono detrending.
• Instabilità della varianza (volatilità): Richiedono trasformazioni come Box-Cox.
• Pattern stagionali: Richiedono differenziazione stagionale.

Il problema attuale risiede nel fatto che i test statistici esistenti rilevano solo specifici tipi di non-stazionarietà. Un serie temporale potrebbe superare un test ma fallirne un altro. Gli approcci basati su un singolo test sono insufficienti perché non distinguono tra tipi concettualmente diversi di non-stazionarietà. Inoltre, le trasformazioni applicate per correggere un problema (es. differenziazione per rimuovere una tendenza) possono introdurre involontariamente nuovi problemi (es. non-stazionarietà della varianza). Attualmente, non esiste uno strumento che automatizzi un flusso di lavoro iterativo di "test-transform-retest" (testare, trasformare, ritestare) in modo integrato e trasparente.

2. Metodologia e Architettura

StationarityToolkit è una libreria Python pura progettata per colmare questa lacuna. La sua architettura si basa sui seguenti principi:

• Suite di Test Integrata: Esegue automaticamente 10 test statistici suddivisi in tre categorie:
  1. Trend (4 test): Include ADF, KPSS, Phillips-Perron e Zivot-Andrews. Questi test vengono eseguiti sia con parametri "solo costante" che "costante + tendenza" per distinguere tra radici unitarie e trend deterministici.
  2. Varianza (4 test): Include test per l'instabilità della varianza e il clustering della volatilità (es. test ARCH/GARCH, Levene, Bartlett).
  3. Stagionalità (2 test): Rileva pattern stagionali stocastici o deterministici.
• Inferenza Automatica della Frequenza: Il toolkit richiede un indice di tipo datetime e inferisce automaticamente la frequenza dei dati (giornaliera, mensile, ecc.) per determinare i periodi di stagionalità da testare, eliminando la necessità di specificazione manuale.
• Flusso di Lavoro Iterativo: Supporta un approccio ciclico dove l'utente può applicare trasformazioni e ritestare immediatamente per verificare l'efficacia e l'assenza di nuovi problemi introdotti.
• Design "Diagnostics over Automation": A differenza di versioni precedenti o di altri strumenti che tentano trasformazioni automatiche (spesso con risultati imprevedibili), StationarityToolkit si concentra sulla diagnostica. Fornisce all'utente informazioni dettagliate per prendere decisioni informate, piuttosto che decidere la trasformazione al posto dell'utente.

3. Contributi Chiave

I principali contributi tecnici e pratici del toolkit sono:

1. Test Completo di Default: Esegue tutti i 10 test in una singola chiamata, riducendo il carico cognitivo per l'utente e garantendo che non vengano perse informazioni critiche.
2. Output Strutturato e Azionabile: Invece di un semplice esito binario (passa/falla), ogni test restituisce note concise, avvertenze (caveats) e suggerimenti specifici (es. "Radice unitaria rilevata: considerare la differenziazione").
3. Rilevamento Contestuale della Stagionalità: Adatta automaticamente i periodi di test in base alla frequenza inferita dei dati.
4. Reporting Ibrido: Il metodo report() restituisce i risultati come un DataFrame di Pandas (facilmente integrabile in pipeline di analisi) e opzionalmente genera un report in formato Markdown per la documentazione.
5. Trasparenza sui Limiti: Il toolkit evidenzia esplicitamente i limiti dei singoli test (es. come il test Zivot-Andrews possa rilevare "rotture" in trend lisci o come i test ARCH possano essere attivati dall'autocorrelazione), cosa che gli approcci a test singolo spesso ignorano.

4. Risultati e Performance

• Efficienza: L'esecuzione di tutti i test su una serie temporale di 1000 righe richiede meno di 2 secondi su hardware moderno.
• Validazione: Il toolkit è stato validato sia su dati sintetici (con proprietà note) che su dati reali. La documentazione include esempi dettagliati che mostrano come trasformazioni identiche possano produrre risultati opposti su diversi dataset, sottolineando la necessità dell'approccio diagnostico.
• Disponibilità: Il pacchetto è disponibile su PyPI dal 2023 e mantiene una manutenzione attiva.

5. Significato e Impatto

StationarityToolkit rappresenta un significativo avanzamento nell'ecosistema Python per l'analisi delle serie temporali:

• Colma un Vuoto: Nessun altro strumento offre un test integrato su tutte le dimensioni (trend, varianza, stagionalità) con note esplicative e avvertenze.
• Riproducibilità e Trasparenza: Fornisce un contesto chiaro sul perché e quando un test fallisce o ha successo, rendendo i flussi di lavoro di ricerca più riproducibili e comprensibili.
• Prevenzione di Errori: Aiuta i ricercatori e i data scientist a evitare l'errore comune di applicare trasformazioni senza verificare se hanno risolto il problema o ne hanno creato di nuovi (es. differenziare una serie stazionaria in varianza).
• Adozione Pratica: Essendo basato su librerie standard (numpy, pandas, scipy, statsmodels, arch), si integra perfettamente nei flussi di lavoro esistenti per la modellazione ARIMA/SARIMA, l'analisi VAR e le applicazioni di Machine Learning.

In sintesi, il toolkit sposta il paradigma dall'automazione cieca alla diagnostica intelligente, fornendo agli analisti gli strumenti per comprendere la natura specifica della non-stazionarietà nei propri dati prima di procedere con qualsiasi trasformazione.