Beyond Coefficients: Forecast-Necessity Testing for Interpretable Causal Discovery in Nonlinear Time-Series Models

1. Il Problema: Interpretazione Fuorviante nei Modelli Non Lineari

I modelli di apprendimento automatico non lineari, in particolare quelli autoregressivi neurali, sono sempre più utilizzati per scoprire relazioni causali nelle serie temporali. Tuttavia, l'interpretazione dei loro output presenta un problema fondamentale:

• L'errore attuale: I "punteggi causali" (causal scores) generati da questi modelli (spesso derivati da regolarizzazioni o norme dei gradienti) vengono trattati erroneamente come analoghi dei coefficienti di regressione lineare o statistiche di test.
• La conseguenza: Questo porta a conclusioni fuorvianti sulla significatività statistica. Un punteggio elevato può riflettere la persistenza temporale, la ridondanza tra predittori o effetti specifici di un regime, piuttosto che una vera rilevanza causale. Viceversa, relazioni critiche per la previsione ma con contributi medi modesti possono essere ignorate.
• Il gap: Esiste una distinzione non risolta tra quanto un contributo è "grande" in media e se è "necessario" per la previsione.

2. Metodologia: Il Framework di "Forecast-Necessity"

Gli autori propongono un cambio di paradigma: invece di valutare la rilevanza causale basandosi sulla magnitudine dei coefficienti, questa dovrebbe essere valutata attraverso la necessità di previsione (forecast necessity).

Definizione Concettuale

Una relazione causale è definita "necessaria per la previsione" se la sua rimozione da un modello predittivo comporta un degrado statisticamente significativo delle prestazioni di previsione fuori campione (out-of-sample). Questo approccio opera un criterio di dipendenza predittiva (simile alla causalità di Granger) adattato a contesti non lineari e regolarizzati.

Architettura del Modello: NAVAR

Lo studio utilizza come caso di studio il Neural Additive Vector Autoregression (NAVAR).

• Struttura: NAVAR modella ogni variabile target come una somma di funzioni univariate non lineari apprese per ciascuna variabile sorgente e per ciascun lag.
• Vantaggio: La struttura additiva permette di isolare il contributo di ogni variabile sorgente senza dover assumere linearità o forme parametriche specifiche.
• Addestramento: Il modello è addestrato minimizzando l'errore quadratico medio (MSE) con una penalità di regolarizzazione $\ell_1$ applicata agli output delle funzioni di contributo (non ai pesi della rete), per incoraggiare la sparsità del grafo causale.

Procedura di Valutazione (Edge Ablation)

Il framework proposto si basa su due fasi principali:

1. Ablazione dell'Arco (Edge Ablation): Per ogni relazione causale candidata ($j \to i$), viene costruito un modello "ristretto" in cui la funzione di contributo della variabile $j$ viene rimossa (imposta a zero) per la previsione di $i$. Crucialmente, il modello non viene riaddestrato; si sfrutta la struttura additiva per isolare il contributo marginale mantenendo invariato il resto del modello.
2. Test di Confronto delle Previsioni: Si confrontano le prestazioni di previsione fuori campione del modello completo e di quello ristretto.
   • Si calcola la differenza di perdita (MSE) $d_t = L^{(-j)}_t - L_t$.
   • Viene applicato il Test di Diebold-Mariano (DM) (unilaterale) per verificare se la differenza media di perdita è statisticamente significativa ($H_0: E[d_t] = 0$ vs $H_1: E[d_t] > 0$).
   • Si utilizza un stimatore di varianza HAC (Heteroscedasticity and Autocorrelation Consistent) per gestire la correlazione seriale nelle serie temporali.

Se il test rifiuta l'ipotesi nulla, la relazione è classificata come necessaria per la previsione.

3. Risultati Chiave: Studio di Caso sullo Sviluppo Democratico

Il framework è stato applicato a un dataset panel di 139 paesi (1990-2024) utilizzando indicatori di democrazia dal progetto V-Dem (Varieties of Democracy).

• Disallineamento tra Punteggio e Necessità: L'analisi ha dimostrato che la magnitudine del punteggio causale e la necessità di previsione non sono equivalenti.
  • Esempio specifico: Per la previsione dell'indicatore "Suffragio" (Suffrage), la variabile "Accesso Uguale" (Equal Access) aveva un punteggio causale NAVAR più alto (0.0065) rispetto a "Protezione Uguale" (Equal Protection, 0.0056).
  • Risultato del test di necessità: Rimuovendo "Protezione Uguale", l'errore di previsione aumentava significativamente (DM stat = 5.54, p $\approx$ 1.5 $\times$ 10$^{-8}$), rendendola necessaria. Al contrario, rimuovere "Accesso Uguale" non alterava sostanzialmente la precisione (DM stat = 1.02, p = 0.154), rendendola non necessaria, nonostante il punteggio più alto.
• Cause della discrepanza: Le relazioni con punteggi alti ma non necessari sono spesso dovute a ridondanza (altre variabili correlati possono sostituire il contributo) o persistenza temporale. Le relazioni necessarie possono avere contributi medi piccoli ma consistenti e insostituibili.

4. Contributi Principali

1. Formalizzazione del Concetto: Definizione della "necessità di previsione" come criterio interpretabile per la rilevanza causale nei modelli non lineari, spostando l'attenzione dai parametri al comportamento del modello.
2. Framework Operativo: Introduzione di una procedura pratica basata sull'ablatione degli archi e sul confronto delle previsioni (Test DM) per validare le relazioni causali in modo empirico.
3. Dimostrazione Empirica: Evidenza che i metodi basati sulla magnitudine possono portare a interpretazioni qualitative errate in sistemi complessi, sottolineando l'importanza di distinguere tra contributi frequenti/grandi e contributi indispensabili.

5. Significato e Implicazioni

• Affidabilità nei Domini ad Alto Rischio: In settori come la politica, l'economia o la sanità, interpretare erroneamente un modello può portare a decisioni sbagliate. Il test di necessità offre una giustificazione più solida e trasparente per le affermazioni causali.
• Complementarità agli Strumenti Esistenti: Questo approccio non sostituisce gli strumenti di spiegazione post-hoc (come SHAP o Integrated Gradients), ma li completa. Mentre gli strumenti esistenti spiegano come una previsione è formata, il test di necessità determina se quella componente è indispensabile.
• Indipendenza dalle Assunzioni Strutturali: Il metodo non richiede assunzioni causali strutturali o teorie di dominio specifiche, rendendolo applicabile a vari contesti dove l'inferenza statistica tradizionale è difficile.
• Limitazioni e Futuro: Il framework è attualmente limitato a modelli con struttura additiva (come NAVAR) e richiede correzioni per i test multipli. Tuttavia, apre la strada a un ragionamento causale centrato sulla previsione, con potenziali estensioni verso l'inferenza causale dinamica strutturale.

In sintesi, il paper sostiene che nei modelli di serie temporali non lineari, ciò che è importante non è necessariamente ciò che ha il coefficiente più grande, ma ciò che il modello non può fare a meno di prevedere accuratamente.