Sintesi Tecnica: Quando le scoperte di interazioni neurali sono reali?

Definizione del Problema

Il paper affronta una domanda fondamentale nella modellazione di serie temporali interpretabili: quando un modello neurale (nello specifico uno progettato per catturare interazioni) riporta che una variabile modula l'effetto di un'altra su un target, questa interazione scoperta è una proprietà genuina del processo generatore dei dati o è semplicemente un artefatto della flessibilità del modello?

Sebbene la regressione autoregressiva vettoriale additiva neurale (NAVAR) e i metodi correlati alla causalità di Granger possano decomporre la dinamica in contributi sorgente interpretabili, essi non possono esprimere naturalmente la modificazione dell'effetto (dove l'influenza di una variabile dipende dal livello di un'altra). Estendere questi modelli includendo gate moltiplicativi (G-NAVAR) permette tali interazioni, ma gli autori sostengono che la capacità rappresentativa non garantisce l'identificabilità. Un modello flessibile può ammettere molteplici decomposizioni di interazione osservazionalmente equivalenti che si adattano ugualmente bene ai dati, ma che differiscono nella loro interpretazione strutturale. Il problema centrale è determinare se la struttura di interazione recuperata sia unicamente identificabile dai dati osservazionali o se sia un artefatto di ottimizzazione guidato dalla geometria del supporto degli input.

Metodologia

Architettura del Modello: G-NAVAR

Gli autori studiano la Gated Neural Additive Vector Autoregression (G-NAVAR). Per una variabile target $x_i$, il modello decompone la media condizionale in una somma di prodotti di archi:
$$\hat{x}_{i,t} = \beta_i + \sum_j f_{ij}(x^{(K)}_{j,t}) \prod_{k \in M_{ij}} g_{ijk}(x^{(K)}_{k,t})$$
Qui, $f_{ij}$ è una funzione base per la sorgente $j$, e $g_{ijk}$ sono gate moltiplicativi strettamente positivi guidati da candidati modulatori $k \in M_{ij}$. Il prodotto $F_{ij} = f_{ij} \prod g_{ijk}$ rappresenta il contributo effettivo della sorgente $j$.

Quadro Teorico

Il paper stabilisce le condizioni di identificabilità analizzando le simmetrie di gauge e la geometria del supporto:

1. Normalizzazione e Minimalità: Per rimuovere simmetrie triviali (ridistribuzione della scala, permutazione dei modulatori, inserimento di gate uguali a 1), gli autori impongono:
   • Normalizzazione: $E[g_{ijk}] = 1$.
   • Minimalità: Vengono inclusi solo i modulatori essenziali (quelli che cambiano non trivialmente il prodotto dell'arco).
2. Ostruzioni all'Identificabilità:
   • Leakage indotto dalla dipendenza: Se gli input sono dipendenti, il condizionamento non isola gli effetti sorgente; variazioni di ordine inferiore possono "perdere" (leak) tra i termini specifici dell'arco.
   • Supporto a bassa dimensionalità: Se il supporto congiunto dei modulatori è effettivamente a bassa dimensionalità (es. collinearità), diverse funzioni di gate possono concordare perfettamente sui dati osservati pur differendo altrove, rendendo impossibile il recupero.
3. Teorema di Identificabilità: Gli autori dimostrano un teorema di identificabilità della popolazione per il G-NAVAR minimale normalizzato sotto specifiche condizioni:
   • Separabilità degli archi: I contributi da diverse sorgenti devono essere distinguibili. Ciò è ottenuto tramite una condizione di somma diretta per supporti disgiunti o una Decomposizione Funzionale Gerarchicamente Ortogonale (HOFD) per modulatori condivisi.
   • Ricchezza del Supporto: Il supporto congiunto dell'insieme dei modulatori deve essere un insieme prodotto aperto, connesso e a piena dimensionalità con una densità strettamente positiva.
   • Fedeltà dell'Interazione dei Gate: L'insieme dei modulatori elencato deve corrispondere ai componenti di interazione strutturale.

Strumenti Diagnostici Pratici

La teoria fornisce due strumenti operativi per i professionisti:

1. Diagnostica Pre-Fit (Rango Effettivo): Il rango effettivo ($r_{eff}$) della matrice di covarianza del blocco di lag congiunto funge da proxy per la ricchezza del supporto.
   $$r_{eff}(S) = \frac{(\text{tr } \Sigma_S)^2}{\text{tr}(\Sigma_S^2)}$$
   Un basso rango effettivo indica un collasso del supporto (degenerazione), prevedendo la non-identificabilità prima ancora di qualsiasi fitting del modello.
2. Controllo di Stabilità Post-Fit: Un controllo di stabilità a due seed consiste nel calibrare il modello due volte partendo da seed casuali indipendenti. Se le classifiche dei modulatori recuperati discordano significativamente, la struttura di interazione probabilmente non è recuperabile in modo stabile, anche se il supporto appare ricco.

Risultati Chiave

Esperimenti Sintetici

• Recupero alla Scala: In un ambiente sintetico con supporto ricco, G-NAVAR recupera con successo i veri set di modulatori e le forme dei gate all'aumentare della dimensione del campione, superando i baseline additivi (che non possono catturare la struttura moltiplicativa) e eguagliando l'accuratezza predittiva di MLP black-box e modelli ANOVA funzionali (GA2M).
• Transizione di Collasso del Supporto: Man mano che aumenta la correlazione tra i modulatori (riducendo il rango effettivo), il recupero dei set di modulatori collassa. L'errore nella stima dei gate aumenta continuamente al diminuire di $r_{eff}$, confermando che l'identificabilità è una funzione della geometria del supporto, non solo della dimensione del campione.
• Agnosticismo del Modello: Sotto un supporto ricco, molteplici modelli consapevoli delle interazioni (G-NAVAR, GA2M) recuperano la struttura, suggerendo che la parametrizzazione è meno critica della condizione di supporto per il recupero.

Esperimenti su Dati Reali

Gli autori validano la teoria attraverso tre regimi empirici distinti:

1. Qualità dell'Aria a Pechino (Supporto Ricco, Recuperabile):
   • Contesto: Modellazione degli archi $NO_2 \to O_3$ e $PM_{2.5} \to PM_{10}$.
   • Risultato: Un alto rango effettivo ($r_{eff} > 4$) coincide con il recupero stabile dei modulatori attesi (Temperatura per l'ozono, Velocità del vento per la dispersione) in tutti i siti. La diagnostica pre-fit ha predetto correttamente la recuperabilità.
2. Indicatori di Sviluppo WDI (Supporto Ricco, Instabile):
   • Contesto: Modellazione dell'effetto delle rendite delle risorse sulla crescita del PIL modulata da investimenti/commercio.
   • Risultato: Nonostante l'alto rango effettivo ($r_{eff} \approx 4.47$), il controllo a due seed ha rivelato instabilità (disaccordo sui top modulatori, inversioni di segno nelle pendenze dei gate). Ciò dimostra che il supporto ricco è necessario ma non sufficiente; la struttura di interazione stessa potrebbe essere debole o non identificabile nella distribuzione dei dati.
3. Volatilità Realizzata (Supporto Collassato, Non Recuperabile):
   • Contesto: Modellazione degli spillover di volatilità tra indici azionari globali.
   • Risultato: Rango effettivo estremamente basso ($r_{eff} < 2$) dovuto all'alta correlazione incrociata tra i mercati. La diagnostica pre-fit ha segnalato correttamente il regime come non identificabile. Il recupero è stato instabile e il modello non è riuscito a superare i baseline additivi.

Significato e Rivendicazioni

Il paper sostiene che la scopribilità delle interazioni è fondamentalmente un problema di identificabilità governato dalla geometria del supporto degli input osservati, piuttosto che dallo specifico modello neurale utilizzato.

• Distinzione tra Capacità e Identificabilità: La capacità di un modello di rappresentare le interazioni non implica che possa recuperarle univocamente dai dati.
• Principi Agnostici rispetto al Modello: Sebbene le prove formali siano derivate per G-NAVAR, gli autori sostengono che i fenomeni di non-identificabilità dipendente dal supporto e la necessità di controlli di stabilità si applichino a qualsiasi metodo autoregressivo neurale flessibile che tenti di scoprire interazioni.
• Workflow Pratico: Il paper fornisce un workflow concreto in due fasi per i professionisti:
  1. Calcolare il rango effettivo del set di candidati modulatori prima del fitting. Se basso, il recupero è impossibile indipendentemente dalla complessità del modello.
  2. Se il rango è adeguato, eseguire un controllo di stabilità a due seed. Se i risultati sono instabili, l'interazione scoperta è probabilmente un artefatto di ottimizzazione piuttosto che una proprietà dei dati.
• Limitazioni: Gli autori sono modesti nelle loro rivendicazioni, notando che la diagnostica è necessaria ma non sufficiente (non può rilevare misspecification di ordine superiore) e che la "stabilità" di un risultato non garantisce la correttezza, ma solo la riproducibilità.

In sintesi, il paper sposta il focus da "possiamo adattare un'interazione?" a "l'interazione è univocamente determinata dai dati?", fornendo sia una base teorica che strumenti pratici per distinguere le scoperte reali dagli artefatti di ottimizzazione.