Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

Riepilogo Tecnico: Circuiti Funzionali Temporali nella Previsione con KAN

Enunciato del Problema
La previsione di serie temporali a lungo termine (LTSF) ha recentemente visto modelli lineari semplici superare architetture complesse come i Transformer su benchmark standard, sollevando interrogativi sulla necessità di una maggiore complessità del modello. Sebbene le Reti di Kolmogorov-Arnold (KAN) siano emerse come un'alternativa promettente ai Perceptron a Strati Multipli (MLP) grazie alle loro funzioni di bordo appribili "intrinsecamente interpretabili" (tipicamente B-spline), le applicazioni esistenti spesso si basano sulla visualizzazione di queste funzioni come prova di interpretabilità. Questo articolo sostiene che la visualizzazione delle forme di spline latenti non equivale a fornire spiegazioni fedeli e temporalmente fondate. Nello specifico, una funzione di bordo KAN $\phi_e(z)$ non rivela intrinsecamente quali passi temporali di input l'hanno attivata, se il modello ha effettivamente utilizzato il bordo, o se la sua rimozione altererebbe la previsione. Inoltre, indagini precedenti suggeriscono che nessun singolo nucleo di previsione (lineare, KAN o attention) domina universalmente su tutti i dataset, rendendo necessario un framework per determinare quando le KAN sono vantaggiose e perché.

Metodologia
L'articolo introduce i Circuiti Funzionali Temporali, un framework progettato per trasformare le funzioni di bordo KAN da visualizzazioni latenti in spiegazioni fedeli attraverso una combinazione di progettazione architetturale e validazione basata su interventi.

1. Architettura KAN Residuale con Gate:
   Gli autori propongono un'architettura di previsione definita come $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$.

   • Decomposizione: Il segnale di input viene decomposto in componenti di trend e residuo utilizzando un filtro a media mobile.
   • Rami: Un ramo lineare ($f_{lin}$) gestisce i pattern lineari, mentre un ramo KAN ($f_{KAN}$) cattura i residui non lineari.
   • Gate: Un gate $g(x) \in [0, 1]^C$ regolarizzato $L_1$ controlla il contributo del ramo KAN per canale. Ciò permette al modello di apprendere quando sopprimere la correzione KAN (ripristinando il lineare) e fornisce una metrica misurabile dell'utilizzo KAN ($U_{KAN}$).
   • Struttura KAN: Il ramo KAN utilizza B-spline sui bordi, definite come $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$.

2. Circuiti Funzionali Temporali (TFC):
   Per ogni bordo KAN $e$, il framework costruisce una tupla di spiegazione $E_e = (\phi_e, A_e, I_e, \Delta_e)$:

   • $\phi_e$: La funzione univariata appresa.
   • $A_e$ (Attribuzione di Ritardo): Un metodo di attribuzione consapevole dell'output che mappa i bordi su specifici ritardi di input calcolando i gradienti attraverso l'embedding delle patch e gli strati a valle, tenendo conto dello stato del gate.
   • $I_e$ (Importanza): Una metrica di classificazione basata sul contributo atteso del bordo alla previsione, combinando la magnitudine dell'output del bordo e la sensibilità a valle. L'articolo utilizza anche il range di attivazione ($R_e$) della griglia B-spline come proxy indipendente dai dati per l'importanza.
   • $\Delta_e$ (Effetto Interventivo): La variazione nella perdita predittiva quando il bordo viene sottoposto a intervento. Gli interventi includono l'azzeramento del bordo, la sua sostituzione con la sua media, o la rimozione della spline (mantenendo il termine base SiLU mentre si rimuove il componente B-spline appreso).

3. Validazione della Fedeltà:
   Il framework valida le spiegazioni attraverso:

   • Curve di Cancellazione dei Bordi: Rimozione progressiva dei bordi meglio classificati (per $R_e$) e misurazione del degrado dell'errore quadratico medio (MSE). Una classificazione fedele dovrebbe mostrare $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$.
   • Recupero di Meccanismi Sintetici: Test del modello su regimi sintetici di complessità crescente (Lineare, Multifrequenza, Soglia AR, Cambio di Regime) per verificare se l'utilizzo del gate correla con la complessità del segnale.
   • Test di Intervento: Testare specificamente se la forma della spline appresa stessa porta valore predittivo confrontando l'azzeramento completo con la rimozione della spline.

Risultati Chiave

• Prestazioni: Su otto benchmark (inclusi Weather, ETT, Solar e PPG), la KAN con Gate è competitiva con alternative lineari, attention e MLP. Raggiunge il miglior MSE o un pareggio sul miglior MSE su 4/8 dataset. Notevolmente, su segnali con cambio di regime, la KAN con Gate ottiene un MSE inferiore del 59% rispetto ai modelli puramente lineari.
• Utilizzo del Gate: La metrica di utilizzo del gate ($U_{KAN}$) correla con la complessità del segnale. Negli esperimenti sintetici, $U_{KAN}$ aumenta monotonicamente da segnali lineari (0.49) a segnali con cambio di regime (0.72). Su dati reali, $U_{KAN}$ è basso per dataset prevalentemente lineari (es. ETTh1) e più alto per quelli complessi (es. Solar).
• Fedeltà delle Spiegazioni:
  • Curve di Cancellazione: La rimozione dei bordi meglio classificati (per range di attivazione $R_e$) degrada le prestazioni in modo coerente più della rimozione casuale o di quelli peggio classificati. Sul dataset Weather, la rimozione dei primi 50 bordi ha aumentato l'MSE di $2.20 \times 10^{-4}$, mentre la rimozione casuale ha avuto un effetto trascurabile.
  • Valore della Spline: La rimozione del solo componente B-spline (mantenendo il SiLU base) ha degradato le previsioni, rappresentando fino al 41% dell'effetto dell'azzeramento completo sul dataset Weather. Questo fornisce prove che la forma della spline appresa stessa porta valore predittivo oltre l'attivazione base.
  • Recupero del Ritardo: Su segnali sintetici con ritardi causali noti, l'attribuzione bordo-a-ritardo proposta ($A_e$) ha recuperato i veri ritardi con un AUPRC di 0.44 (6 volte superiore al caso), identificando specifici bordi KAN responsabili delle dipendenze di ritardo.
• Confronto con MLP: Sebbene un MLP con Gate possa eguagliare l'accuratezza della KAN con Gate, non può fornire le funzioni di bordo esplicite e ispezionabili richieste per l'analisi del Circuito Funzionale Temporale.

Significato e Affermazioni
L'articolo afferma che l'interpretabilità delle KAN richiede più della semplice visualizzazione di grafici di spline; esige ancoraggio temporale e fedeltà testata tramite intervento.

• Insight Meccanicistico: Il framework dimostra che le KAN possono essere decomposte in circuiti funzionali in cui bordi specifici sono collegati a specifici ritardi di input e validati attraverso la rimozione.
• Utilità Diagnostica: L'architettura con gate fornisce una diagnosi misurabile ($U_{KAN}$) che indica quando è necessaria una correzione non lineare, spiegando perché le KAN aiutano su alcuni dataset (complessi, con cambio di regime) ma non su altri (prevalentemente lineari).
• Valore delle Spline: Il lavoro fornisce prove empiriche che la forma della B-spline appresa non è meramente un artefatto di adattamento, ma un componente funzionale della previsione, poiché la sua rimozione impatta significativamente le prestazioni.
• Portata Modesta: Gli autori riconoscono che i loro interventi stabiliscono effetti interni al modello piuttosto che affermazioni causali sul processo di generazione dei dati. Notano inoltre che, sebbene la KAN con Gate sia competitiva, non è uniformemente all'avanguardia, e il framework è un passo verso la comprensione di quando e come le KAN contribuiscono alla previsione, piuttosto che rivendicare una superiorità universale.