Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

Technische Samenvatting: Temporele Functionele Circuits in KAN-voorspelling

Probleemstelling
Bij langetermijnvoorspelling van tijdreeksen (LTSF) hebben recente ontwikkelingen aangetoond dat eenvoudige lineaire modellen op standaard benchmarks complexere architecturen zoals Transformers overtreffen, wat vragen oproept over de noodzaak van extra modelcomplexiteit. Hoewel Kolmogorov-Arnold-netwerken (KAN's) als veelbelovend alternatief voor Multi-Layer Perceptrons (MLP's) zijn opgekomen vanwege hun "inherent interpreteerbare" leerbare randfuncties (doorgaans B-splines), vertrouwen bestaande toepassingen vaak op het visualiseren van deze functies als bewijs van interpreteerbaarheid. Dit artikel betoogt dat het visualiseren van latente spline-vormen niet gelijkstaat aan het leveren van getrouwe, temporeel onderbouwde verklaringen. Specifiek onthult een KAN-randfunctie $\phi_e(z)$ niet inherent welke invoertijdstappen deze hebben geactiveerd, of het model de rand daadwerkelijk heeft gebruikt, of dat het verwijderen ervan de voorspelling zou veranderen. Bovendien suggereren eerdere onderzoeken dat er geen enkele voorspellingskern (lineair, KAN of attention) universeel domineert over alle datasets, wat een kader vereist om te bepalen wanneer KAN's nuttig zijn en waarom.

Methodologie
Het artikel introduceert Temporele Functionele Circuits, een kader dat is ontworpen om KAN-randfuncties om te zetten van latente visualisaties in getrouwe verklaringen via een combinatie van architecturaal ontwerp en validatie op basis van interventie.

1. Gated Residual KAN-architectuur:
   De auteurs stellen een voorspellingsarchitectuur voor die wordt gedefinieerd als $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$.

   • Decompositie: Het invoersignaal wordt opgesplitst in trend- en residu-componenten met behulp van een voortschrijdend gemiddelde-filter.
   • Takken: Een lineaire tak ($f_{lin}$) behandelt lineaire patronen, terwijl een KAN-tak ($f_{KAN}$) niet-lineaire residu's vastlegt.
   • Gating: Een $L_1$-geregulariseerde gate $g(x) \in [0, 1]^C$ regelt de bijdrage van de KAN-tak per kanaal. Dit stelt het model in staat te leren wanneer het de KAN-correctie moet onderdrukken (terugkerend naar lineair) en biedt een meetbare maatstaf voor KAN-gebruik ($U_{KAN}$).
   • KAN-structuur: De KAN-tak gebruikt B-splines op randen, gedefinieerd als $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$.

2. Temporele Functionele Circuits (TFC):
   Voor elke KAN-rand $e$ construeert het kader een verklaringstuple $E_e = (\phi_e, A_e, I_e, \Delta_e)$:

   • $\phi_e$: De geleerde univariate functie.
   • $A_e$ (Lag-toewijzing): Een output-bewuste toewijzingsmethode die randen koppelt aan specifieke invoerlags door gradiënten te berekenen via de patch-embedding en downstream-lagen, rekening houdend met de toestand van de gate.
   • $I_e$ (Belang): Een rangschikkingsmaatstaf gebaseerd op de verwachte bijdrage van de rand aan de voorspelling, die de grootte van de randoutput en de downstream-sensitiviteit combineert. Het artikel maakt ook gebruik van het activeringsbereik ($R_e$) van het B-spline-rooster als een dataneafhankelijke proxy voor belang.
   • $\Delta_e$ (Interventie-effect): De verandering in voorspellingsverlies wanneer de rand wordt geïntervenieerd. Interventies omvatten het nulstellen van de rand, het vervangen ervan door het gemiddelde, of spline-verwijdering (het behouden van de basis SiLU-term terwijl het geleerde B-spline-component wordt verwijderd).

3. Getrouwheidsvalidatie:
   Het kader valideert verklaringen via:

   • Randverwijderingscurves: Het progressief verwijderen van top-gesorteerde randen (volgens $R_e$) en het meten van de degradatie van de MSE. Een getrouwe rangschikking moet tonen dat $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$.
   • Synthetisch mechanisme-herstel: Het testen van het model op synthetische regimes van toenemende complexiteit (Lineair, Multi-frequentie, Drempel-AR, Regime-switching) om te zien of gate-gebruik correleert met signaalkomplexiteit.
   • Interventietesten: Specifiek testen of de geleerde spline-vorm zelf voorspellende waarde draagt door volledige nulstelling te vergelijken met spline-verwijdering.

Belangrijkste Resultaten

• Prestatie: Over acht benchmarks (waaronder Weather, ETT, Solar en PPG) is de Gated KAN concurrerend met lineaire, attention- en MLP-alternatieven. Het behaalt de beste of gelijkbeste MSE op 4/8 datasets. Opvallend is dat op regime-switching signalen de Gated KAN een 59% lagere MSE bereikt dan uitsluitend lineaire modellen.
• Gate-gebruik: De gate-gebruiksmaatstaf ($U_{KAN}$) correleert met signaalkomplexiteit. In synthetische experimenten neemt $U_{KAN}$ monotoon toe van lineair (0,49) naar regime-switching (0,72) signalen. Op echte data is $U_{KAN}$ laag voor overwegend lineaire datasets (bijv. ETTh1) en hoger voor complexe datasets (bijv. Solar).
• Getrouwheid van Verklaringen:
  • Verwijderingscurves: Het verwijderen van top-gesorteerde randen (volgens activeringsbereik $R_e$) degradeert de prestaties consequent meer dan willekeurige of bottom-gesorteerde verwijdering. Op de Weather-dataset verhoogde het verwijderen van de top 50 randen de MSE met $2,20 \times 10^{-4}$, terwijl willekeurige verwijdering een verwaarloosbaar effect had.
  • Spline-waarde: Het verwijderen van alleen het B-spline-component (het behouden van de basis SiLU) degradeerde voorspellingen, wat verantwoordelijk was voor tot 41% van het effect van volledige nulstelling op de Weather-dataset. Dit levert bewijs dat de geleerde spline-vorm zelf voorspellende waarde draagt die verder gaat dan de basisactivatie.
  • Lag-herstel: Op synthetische signalen met bekende causale lags, herstelde de voorgestelde rand-naar-lag-toewijzing ($A_e$) de ware lags met een AUPRC van 0,44 (6x boven willekeurig), waardoor specifieke KAN-randen die verantwoordelijk zijn voor lag-afhankelijkheden werden geïdentificeerd.
• Vergelijking met MLP: Hoewel een Gated MLP de nauwkeurigheid van de Gated KAN kan evenaren, kan deze niet de expliciete, inspecteerbare randfuncties leveren die vereist zijn voor de Temporele Functionele Circuit-analyse.

Betekenis en Beweringen
Het artikel stelt dat KAN-interpreteerbaarheid meer vereist dan alleen het visualiseren van spline-plots; het vraagt om temporele onderbouwing en interventie-geteste getrouwheid.

• Mechanistisch Inzicht: Het kader demonstreert dat KAN's kunnen worden ontbonden in functionele circuits waarbij specifieke randen zijn gekoppeld aan specifieke invoerlags en gevalideerd via verwijdering.
• Diagnostische Nut: De gated architectuur biedt een meetbare diagnose ($U_{KAN}$) die aangeeft wanneer niet-lineaire correctie noodzakelijk is, en verklaart waarom KAN's helpen bij sommige datasets (complex, regime-switching) maar niet bij andere (overwegend lineair).
• Waarde van Splines: Het werk levert empirisch bewijs dat de geleerde B-spline-vorm niet slechts een aanpassingsartefact is, maar een functioneel onderdeel van de voorspelling, aangezien het verwijderen ervan de prestaties aanzienlijk beïnvloedt.
• Bescheiden Omvang: De auteurs erkennen dat hun interventies model-interne effecten vaststellen in plaats van causale claims over het datagenererende proces. Zij merken ook op dat hoewel de Gated KAN concurrerend is, deze niet uniform state-of-the-art is, en dat het kader een stap is naar het begrijpen van wanneer en hoe KAN's bijdragen aan voorspelling in plaats van universele superioriteit te claimen.