🤖 machine learning

Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

Ce papier présente les Circuits Fonctionnels Temporels, un cadre fondé sur des réseaux de Kolmogorov-Arnold (KAN) résiduels à portes, qui transforme les fonctions d'arêtes explicites en explications fidèles et ancrées dans le temps pour la prévision de séries temporelles, tout en obtenant des performances compétitives et en démontrant la valeur prédictive des formes de splines apprises.

Auteurs originaux : Naveen Mysore

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Naveen Mysore

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire la météo de demain. Vous disposez d'un modèle informatique ultra-intelligent qui examine les données passées pour formuler sa prédiction. Habituellement, ces modèles sont comme des « boîtes noires » : ils vous donnent une réponse, mais si vous demandez pourquoi ils ont choisi cette réponse, ils se contentent de dire : « J'ai traité beaucoup de nombres. »

Ce papier présente une nouvelle méthode pour construire ces modèles de prédiction en utilisant ce que l'on appelle les KAN (Réseaux de Kolmogorov-Arnold). Au lieu d'être une boîte noire, un KAN est comme une machine transparente où chaque fil possède une étiquette.

Voici la décomposition de ce que fait le papier, en utilisant des analogies simples :

1. Le Problème : « De Jolies Images » Ne Suffisent Pas

Par le passé, les chercheurs tentaient d'expliquer les KAN en dessinant des images des fonctions mathématiques à l'intérieur des fils (appelées « splines »). C'est comme regarder un plan d'un moteur de voiture et dire : « Voyez ces courbes ? C'est ainsi que cela fonctionne ! »

Mais le papier soutient que voir simplement la courbe ne vous dit pas si le moteur tourne réellement ou s'il est même nécessaire. Parfois, un modèle peut avoir une courbe sophistiquée dessinée sur un fil, mais le modèle l'ignore complètement. Le papier qualifie cela de « plausibilité visuelle » par opposition à la « fidélité ». Le fait qu'un graphique ressemble à une explication de la prédiction ne signifie pas qu'il l'a causée.

2. La Solution : Le « Commutateur Intelligent » (KAN Résiduel à Porte)

Pour résoudre ce problème, les auteurs ont construit un nouveau modèle avec un Commutateur Intelligent (une « porte »).

La Partie Linéaire (La Base) : Imaginez une calculatrice simple et fiable qui gère les parties faciles et linéaires de la prédiction (comme « il fait généralement plus chaud en été »).
La Partie KAN (La Correction) : Imaginez un artiste raffiné qui ajoute les détails complexes et sinueux (comme « mais aujourd'hui, il y a un front de tempête étrange »).
La Porte : C'est un commutateur qui décide, pour chaque élément de données, de laisser l'artiste travailler ou de s'en tenir à la calculatrice.

Si les données sont simples, le commutateur reste fermé et le modèle utilise la calculatrice simple. Si les données sont désordonnées et complexes, le commutateur s'ouvre et l'artiste (le KAN) intervient pour corriger la prédiction.

3. Le « Circuit Fonctionnel Temporel » (Le Travail de Détective)

Le papier introduit un cadre appelé Circuits Fonctionnels Temporels. Imaginez cela comme un kit de détective pour le modèle. Au lieu de simplement regarder les fils, le détective pose trois questions spécifiques pour chaque fil du réseau :

À qui ce fil parle-t-il ? (Attribution des Retards) : Ce fil se soucie-t-il de ce qui s'est passé il y a 3 heures, ou il y a 3 jours ? Le papier relie directement le fil à des moments précis dans le temps.
Quelle est l'importance de ce fil ? (Importance) : Le papier classe les fils. Certains fils sont des « superstars » qui effectuent beaucoup de travail lourd ; d'autres ne sont que de la décoration. Ils ont constaté que les fils ayant la plus grande « amplitude de mouvement » (les courbes les plus complexes) sont généralement les plus importants.
Que se passe-t-il si nous coupons le fil ? (Intervention) : C'est la partie la plus importante. Les chercheurs ont littéralement « coupé » (mis à zéro) les fils principaux et observé la prédiction.
- Le Résultat : Lorsqu'ils ont coupé les fils principaux, la prédiction s'est détériorée. Cela prouve que ces fils effectuaient réellement le travail et ne faisaient pas que paraître jolis.
- Le Test « Spline » : Ils ont également essayé de retirer uniquement la partie « courbe » du fil tout en conservant la partie droite. La prédiction s'est encore détériorée. Cela prouve que la forme spécifique de la courbe compte, et pas seulement le fait que le fil existe.

4. Ce Qu'ils Ont Découvert

Les chercheurs ont testé cette méthode sur huit ensembles de données réels différents (comme la météo, l'énergie solaire et la consommation d'électricité) et sur certains scénarios « complexes » fictifs.

Pas de Solution Universelle : Sur certains ensembles de données (comme des modèles météorologiques simples), le « Commutateur Intelligent » a maintenu la partie KAN principalement fermée car une calculatrice simple suffisait. Sur d'autres ensembles de données (comme des signaux complexes de changement de régime), le commutateur s'est grandement ouvert, et la partie KAN a sauvé la mise, réduisant les erreurs de près de 60 % par rapport aux modèles simples.
La Porte Sait Mieux : Le « Commutateur Intelligent » a automatiquement déterminé quand les données étaient trop complexes pour un modèle simple et quand elles étaient assez simples pour ignorer la partie complexe.
Preuve de Travail : En coupant les fils et en voyant la prédiction échouer, ils ont prouvé que le modèle ne se contentait pas de mémoriser les données ; il utilisait réellement des formes mathématiques spécifiques et complexes pour comprendre les séries temporelles.

Résumé

Ce papier dit : « Ne regardez pas seulement les jolis graphiques à l'intérieur d'un réseau de neurones. Construisez un modèle avec un commutateur qui sait quand utiliser des mathématiques complexes, puis prouvez que cela fonctionne en coupant les fils et en voyant si le modèle échoue. »

Ils ont montré que leur nouvelle méthode est tout aussi précise que les meilleurs modèles existants, mais contrairement aux autres, elle peut réellement pointer vers des moments précis dans le temps et des formes mathématiques spécifiques qui expliquent pourquoi elle a fait une prédiction. Cela transforme un tour de magie en un processus transparent et compréhensible.

Résumé Technique : Circuits Fonctionnels Temporels dans la Prévision par KAN

Énoncé du Problème
La prévision de séries temporelles à long terme (LTSF) a récemment vu des modèles linéaires simples surpasser des architectures complexes comme les Transformers sur des benchmarks standards, soulevant des questions sur la nécessité d'une complexité accrue du modèle. Bien que les réseaux de Kolmogorov-Arnold (KAN) aient émergé comme une alternative prometteuse aux Perceptrons Multicouches (MLP) grâce à leurs fonctions d'arêtes apprissables « intrinsèquement interprétables » (généralement des B-splines), les applications existantes reposent souvent sur la visualisation de ces fonctions comme preuve d'interprétabilité. Cet article soutient que la visualisation de formes de splines latentes ne revient pas à fournir des explications fidèles et ancrées dans le temps. Plus précisément, une fonction d'arête KAN $\phi_e(z)$ ne révèle pas intrinsèquement quels pas de temps d'entrée l'ont activée, si le modèle a réellement utilisé l'arête, ou si son retrait modifierait la prévision. De plus, des investigations antérieures suggèrent qu'aucun noyau de prévision unique (linéaire, KAN ou attention) ne domine universellement sur tous les jeux de données, ce qui nécessite un cadre pour déterminer quand les KAN sont bénéfiques et pourquoi.

Méthodologie
L'article introduit les Circuits Fonctionnels Temporels, un cadre conçu pour transformer les fonctions d'arêtes KAN de visualisations latentes en explications fidèles, grâce à une combinaison de conception architecturale et de validation par intervention.

Architecture KAN Résiduelle à Porte :
Les auteurs proposent une architecture de prévision définie par $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$ .
- Décomposition : Le signal d'entrée est décomposé en composantes de tendance et de résidu à l'aide d'un filtre à moyenne mobile.
- Branches : Une branche linéaire ( $f_{lin}$ ) gère les motifs linéaires, tandis qu'une branche KAN ( $f_{KAN}$ ) capture les résidus non linéaires.
- Porte (Gating) : Une porte $g(x) \in [0, 1]^C$ regularisée en $L_1$ contrôle la contribution de la branche KAN par canal. Cela permet au modèle d'apprendre quand supprimer la correction KAN (en revenant au linéaire) et fournit une métrique mesurable de l'utilisation du KAN ( $U_{KAN}$ ).
- Structure KAN : La branche KAN utilise des B-splines sur les arêtes, définies par $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$ .
Circuits Fonctionnels Temporels (TFC) :
Pour chaque arête KAN $e$ , le cadre construit un tuple d'explication $E_e = (\phi_e, A_e, I_e, \Delta_e)$ :
- $\phi_e$ : La fonction univariée apprise.
- $A_e$ (Attribution de Retard) : Une méthode d'attribution consciente de la sortie qui mappe les arêtes vers des retards d'entrée spécifiques en calculant des gradients à travers l'embedding de patch et les couches en aval, en tenant compte de l'état de la porte.
- $I_e$ (Importance) : Une métrique de classement basée sur la contribution attendue de l'arête à la prévision, combinant l'amplitude de sortie de l'arête et la sensibilité en aval. L'article utilise également la plage d'activation ( $R_e$ ) de la grille de B-spline comme proxy indépendant des données pour l'importance.
- $\Delta_e$ (Effet Interventionnel) : Le changement de perte prédictive lorsque l'arête est soumise à une intervention. Les interventions incluent la mise à zéro de l'arête, son remplacement par sa moyenne, ou la suppression de la spline (conserver le terme SiLU de base tout en supprimant le composant B-spline appris).
Validation de la Fidélité :
Le cadre valide les explications par :
- Courbes de Suppression d'Arêtes : La suppression progressive des arêtes les mieux classées (selon $R_e$ ) et la mesure de la dégradation du MSE. Un classement fidèle doit montrer $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$ .
- Récupération de Mécanisme Synthétique : Tester le modèle sur des régimes synthétiques de complexité croissante (Linéaire, Multi-fréquence, AR à Seuil, Changement de Régime) pour voir si l'utilisation de la porte corrèle avec la complexité du signal.
- Tests d'Intervention : Tester spécifiquement si la forme de la spline apprise elle-même porte une valeur prédictive en comparant la mise à zéro complète contre la suppression de la spline.

Résultats Clés

Performance : Sur huit benchmarks (incluant Weather, ETT, Solar et PPG), le KAN à Porte est compétitif avec les alternatives linéaires, à attention et MLP. Il atteint le meilleur MSE ou un MSE égal au meilleur sur 4/8 jeux de données. Notamment, sur des signaux à changement de régime, le KAN à Porte atteint un MSE 59 % plus faible que les modèles purement linéaires.
Utilisation de la Porte : La métrique d'utilisation de la porte ( $U_{KAN}$ ) corrèle avec la complexité du signal. Dans les expériences synthétiques, $U_{KAN}$ augmente de manière monotone des signaux linéaires (0,49) aux signaux à changement de régime (0,72). Sur des données réelles, $U_{KAN}$ est faible pour les jeux de données principalement linéaires (par exemple ETTh1) et plus élevé pour les complexes (par exemple Solar).
Fidélité des Explications :
- Courbes de Suppression : La suppression des arêtes les mieux classées (selon la plage d'activation $R_e$ ) dégrade systématiquement la performance davantage qu'une suppression aléatoire ou des arêtes les moins bien classées. Sur le jeu de données Weather, la suppression des 50 premières arêtes a augmenté le MSE de $2,20 \times 10^{-4}$ , tandis que la suppression aléatoire avait un effet négligeable.
- Valeur de la Spline : La suppression uniquement du composant B-spline (en conservant le SiLU de base) a dégradé les prévisions, représentant jusqu'à 41 % de l'effet de la mise à zéro complète sur le jeu de données Weather. Cela fournit la preuve que la forme de la spline apprise elle-même porte une valeur prédictive au-delà de l'activation de base.
- Récupération de Retard : Sur des signaux synthétiques avec des retards causaux connus, l'attribution proposée d'arête vers retard ( $A_e$ ) a récupéré les vrais retards avec un AUPRC de 0,44 (6 fois au-dessus du hasard), identifiant des arêtes KAN spécifiques responsables des dépendances de retard.
Comparaison avec MLP : Bien qu'un MLP à Porte puisse égaler la précision du KAN à Porte, il ne peut pas fournir les fonctions d'arêtes explicites et inspectables requises pour l'analyse des Circuits Fonctionnels Temporels.

Signification et Revendications
L'article revendique que l'interprétabilité des KAN nécessite plus que la simple visualisation de graphiques de splines ; elle exige un ancrage temporel et une fidélité testée par intervention.

Insight Mécanistique : Le cadre démontre que les KAN peuvent être décomposés en circuits fonctionnels où des arêtes spécifiques sont liées à des retards d'entrée spécifiques et validées par suppression.
Utilité Diagnostique : L'architecture à porte fournit un diagnostic mesurable ( $U_{KAN}$ ) indiquant quand une correction non linéaire est nécessaire, expliquant pourquoi les KAN aident sur certains jeux de données (complexes, à changement de régime) mais pas sur d'autres (principalement linéaires).
Valeur des Splines : Le travail fournit des preuves empiriques que la forme de la B-spline apprise n'est pas simplement un artefact d'ajustement mais un composant fonctionnel de la prédiction, car sa suppression impacte significativement les performances.
Portée Modeste : Les auteurs reconnaissent que leurs interventions établissent des effets internes au modèle plutôt que des affirmations causales sur le processus de génération des données. Ils notent également que, bien que le KAN à Porte soit compétitif, il n'est pas uniformément à l'état de l'art, et que le cadre est une étape vers la compréhension de quand et comment les KAN contribuent à la prévision, plutôt que de revendiquer une supériorité universelle.