⚛️ quantum physics

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

Ce document introduit les fonctions d'activation variationnelles quantiques (QVAF), plus précisément le mécanisme DARUAN à qubit unique, pour créer l'architecture QKAN qui unifie les réseaux de Kolmogorov-Arnold avec une expressivité d'inspiration quantique, atteignant une efficacité de paramètres, une scalabilité et une généralisation supérieures tant dans les simulations classiques que sur le matériel NISQ.

Auteurs originaux : Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Générale : Donner un « Superpouvoir Quantique » aux Réseaux de Neurones

Imaginez que vous essayiez d'apprendre à un ordinateur à reconnaître des formes, comme identifier un chat sur une photo ou prédire la météo. Pour ce faire, les ordinateurs utilisent des Réseaux de Neurones, qui sont comme de grandes usines composées de nombreux petits travailleurs (neurones) transmettant l'information le long d'une ligne.

Habituellement, ces travailleurs ont une règle simple et fixe pour traiter l'information (comme un interrupteur standard : allumé ou éteint). Récemment, des scientifiques ont inventé un nouveau type de réseau appelé KAN (Kolmogorov-Arnold Network). Dans un KAN, chaque travailleur possède une règle personnalisable (une « fonction d'activation apprenable ») qu'il peut ajuster pour s'adapter parfaitement à la tâche. Cela rend les KANs très performants pour comprendre des formes et des motifs complexes, mais ils peuvent devenir lourds et coûteux à exécuter car ils nécessitent beaucoup de mémoire.

Cette publication propose une nouvelle variante : Et si nous remplacions ces règles personnalisables par de minuscules circuits quantiques simulés ?

Les auteurs appellent cela le QKAN (Quantum-inspired KAN). Ils ne font pas fonctionner tout l'ordinateur sur une machine quantique (qui est actuellement lente et sujette aux erreurs). Au lieu de cela, ils utilisent la mathématique de la physique quantique pour rendre les travailleurs plus intelligents et plus efficaces.

Le Personnage Principal : Le Travailleur « DARUAN »

Le papier présente un type spécifique de travailleur appelé DARUAN (DatA Re-Uploading ActivatioN). Considérez un travailleur DARUAN comme un musicien jouant d'un instrument à cordes unique (un qubit unique).

Comment cela fonctionne : Au lieu de simplement regarder les données une seule fois, le travailleur les « ré-injecte » (re-uploads) dans l'instrument plusieurs fois, en tordant légèrement la corde à chaque fois avec une mélodie spécifique (paramètres).
La Magie : En tordant la corde selon un motif géométrique spécifique (comme doubler la tension à chaque fois), ce seul travailleur peut créer une gamme immense de notes musicales (fréquences).
Le Bénéfice : Un travailleur classique doit acheter un nouvel instrument pour chaque nouvelle note qu'il veut jouer. Un travailleur DARUAN peut jouer une gamme exponentiellement plus large de notes en utilisant le même instrument, simplement en changeant la façon dont il est accordé. Cela permet d'économiser énormément d'espace (paramètres).

L'Analogie : L'Orchestre vs Le Soliste

Les anciens réseaux (MLP) : Comme une chorale où tout le monde chante la même note simple. Pour obtenir une harmonie complexe, il faut des milliers de chanteurs.
Les KAN standards : Comme une chorale où chaque chanteur possède un instrument unique et complexe. Ils sonnent très bien, mais l'orchestre est énorme et coûteux à entretenir.
Le QKAN (Ce papier) : Comme une chorale où chaque chanteur est un soliste virtuose doté d'un instrument magique (DARUAN). Un seul soliste peut imiter le son d'une section entière d'instruments. Vous avez besoin de beaucoup moins de chanteurs pour créer la même musique (ou une meilleure).

Ce qu'ils ont réellement fait (Les Résultats)

Les auteurs n'ont pas seulement théorisé ; ils ont construit ces réseaux et les ont testés sur trois tâches principales :

Ajustement de courbes bruitées (Régression) :
- La Tâche : Tracer une ligne lisse à travers un nuage de points désordonnés (comme prédire une tendance boursière avec des données bruitées).
- Le Résultat : Les QKANs ont tracé des lignes plus lisses et plus précises que les réseaux standards, en utilisant en moyenne 24 % de paramètres en moins (espace mémoire). Ils étaient particulièrement doués pour trouver des motifs cachés dans le bruit.
Reconnaissance d'images (Classification) :
- La Tâche : Identifier des chiffres manuscrits (MNIST) ou des objets dans des photos (CIFAR).
- Le Résultat : Les QKANs ont égalé ou dépassé la précision des réseaux standards tout en utilisant nettement moins de paramètres.
- L'astuce « Hybride » : Pour les images très complexes, ils ont introduit le HQKAN. Imaginez placer une « lentille de compression » devant le travailleur quantique. Elle réduit l'image à une taille minuscule et gérable, laisse le travailleur quantique faire sa magie, puis l'agrandit à nouveau. Cela leur a permis de gérer de très grands ensembles de données sans que le réseau ne devienne trop volumineux pour tenir en mémoire.
Écriture de texte (Modélisation Générative) :
- La Tâche : Entraîner un modèle pour écrire du texte comme un humain (en utilisant un modèle de type GPT-2).
- Le Résultat : En remplaçant les couches de traitement de texte standard par des couches HQKAN, le modèle a appris plus rapidement et a produit un meilleur texte (perplexité plus faible) tout en utilisant un tiers des paramètres et moins de mémoire.

Le « Test de Réalité » : Exécution sur du Matériel Quantique Réel

L'une des parties les plus intéressantes du papier est qu'ils n'ont pas seulement simulé cela sur un ordinateur normal. Ils ont pris leurs modèles entraînés et les ont exécutés sur un véritable ordinateur quantique physique (le processeur « Aachen » d'IBM).

Le Test : Ils ont demandé à la puce quantique réelle d'agir comme le « travailleur » du réseau.
Le Résultat : Comme la puce quantique actuelle est un peu « bruitée » (comme un musicien avec un instrument légèrement désaccordé), les résultats n'étaient pas parfaits. Cependant, pour des tâches simples comme la reconnaissance d'images, la puce quantique a quand même trouvé la bonne réponse la plupart du temps. Cela prouve que la mathématique fonctionne même sur du matériel réel et imparfait.

Pourquoi cela importe (Selon l'article)

Efficacité : Vous obtenez la puissance des mathématiques quantiques complexes sans avoir besoin d'un ordinateur quantique massif et sans erreur.
Évolutivité (Scalability) : Comme ces « travailleurs quantiques » sont si efficaces, ils peuvent être simulés sur des ordinateurs classiques (comme votre ordinateur portable ou un centre de données GPU) très rapidement.
Interprétabilité : Tout comme les KAN standards, les QKANs sont transparents. Vous pouvez regarder la « musique » que joue le travailleur et comprendre exactement quelle règle mathématique il a apprise (ex : « Ah, ce travailleur a appris la fonction sinus »).

Résumé

Le papier déclare : « Nous avons trouvé un moyen d'utiliser les mathématiques de la physique quantique pour rendre les travailleurs des réseaux de neurones beaucoup plus intelligents et plus petits. Nous avons construit un système appelé QKAN qui utilise ces travailleurs "inspirés du quantique". Il fonctionne mieux et utilise moins de mémoire que les méthodes actuelles, et nous avons même prouvé qu'il peut fonctionner sur du véritable matériel quantique, bien qu'il soit préférable, pour l'instant, de l'exécuter sur des ordinateurs classiques puissants. »

C'est un pont entre le futur de l'informatique quantique et les besoins pratiques de l'intelligence artificielle d'aujourd'hui.

Résumé Technique : Les Fonctions d'Activation Variationnelles Quantiques au service des Réseaux de Kolmogorov-Arnold

Énoncé du Problème
Les circuits quantiques variationnels (VQC) sont au cœur de l'apprentissage automatique quantique (QML), pourtant leur application s'est largement concentrée sur l'encodage de données et la cartographie de caractéristiques plutôt que sur leur rôle de fonctions d'activation apprenables au sein d'architectures neuronales. À l'inverse, les réseaux de Kolmogorov-Arnold (KAN) classiques ont démontré la puissance des fonctions d'activation variationnelles (VAF) apprenables, remplaçant les non-linéarités fixes par des fonctions entraînables à chaque arête pour améliorer l'interprétabilité et la précision. Cependant, les implémentations existantes de KAN reposent souvent sur des B-splines ou des séries de Fourier, qui peuvent être coûteuses en calcul ou nécessiter un nombre important de paramètres pour l'approximation de hautes fréquences. De plus, bien que les VQC multi-qubits offrent une expressivité théorique, ils font face à des barrières pratiques significatives dans l'ère NISQ (Noisy Intermediate-Scale Quantum), notamment des taux d'erreur élevés pour les portes à deux qubits, des problèmes de plateaux stériles (barren plateaux) lors de l'entraînement, et le coût prohibitif de la simulation classique pour les systèmes de grande taille. L'article répond au besoin d'un cadre unifiant l'expressivité des circuits quantiques avec la scalabilité et l'interprétabilité des KAN, spécifiquement conçu pour être viable sur le matériel actuel et les simulateurs classiques.

Méthodologie
Les auteurs proposent un cadre général nommé Fonctions d'Activation Variationnelles Quantiques (QVAF), où des circuits quantiques paramétrés servent de fonctions d'activation apprenables. Pour rendre ce cadre pratique face aux contraintes actuelles, ils introduisent une instanciation spécifique à un seul qubit appelée DatA Re-Uploading ActivatioN (DARUAN).

Architecture DARUAN : Contrairement aux VQC standards qui encodent les données une seule fois, DARUAN utilise une stratégie de ré-encodage de données (data re-uploading). Elle se compose d'une séquence de $r$ blocs, où chaque bloc alterne entre une unitaire entraînable $W^{(\ell)}(\theta_\ell)$ et une opération d'encodage de données $S(w_\ell x) = e^{-i w_\ell x H}$ . Crucialement, les poids de pré-traitement des données $w_\ell$ sont entraînables. La sortie est la valeur d'espérance d'un observable de Pauli (typiquement $\sigma_z$ ) mesurée sur un seul qubit.
Architectures QKAN et HQKAN : Les auteurs intègrent DARUAN dans la topologie KAN pour créer les Réseaux de Kolmogorov-Arnold inspirés du Quantique (QKAN). Dans les QKAN, chaque activation d'arête est un circuit DARUAN distinct à un seul qubit. Pour répondre aux limites de scalabilité des KAN (où les paramètres augmentent de manière quadratique avec les dimensions d'entrée/sortie), les auteurs introduisent le Hybrid QKAN (HQKAN). L'HQKAN enveloppe un cœur latent compact de type QKAN avec des couches de compression et d'expansion classiques entièrement connectées, permettant au modèle de gérer efficacement des entrées de haute dimension.
Extension de Couche : Pour optimiser la stabilité de l'entraînement et la capacité, les auteurs utilisent une stratégie d'« extension de couche ». Les modèles sont d'abord entraînés avec un petit nombre de répétitions de ré-encodage ( $r$ ), puis progressivement étendus vers un $r$ plus grand, en initialisant les nouveaux paramètres à l'identité. Cela permet au modèle d'apprendre d'abord les structures de basse fréquence, puis d'affiner les détails de haute fréquence sans repartir de zéro.
Analyse Théorique : L'article fournit des preuves théoriques montrant qu'avec des poids de pré-traitement entraînables, le spectre de fréquence accessible d'un DARUAN à un seul qubit peut croître exponentiellement avec le nombre de répétitions $r$ (spécifiquement, un choix géométrique des poids $w_\ell = 2^{\ell-1}$ produit une bande passante remplie de $2^r - 1$ ). Cela offre une réduction de paramètres en termes de capacité par rapport aux KAN classiques basés sur Fourier, qui nécessitent des paramètres augmentant linéairement pour atteindre la même bande passante.

Contributions Clés

Cadre QVAF : Une définition générale des circuits quantiques comme fonctions d'activation apprenables, faisant le pont entre le QML et l'apprentissage profond classique.
DARUAN : Une instanciation de QVAF à un seul qubit, efficace en calcul, classiquement simulable et directement exécutable sur le matériel quantique actuel (NISQ).
Architectures QKAN et HQKAN : Nouveaux designs de réseaux intégrant DARUAN dans les KAN, offrant une meilleure efficacité de paramètres, d'expressivité et de généralisation.
Garanties Théoriques : Preuves démontrant que les poids de pré-traitement entraînables permettent une croissance exponentielle du support de fréquence accessible, fournissant une base théorique pour l'efficacité des paramètres des QKAN par rapport aux alternatives classiques basées sur Fourier.
Distillation de Connaissances : Une méthode pour transférer les paramètres appris d'un QKAN vers un KAN classique (utilisant des B-splines), permettant aux QKAN de servir de mécanisme de pré-entraînement pour les modèles classiques.

Résultats Expérimentaux
Les auteurs valident leur approche à travers trois domaines :

Régression de Fonctions : Sur des tâches de régression bruitées utilisant le jeu de données Feynman, les QKAN surpassent ou égalent systématiquement les KAN classiques et les MLP. Notamment, les QKAN atteignent une erreur quadratique moyenne (RMSE) comparable ou inférieure avec environ 24 % de paramètres en moins en moyenne. Dans un benchmark plus large de 66 expressions symboliques, les QKAN ont obtenu la RMSE la plus faible sur plus de 80 % des équations tout en utilisant 30 % de paramètres en moins que les KAN classiques.
Classification d'Images : Sur MNIST, CIFAR-10 et CIFAR-100, les QKAN et HQKAN atteignent des précisions top-1 et top-5 compétitives. Les HQKAN, en particulier, démontrent une efficacité de paramètres supérieure, atteignant une précision comparable ou meilleure avec nettement moins de paramètres (par exemple, sur CIFAR-100, l'HQKAN utilise ~32k paramètres contre ~384k pour le KAN) tout en maintenant une précision élevée.
Modélisation Générative : Lorsqu'ils sont intégrés à GPT-2 (sous forme d'HQKAN), les modèles ont obtenu une perplexité plus faible et une convergence plus rapide par rapport aux bases de référence MLP, en utilisant seulement un tiers des paramètres et 30 % de mémoire en moins pendant l'entraînement.
Validation Matérielle : Les auteurs ont réalisé une validation d'inférence sur le processeur quantique IBM Aachen. Bien que la régression de haute précision soit sensible au bruit de tirage (shot noise) et aux erreurs matérielles, les tâches de classification (CIFAR-10/100) ont maintenu des performances robustes (à 2-3 % près de la précision du solveur exact) même avec un faible nombre de tirages (100 shots), démontrant la faisabilité de l'inférence DARUAN à un seul qubit sur les dispositifs NISQ.

Signification et Revendications
L'article affirme que les QKAN représentent un « pont » entre les architectures classiques interprétables et les activations structurées dérivées de circuits quantiques. La signification réside dans les points suivants :

Praticité : En utilisant des circuits à un seul qubit, l'approche évite le problème des plateaux stériles et les goulots d'étranglement de fidélité des portes d'intrication multi-qubits, ce qui la rend immédiatement viable sur les simulateurs classiques et le matériel quantique actuel pour l'inférence.
Efficacité : Le couplage structuré des coefficients de Fourier via des paramètres de rotation partagés agit comme un régularisateur implicite, permettant aux QKAN d'atteindre une haute expressivité avec moins de paramètres que leurs homologues classiques.
Scalabilité : L'architecture HQKAN et la stratégie d'extension de couche répondent aux défis de mise à l'échelle des KAN, permettant l'application de modules inspirés du quantique à des modèles de grande échelle comme les LLM.
Validation : Ce travail sert de « validation actuelle » du concept de QVAF. Bien que les auteurs reconnaissent que les QVAF multi-qubits avec intrication pourraient offrir d'autres avantages (par exemple, une profondeur réduite), ils soulignent que la conception actuelle à un seul qubit est la voie la plus robuste et la plus scalable, compte tenu des limitations du matériel actuel. Les modèles entraînés peuvent être directement exécutés sur le matériel NISQ pour l'inférence, offrant une voie directe vers l'avantage quantique pour des tâches d'inférence spécifiques, avant même l'avènement des ordinateurs quantiques tolérants aux fautes.