Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

Technische Samenvatting: Kwantum Variabele Activatiefuncties Versterken Kolmogorov-Arnold Netwerken

Probleemstelling
Variational Quantum Circuits (VQC's) staan centraal in Quantum Machine Learning (QML), maar hun toepassing heeft zich grotendeels gericht op data-encodering en feature mapping in plaats van het dienen als leerbare activatiefuncties binnen neurale architecturen. Omgekeerd hebben klassieke Kolmogorov-Arnold Networks (KAN's) de kracht van leerbare variabele activatiefuncties (VAF's) aangetoond, waarbij vaste niet-lineariteiten worden vervangen door trainbare functies bij elke rand om interpreteerbaarheid en nauwkeurigheid te verbeteren. Echter, bestaande KAN-implementaties vertrouwen vaak op B-splines of Fourier-reeksen, wat computationeel duur kan zijn of een groot aantal parameters kan vereisen voor hoogfrequente benadering. Bovendien, hoewel multi-qubit VQC's een theoretische expressiviteit bieden, kampen ze met aanzienlijke praktische barrières in het Noisy Intermediate-Scale Quantum (NISQ) tijdperk, waaronder hoge foutpercentages in twee-qubit gates, barren plateau-problemen tijdens training, en de prohibitieve kosten van klassieke simulatie voor grote systemen. Het artikel adresseert de behoefte aan een framework dat de expressiviteit van kwantumcircuits verenigt met de schaalbaarheid en interpreteerbaarheid van KAN's, specifiek ontworpen om levensvatbaar te zijn op huidige hardware en klassieke simulatoren.

Methodologie
De auteurs stellen een algemeen framework voor genaamd Quantum Variational Activation Functions (QVAF), waarbij geparametriseerde kwantumcircuits dienen als leerbare activatiefuncties. Om dit framework praktisch te maken voor de huidige beperkingen, introduceren zij een specifieke single-qubit instantie genaamd DatA Re-Uploading ActivatioN (DARUAN).

• DARUAN Architectuur: In tegen tegenover de standaard VQC's die data slechts één keer encoderen, maakt DARUAN gebruik van een data re-uploading strategie. Het bestaat uit een sequentie van $r$ blokken, waarbij elk blok afwisselt tussen een trainbare unitaire $W^{(\ell)}(\theta_\ell)$ en een data-encodering operatie $S(w_\ell x) = e^{-i w_\ell x H}$. Cruciaal is dat de data preprocessing gewichten $w_\ell$ trainbaar zijn. De output is de verwachtingswaarde van een Pauli-observable (typisch $\sigma_z$) gemeten op een enkele qubit.
• QKAN en HQKAN: De auteurs embedden DARUAN in de KAN-topologie om Quantum-inspired Kolmogorov-Arnold Networks (QKAN's) te creëren. In QKAN's is elke edge-activatie een afzonderlijk single-qubit DARUAN-circuit. Om de schaalbaarheidsbeperkingen van KAN's aan te pakken (waar parameters kwadratisch schalen met input/output dimensies), introduceren de auteurs Hybrid QKAN (HQKAN). HQKAN omhult een compacte QKAN latent kern met klassieke volledig verbonden compressie- en expansielagen, waardoor het model in staat is om hoogdimensionale inputs efficiënt te verwerken.
• Laag-extensie: Om de trainingsstabiliteit en capaciteit te optimaliseren, hanteren de auteurs een "layer extension" strategie. Modellen worden eerst getraind met een klein aantal re-uploading repetities ($r$) en worden vervolgens progressief uitgebreid naar grotere $r$, waarbij nieuwe parameters als identiteit worden geïnitialiseerd. Dit stelt het model in staat om eerst laagfrequente structuren te leren en vervolgens hoogfrequente details te verfijnen zonder vanaf nul te hoeven hertrainen.
• Theoretische Analyse: Het artikel biedt theoretische bewijzen die laten zien dat met trainbare preprocessing gewichten het toegankelijke frequentiespectrum van een single-qubit DARUAN exponentieel kan groeien met het aantal repetities $r$ (specifiek, een geometrische keuze van gewichten $w_\ell = 2^{\ell-1}$ levert een gevulde bandbreedte van $2^r - 1$). Dit biedt een capaciteitsniveau parameterreductie vergeleken met klassieke Fourier-gebaseerde KAN's, die een lineair toenemend aantal parameters nodig hebben om dezelfde bandbreedte te bereiken.

Belangrijkste Bijdragen

1. QVAF Framework: Een algemene definitie van kwantumcircuits als leerbare activatiefuncties, die de brug slaat tussen QML en klassieke deep learning.
2. DARUAN: Een computationeel efficiënte, single-qubit instantie van QVAF die klassiek simuleerbaar en direct uitvoerbaar is op huidige NISQ-hardware.
3. QKAN en HQKAN Architecturen: Nieuwe netwerkontwerpen die DARUAN integreren in KAN's, wat zorgt voor verbeterde parameter-efficiëntie, expressiviteit en generalisatie.
4. Theoretische Garanties: Bewijzen die aantonen dat trainbare preprocessing gewichten zorgen voor een exponentiële groei in toegankelijke frequentie-ondersteuning, wat een theoretische basis biedt voor de parameter-efficiëntie van QKAN's ten opzichte van klassieke Fourier-gebaseerde alternatieven.
5. Knowledge Distillation: Een methode om geleerde parameters van een getrainde QKAN over te dragen naar een klassieke KAN (met behulp van B-splines), waardoor QKAN's kunnen dienen als een pretraining-mechanisme voor klassieke modellen.

Experimentele Resultaten
De auteurs valideren hun aanpak over drie domeinen:

• Functieregressie: Op ruizige regressietaken met de Feynman-dataset presteren QKAN's consistent beter dan of gelijk aan klassieke KAN's en MLP's. Opvallend genoeg behalen QKAN's een vergelijkbare of lagere Root Mean Square Error (RMSE) met gemiddeld ongeveer 24% minder parameters. In een bredere benchmark van 66 symbolische expressies behaalden QKAN's de laagste RMSE op meer dan 80% van de vergelijkingen, terwijl ze 30% minder parameters gebruikten dan klassieke KAN's.
• Beeldclassificatie: Op MNIST, CIFAR-10 en CIFAR-100 behalen QKAN's en HQKAN's concurrerende top-1 en top-5 accuratessen. HQKAN's demonstreren in het bijzonder superieure parameter-efficiëntie; ze behalen vergelijkbare of betere accuratesse met aanzienlijk minder parameters (bijv. op CIFAR-100 gebruikt HQKAN ~32k parameters versus ~384k voor KAN) terwijl de hoge accuratesse behouden blijft.
• Generatieve Modellering: Wanneer geïntegreerd in GPT-2 (als HQKAN's), bereikten de modellen een lagere perplexiteit en snellere convergentie vergeleken met MLP-baselines, waarbij slechts een derde van de parameters werd gebruikt en 30% minder geheugen tijdens training.
• Hardware Validatie: De auteurs voerden inferentie-validatie uit op de IBM Aachen kwantumprocessor. Hoewel hoog-precieze regressie gevoelig was voor shot noise en hardwarefouten, behielden classificatietaken (CIFAR-10/100) een robuuste prestatie (binnen 2-3% van de exacte solver accuratesse) zelfs met lage shot counts (100 shots), wat de haalbaarheid van single-qubit DARUAN inferentie op NISQ-devices aantoont.

Betekenis en Claims
Het artikel claimt dat QKAN's een "brug" vormen tussen interpreteerbare klassieke architecturen en kwantumcircuit-afgeleide gestructureerde activaties. De significantie ligt in de volgende punten:

• Praktische bruikbaarheid: Door gebruik te maken van single-qubit circuits, vermijdt de aanpak het barren plateau-probleem en de fidelity-bottlenecks van multi-qubit entangling gates, waardoor het direct levensvatbaar is voor klassieke simulatie en huidige kwantumhardware voor inferentie.
• Efficiëntie: De gestructureerde koppeling van Fourier-coëfficiënten door gedeelde rotatieparameters fungeert als een impliciete regularisator, waardoor QKAN's een hoge expressiviteit kunnen bereiken met minder parameters dan hun klassieke tegenhangers.
• Schaalbaarheid: De HQKAN-architectuur en de layer extension strategie adresseren de schaaluitdagingen die inherent zijn aan KAN's, waardoor de toepassing van kwantum-geïnspireerde modules op grootschalige modellen zoals LLM's mogelijk wordt.
• Validatie: Het werk dient als een "present-day validatie" van het QVAF-concept. Hoewel de auteurs erkennen dat multi-qubit entangling QVAF's verdere voordelen kunnen bieden (bijv. gereduceerde diepte), benadrukken zij dat het huidige single-qubit ontwerp de meest robuuste en schaalbare weg voorwaarts is gezien de huidige hardwarebeperkingen. De getrainde modellen kunnen direct worden uitgevoerd op NISQ-hardware voor inferentie, wat een directe route biedt naar kwantumvoordeel voor specifieke inferentie-taken, zelfs voordat fouttolerante kwantumcomputers beschikbaar zijn.