⚛️ quantum physics

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

Dieses Paper führt Quanten-Variations-Aktivierungsfunktionen (QVAFs), spezifisch den Single-Qubit-DARUAN-Mechanismus, ein, um die QKAN-Architektur zu erschaffen, welche Kolmogorov-Arnold-Netzwerke mit quanteninspiriertem Ausdrucksvermögen vereint und eine überlegene Parametereffizienz, Skalierbarkeit sowie Generalisierung sowohl in klassischen Simulationen als auch auf NISQ-Hardware erreicht.

Ursprüngliche Autoren: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Neuronalen Netzen eine „Quanten-Superkraft“ zu verleihen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, Muster zu erkennen, wie zum Beispiel eine Katze auf einem Foto zu identifizieren oder das Wetter vorherzusagen. Um dies zu tun, nutzen Computer Neuronale Netze, die wie riesige Fabriken aus vielen kleinen Arbeitern (Neuronen) sind, die Informationen in einer Linie weitergeben.

Normalerweise haben diese Arbeiter eine einfache, feste Regel dafür, wie sie Informationen verarbeiten (wie ein Standard-Lichtschalter: an oder aus). Vor kurzem haben Wissenschaftler einen neuen Typ von Netzwerk namens KAN (Kolmogorov-Arnold Network) erfunden. In einem KAN hat jeder Arbeiter eine anpassbare Regel (eine „lernbare Aktivierungsfunktion), die er perfekt an die Aufgabe anpassen kann. Dies macht KANs sehr gut darin, komplexe Formen und Muster zu verstehen, aber sie können schwerfällig und teuer im Betrieb werden, da sie viel Speicher benötigen.

Dieses Paper schlägt eine neue Wendung vor: Was wäre, wenn wir diese anpassbaren Regeln durch winzige, simulierte Quantenschaltkreise ersetzen würden?

Die Autoren nennen dies QKAN (Quantum-inspired KAN). Sie lassen den gesamten Computer nicht auf einer Quantenmaschine laufen (die derzeit langsam und fehleranfällig ist). Stattdessen nutzen sie die Mathematik der Quantenphysik, um die Arbeiter intelligenter und effizienter zu machen.

Der Hauptcharakter: Der „DARUAN“-Arbeiter

Das Paper führt einen speziellen Typ von Arbeiter namens DARUAN (DatA Re-Uploading ActivatioN) ein. Stellen Sie sich einen DARUAN-Arbeiter wie einen Musiker vor, der ein einzelnes Saiteninstrument spielt (ein einzelnes Qubit).

Wie es funktioniert: Anstatt die Daten nur einmal anzusehen, „lädt“ der Arbeiter die Daten mehrfach wieder hoch („re-uploading“), wobei er die Saite jedes Mal mit einer spezifischen Melodie (Parametern) leicht verdreht.
Die Magie: Durch das Verdrehen der Saite in einem spezifischen, geometrischen Muster (wie etwa die Verdopplung der Spannung bei jedem Mal) kann dieser einzelne Arbeiter eine massive Bandbreite an musikalischen Noten (Frequenzen) erzeugen.
Der Vorteil: Ein klassischer Arbeiter muss für jede neue Note, die er spielen möchte, ein ganz neues Instrument kaufen. Ein DARUAN-Arbeiter kann durch die Änderung der Abstimmung eine exponentiell größere Bandbreite an Noten mit demselben einzelnen Instrument spielen. Das spart eine enorme Menge an Platz (Parametern).

Die Analogie: Das Orchester vs. der Solist

Alte Netzwerke (MLPs): Wie ein Chor, bei dem alle denselben einfachen Ton singen. Um eine komplexe Harmonie zu erzeugen, benötigt man tausende Sänger.
Standard-KANs: Wie ein Chor, bei dem jeder Sänger ein einzigartiges, komplexes Instrument besitzt. Sie klingen großartig, aber das Orchester ist riesig und teuer in der Wartung.
QKAN (Dieses Paper): Wie ein Chor, bei dem jeder Sänger ein Meister-Solist mit einem magischen Instrument (DARUAN) ist. Ein einzere Solist kann den Klang einer ganzen Instrumentengruppe nachahmen. Man braucht viel weniger Sänger, um dieselbe (oder eine bessere) Musik zu erzeugen.

Was sie tatsächlich getan haben (Die Ergebnisse)

Die Autoren haben nicht nur theoretisiert; sie haben diese Netzwerke gebaut und sie bei drei Hauptaufgaben getestet:

Anpassen verrauschter Kurven (Regression):
- Die Aufgabe: Eine glatte Linie durch eine unordentliche Punktwolke ziehen (wie das Vorhersagen eines Börsentrends mit verrauschten Daten).
- Das Ergebnis: QKANs zeichneten glattere, genauere Linien als Standard-Netzwerke und nutzten dabei im Durchschnitt 24 % weniger Parameter (Speicherplatz). Sie waren besonders gut darin, verborgene Muster im Rauschen zu finden.
Bilder erkennen (Klassifizierung):
- Die Aufgabe: Handschriftliche Ziffern (MNIST) oder Objekte auf Fotos (CIFAR) identifizieren.
- Das Ergebnis: QKANs erreichten eine Genauigkeit, die mit Standard-Netzwerken mithalten konnte oder diese sogar übertraf, während sie signifikant weniger Parameter verwendeten.
- Der „Hybrid“-Trick: Für sehr komplexe Bilder führten sie HQKAN ein. Stellen Sie sich vor, man setzt eine „Kompressionslinse“ vor den Quantenarbeiter. Sie schrumpft das Bild auf eine winzige, handhabbare Größe zusammen, lässt den Quantenarbeiter seine Magie wirken und dehnt es dann wieder aus. Dies ermöglichte es ihnen, riesige Datensätze zu verarbeiten, ohne dass das Netzwerk zu groß wird, um in den Speicher zu passen.
Texte schreiben (Generative Modellierung):
- Die Aufgabe: Ein Modell trainieren, um Texte wie ein Mensch zu schreiben (unter Verwendung eines GPT-2-ähnlichen Modells).
- Das Ergebnis: Durch den Austausch der Standard-Textverarbeitungsschichten gegen HQKAN-Schichten lernte das Modell schneller und produzierte besseren Text (geringere „Perplexity“), während es nur ein Drittel der Parameter und weniger Speicher benötigte.

Der „Realitätscheck“: Ausführung auf echter Quantenhardware

Einer der coolsten Teile des Papers ist, dass sie dies nicht nur auf einem normalen Computer simuliert haben. Sie haben ihre trainierten Modelle auf einem echten, physischen Quantencomputer (IBMs „Aachen“-Prozessor) laufen lassen.

Der Test: Sie baten den echten Quantenchip, als der „Arbeiter“ in ihrem Netzwerk zu fungieren.
Das Ergebnis: Da der Quantenchip derzeit noch etwas „verrauscht“ ist (wie ein Musiker mit einem leicht verstimmten Instrument), waren die Ergebnisse nicht perfekt. Dennoch konnten die QKANs bei einfachen Aufgaben wie der Bilderkennung meistens die richtige Antwort finden. Dies beweist, dass die Mathematik auch auf unvollkommenen, realen Hardware-Systemen funktioniert.

Warum das wichtig ist (laut dem Paper)

Effizienz: Sie erhalten die Kraft komplexer Quantenmathematik, ohne einen massiven, fehlerfreien Quantencomputer zu benötigen.
Skalierbarkeit: Da diese „Quanten-Arbeiter“ so effizient sind, können sie sehr schnell auf normalen Computern (wie Ihrem Laptop oder einem Rechenzentrum-GPU) simuliert werden.
Interpretierbarkeit: Genau wie Standard-KANs sind auch QKANs transparent. Man kann der „Musik“ zusehen, die der Arbeiter spielt, und genau verstehen, welche mathematische Regel er gelernt hat (z. B. „Ah, dieser Arbeiter hat die Sinusfunktion gelernt“).

Zusammenfassung

Das Paper sagt: „Wir haben einen Weg gefunden, die Mathematik der Quantenphysik zu nutzen, um die Arbeiter neuronaler Netze viel intelligenter und kleiner zu machen. Wir haben ein System namens QKAN gebaut, das diese ‚quanteninspirierten‘ Arbeiter nutzt. Es arbeitet besser und verbraucht weniger Speicher als aktuelle Methoden, und wir konnten sogar beweisen, dass es auf echter Quantenhardware laufen kann, obwohl es vorerst am besten ist, es auf leistungsstarken klassischen Computern auszuführen.“

Es ist eine Brücke zwischen der Zukunft des Quantencomputings und den praktischen Anforderungen der heutigen Künstlichen Intelligenz.

Technische Zusammenfassung: Quanten-variationale Aktivierungsfunktionen befähigen Kolmogorov-Arnold-Netzwerke

Problemstellung
Variationale Quantenschaltkreise (VQCs) sind zentral für das Quanten-Maschinelle Lernen (QML), doch ihre Anwendung konzentrierte sich bisher weitgehend auf die Datenkodierung und das Feature-Mapping statt auf das Dienen als lernbare Aktivierungsfunktionen innerhalb neuronaler Architekturen. Umgekehrt haben klassische Kolmogorov-Arnold-Netzwerke (KANs) die Leistungsfähigkeit lernbarer variationaler Aktivierungsfunktionen (VAFs) demonstriert, indem sie feste Nichtlinearitäten durch trainierbare Funktionen an jeder Kante ersetzen, um Interpretierbarkeit und Genauigkeit zu verbessern. Bestehende KAN-Implementierungen stützen sich jedoch oft auf B-Splines oder Fourier-Reihen, was rechenintensiv sein kann oder eine hohe Parameteranzahl für die Hochfrequenzapproximation erfordert. Während Multi-Qubit-VQCs theoretische Expressivität bieten, stehen ihnen in der Ära der Noisy Intermediate-Scale Quantum (NISQ) Hardware erhebliche praktische Barrieren gegenüber, darunter hohe Fehlerraten bei Zwei-Qubit-Gattern, Barren-Plateau-Probleme während des Trainings und die prohibitiven Kosten der klassischen Simulation großer Systeme. Die Arbeit adressiert das Bedürfnis nach einem Rahmenwerk, das die Expressivität von Quantenschaltkreisen mit der Skalierbarkeit und Interpretierbarkeit von KANs vereint, speziell konzipiert für die praktische Anwendbarkeit auf aktueller Hardware und klassischen Simulatoren.

Methodik
Die Autoren schlagen ein allgemeines Rahmenwerk namens Quantum Variational Activation Functions (QVAF) vor, bei dem parametrisierte Quantenschaltkreise als lernbare Aktivierungsfunktionen dienen. Um dieses Rahmenwerk für aktuelle Beschränkungen praktikabel zu machen, führen sie eine spezifische Einzelqubit-Instanziierung namens DatA Re-Uploading ActivatioN (DARUAN) ein.

DARUAN-Architektur: Im Gegensatz zu Standard-VQCs, die Daten nur einmal kodieren, nutzt DARUAN eine Data-Re-Uploading-Strategie. Es besteht aus einer Sequenz von $r$ Blöcken, wobei jeder Block abwechselnd eine trainierbare unitäre Operation $W^{(\ell)}(\theta_\ell)$ und eine Datenkodierungsoperation $S(w_\ell x) = e^{-i w_\ell x H}$ verwendet. Entscheidend ist, dass die Vorverarbeitungsgewichte der Daten $w_\ell$ trainierbar sind. Der Output ist der Erwartungswert einer Pauli-Observablen (typischerweise $\sigma_z$ ), die an einem einzelnen Qubit gemessen wird.
QKAN und HQKAN: Die Autoren betten DARUAN in die KAN-Topologie ein, um Quantum-inspired Kolmogorov-Arnold Networks (QKANs) zu erschaffen. In QKANs ist jede Kantenaktivierung ein distinkter Einzelqubit-DARUAN-Schaltkreis. Um die Skalierbarkeitseinschränkungen von KANs (bei denen die Parameter quadratisch mit den Input-/Output-Dimensionen skalieren) zu adressieren, führen die Autoren das Hybrid QKAN (HQKAN) ein. HQKAN umschließt einen kompakten QKAN-Latent-Kern mit klassischen, vollvernetzten Kompressions- und Expansionsschichten, was es dem Modell ermöglicht, hochdimensionale Inputs effizient zu verarbeiten.
Layer-Erweiterung: Um die Trainingsstabilität und Kapazität zu optimieren, wenden die Autoren eine „Layer-Extension“-Strategie an. Modelle werden zuerst mit einer geringen Anzahl von Re-Uploading-Wiederholungen ( $r$ ) trainiert und dann progressiv auf ein größeres $r$ erweitert, wobei neue Parameter als Identität initialisiert werden. Dies ermöglicht es dem Modell, zuerst niederfrequente Strukturen zu lernen und anschließend hochfrequente Details zu verfeinern, ohne das Training von Grund auf neu zu beginnen.
Theoretische Analyse: Die Arbeit liefert theoretische Beweise, die zeigen, dass mit trainierbaren Vorverarbeitungsgewichten das zugängliche Frequenzspektrum eines Einzelqubit-DARUAN exponentiell mit der Anzahl der Wiederholungen $r$ wachsen kann (speziell eine geometrische Wahl der Gewichte $w_\ell = 2^{\ell-1}$ ergibt eine gefüllte Bandbreite von $2^r - 1$ ). Dies bietet eine Kapazitäts-Level-Parameterreduktion im Vergleich zu klassischen Fourier-basierten KANs, die eine linear steigende Parameteranzahl benötigen, um dieselbe Bandbreite zu erreichen.

Wesentliche Beiträge

QVAF-Rahmenwerk: Eine allgemeine Definition von Quantenschaltkreisen als lernbare Aktivierungsfunktionen, die QML und klassisches Deep Learning überbrückt.
DARUAN: Eine recheneffiziente Einzelqubit-Instanziierung von QVAF, die klassisch simulierbar und direkt auf aktueller NISQ-Hardware ausführbar ist.
QKAN- und HQKAN-Architekturen: Neuartige Netzwerkdesigns, die DARUAN in KAN integrieren und so verbesserte Parametereffizienz, Expressivität und Generalisierung bieten.
Theoretische Garantien: Beweise, die zeigen, dass trainierbare Vorverarbeitungsgewichte ein exponentielles Wachstum des zugänglichen Frequenzspektrums ermöglichen, was eine theoretische Basis für die Parametereffizienz von QKANs gegenüber klassischen Fourier-basierten Alternativen schafft.
Wissensdestillation: Eine Methode, um gelernte Parameter von einem trainierten QKAN auf ein klassisches KAN (unter Verwendung von B-Splines) zu übertragen, wodurch QKANs als Pretraining-Mechanismus für klassische Modelle dienen können.

Experimentelle Ergebnisse
Die Autoren validieren ihren Ansatz über drei Domänen hinweg:

Funktionsregression: Bei verrauschten Regressionsaufgaben mit dem Feynman-Datensatz übertreffen oder erreichen QKANs konsistent klassische KANs und MLPs. Bemerkenswert ist, dass QKANs einen vergleichbaren oder niedrigeren Root Mean Square Error (RMSE) mit durchschnittlich etwa 24 % weniger Parametern erzielen. In einem breiteren Benchmark von 66 symbolischen Ausdrücken erreichten QKANs den niedrigsten RMSE in über 80 % der Gleichungen, während sie 30 % weniger Parameter als klassische KANs verwendeten.
Bildklassifizierung: Auf MNIST, CIFAR-10 und CIFAR-100 erreichen QKANs und HQKANs wettbewerbsfähige Top-1- und Top-5-Genauigkeiten. HQKANs zeigen insbesondere eine überlegene Parametereffizienz: Sie erreichen vergleichbare oder bessere Genauigkeiten mit signifikant weniger Parametern (z. B. bei CIFAR-100 nutzt HQKAN ~32k Parameter vs. ~384k bei KAN) und halten gleichzeitig eine hohe Genauigkeit.
Generative Modellierung: Bei der Integration in GPT-2 (als HQKANs) erreichten die Modelle eine niedrigere Perplexität und eine schnellere Konvergenz im Vergleich zu MLP-Baselines, wobei nur ein Drittel der Parameter und 30 % weniger Speicher während des Trainings benötigt wurden.
Hardware-Validierung: Die Autoren führten eine Inferenz-Validierung auf dem IBM Aachen Quantenprozessor durch. Während die Hochpräzisionsregression sensitiv gegenüber Shot-Noise und Hardwarefehlern war, behielten Klassifikationsaufgaben (CIFAR-10/100) eine robuste Performance (innerhalb von 2-3 % der exakten Solver-Genauigkeit) selbst bei niedrigen Shot-Counts (100 Shots) bei, was die Machbarkeit der Einzelqubit-DARUAN-Inferenz auf NISQ-Geräten demonstriert.

Bedeutung und Ansprüche
Das Paper behauptet, dass QKANs eine „Brücke“ zwischen interpretierbaren klassischen Architekturen und quantenschaltkreisbasierten strukturierten Aktivierungen darstellen. Die Bedeutung liegt in folgenden Punkten:

Praktikabilität: Durch die Nutzung von Einzelqubit-Schaltkreisen vermeidet der Ansatz das Barren-Plateau-Problem und die Fidelity-Engpässe von Multi-Qubit-Verschränkungsgattern, was ihn sofort einsatzbereit für klassische Simulatoren und aktuelle Quantenhardware für die Inferenz macht.
Effizienz: Die strukturierte Kopplung von Fourier-Koeffizienten durch geteilte Rotationsparameter wirkt als impliziter Regularisierer, der es QKANs ermöglicht, eine hohe Expressivität mit weniger Parametern als ihre klassischen Gegenstücke zu erreichen.
Skalierbarkeit: Die HQKAN-Architektur und die Layer-Extension-Strategie adressieren die Skalierungsprobleme von KANs und ermöglichen die Anwendung quanteninspirierter Module auf großskalige Modelle wie LLMs.
Validierung: Die Arbeit dient als „gegenwärtige Validierung“ des QVAF-Konzepts. Während die Autoren anerkennen, dass Multi-Qubit-Verschränkungs-QVAFs weitere Vorteile (z. B. reduzierte Tiefe) bieten könnten, betonen sie, dass das aktuelle Einzelqubit-Design der robusteste und skalierbarste Weg nach vorne ist, gegeben die aktuellen Hardwarebeschränkungen. Die trainierten Modelle können direkt auf NISQ-Hardware für die Inferenz ausgeführt werden, was einen direkten Pfad für einen Quantenvorteil in spezifischen Inferenzaufgaben bietet, noch bevor fehlertolerante Quantencomputer verfügbar sind.