Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing

Diese Arbeit präsentiert einen iterativen QUBO-basierten Ansatz zum Training von CNN-Klassifikatoren mittels Quantenannealing, der durch eingefrorene Faltungsfilter und ein quadratisches Surrogat gradientenbasierte Optimierung vermeidet und auf mehreren Bilddatensätzen wettbewerbsfähige Ergebnisse liefert.

Das Wesentliche

Stellen Sie sich vor, Sie wollen einem Computer beibringen, Bilder zu erkennen – zum Beispiel, ob auf einem Foto eine Katze oder ein Hund zu sehen ist. Das machen wir heute mit künstlichen neuronalen Netzen (KI). Aber was, wenn wir diese KI nicht mit herkömmlichen Computern, sondern mit Quantencomputern trainieren wollen?

Das ist genau das Problem, das diese Forscher angehen. Hier ist eine einfache Erklärung ihrer Arbeit, ohne komplizierte Fachbegriffe.

1. Das Problem: Der verlorene Wanderer

Stellen Sie sich vor, Sie wollen einen Berg hinabsteigen, um ins Tal (die beste Lösung) zu kommen.

• Der klassische Weg: Sie schauen auf den Boden und gehen immer bergab. Das funktioniert gut, aber manchmal bleiben Sie in einem kleinen Loch stecken, das nicht das tiefste Tal ist.
• Der Quanten-Weg (Variational Circuits): Hier gibt es ein Problem namens „Barren Plateau" (wüste Ebene). Stellen Sie sich vor, Sie stehen auf einer riesigen, flachen Wüste. Es gibt keinen Abhang, keine Richtung. Der Computer weiß nicht, wo er lang soll, und die KI lernt nichts.

Die Forscher wollten einen Weg finden, wie man eine KI trainiert, ohne in dieser „wüsten Ebene" stecken zu bleiben und ohne dass die Rechenzeit explodiert, wenn man mehr Bilder hat.

2. Die Lösung: Der eingefrorene Fotograf

Normalerweise lernt eine KI alles: Sie lernt, wie man Kanten erkennt (wie ein Fotograf, der die Kamera einstellt), und sie lernt, wie man das Ergebnis bewertet (der Fotograf, der entscheidet, ob es ein Hund ist).

Diese Forscher haben einen cleveren Trick angewandt, ähnlich wie beim „Extreme Learning Machine"-Konzept:

• Die Kamera ist fest: Die ersten Teile der KI (die „Convolutional Filters"), die das Bild ansehen, werden zufällig eingestellt und dann eingefroren. Sie ändern sich nie mehr. Das ist wie ein Fotograf, der die Kamera einmal zufällig auf eine Landschaft richtet und dann den Stativ festklemmt.
• Nur der Kopf lernt: Nur der letzte Teil der KI (der „Classifier"), der entscheidet „Das ist ein Hund", wird trainiert.

Warum? Weil es viel einfacher ist, nur einen kleinen Teil zu optimieren, als den ganzen riesigen Berg zu bewegen.

3. Die Sprache der Quanten: Das QUBO-Puzzle

Quantencomputer (speziell die sogenannten „Annealer" von D-Wave) verstehen keine normalen Zahlen wie 3,14. Sie verstehen nur Schalter: An oder Aus (0 oder 1).

Um die KI auf diesen Computer zu bringen, haben die Forscher die Mathematik umgebaut:

• Das QUBO: Das steht für „Quadratische Ungebundene Binäre Optimierung". Vereinfacht gesagt: Sie verwandeln das Lernproblem in ein riesiges Puzzle, bei dem es darum geht, eine bestimmte Anzahl von Schaltern so zu stellen, dass der „Energieverbrauch" minimal ist.
• Die Brücke: Da das eigentliche Lernen (Cross-Entropy Loss) für Quantencomputer zu kompliziert ist, haben sie eine Vereinfachung gebaut. Sie nutzen eine Art „Landkarte der Fehler" (Gram-Matrix), die zeigt, wie die verschiedenen Bildmerkmale zusammenhängen. Diese Karte ist statisch und ändert sich nicht, was die Sache viel stabiler macht.

4. Die Feinabstimmung: Wie viele Bits?

Da Quantencomputer nur Schalter verstehen, müssen sie die Zahlen der KI in Binärcode umwandeln.

• 5 Bits: Wie ein Lineal mit nur groben Strichen. Die KI lernt nicht richtig (nur ca. 33% Genauigkeit).
• 20 Bits: Wie ein Mikroskop. Die KI kann sehr fein unterscheiden.
• Das Ergebnis: Die Forscher haben herausgefunden, dass man mindestens 10 Bits braucht, damit es funktioniert. Mit 20 Bits war die KI so gut oder sogar besser als herkömmliche Computer auf bestimmten Tests (wie MNIST, einem Standard-Test für handschriftliche Zahlen).

5. Die Ergebnisse: Hat es geklappt?

Die Forscher haben ihre Methode an sechs verschiedenen „Prüfungen" getestet (Bilder von Zahlen, Kleidung, Objekten).

• Vergleich: Sie haben die Quanten-Methode (simuliert auf einem klassischen Computer) gegen eine normale KI (Gradient Descent) angetreten.
• Ergebnis: Bei einfachen Bildern (wie handschriftlichen Zahlen) war die Quanten-Methode mit 20-Bit-Genauigkeit besser als die normale KI. Bei komplexeren Bildern (wie bunten Fotos) war sie ähnlich gut.
• Wichtig: Sie haben das noch nicht auf einem echten Quantencomputer laufen lassen, sondern mit einer Simulation. Aber sie haben bewiesen, dass die Idee funktioniert und die Daten für einen echten Quantencomputer passen würden.

6. Zusammenfassung in einem Satz

Die Forscher haben eine KI erfunden, die wie ein Fotograf mit feststehender Kamera ist, deren „Gehirn" aber mit Hilfe von Quanten-Logik (Schalter-Puzzles) trainiert wird, um Bilder zu erkennen – und das funktioniert überraschend gut, ohne dass die KI in mathematischen Sackgassen stecken bleibt.

Was bedeutet das für die Zukunft?

• Vorteil: Man braucht keine riesigen Datenmengen, um das Quanten-Teil zu trainieren. Es ist stabiler.
• Nachteil: Derzeit ist es noch langsamer als ein normaler Computer.
• Ausblick: Wenn die Quantencomputer in Zukunft stärker werden, könnte diese Methode helfen, KI schneller und effizienter zu trainieren, ohne dass sie in „wüsten Ebenen" der Mathematik verloren geht.

Technische Zusammenfassung

Technische Zusammenfassung: Schichtweises QUBO-basiertes Training von CNN-Klassifikatoren für Quanten-Annealing

1. Problemstellung

Das Feld des Quanten-Machine-Learning (QML) steht vor erheblichen Herausforderungen bei der Bildklassifizierung.

• Variationale Quantenschaltungen (VQCs): Diese leiden unter dem Phänomen der „Barren Plateaus", bei dem die Gradienten exponentiell mit der Anzahl der Qubits verschwinden, was eine Optimierung unmöglich macht.
• Quanten-Kernel-Methoden: Diese skalieren quadratisch ($O(N^2)$) mit der Größe des Datensatzes, was für große Bilddatensätze unpraktikabel ist.
• QUBO-Optimierung: Herkömmliche neuronale Netze haben nicht-konvexe Verlustlandschaften (Cross-Entropy), die sich nicht direkt als Quadratisches Ungezwungenes Binäres Optimierungsproblem (QUBO) formulieren lassen. Zudem skalieren viele QUBO-Ansätze mit der Anzahl der Trainingsdaten, nicht mit der Modellgröße.

Das Ziel der Autoren ist es, einen Trainingsrahmen zu entwickeln, der Gradienten-basierte Optimierung vermeidet, skalierbar ist und direkt auf Quanten-Annealern (wie D-Wave) implementiert werden kann.

2. Methodik

Die Autoren schlagen einen iterativen Rahmen vor, der auf dem Paradigma der Extreme Learning Machines (ELM) basiert. Dabei werden die Faltungsschichten (Feature-Extraktoren) zufällig initialisiert und eingefroren, während nur der Klassifikator-Kopf (vollvernetzte Schicht) optimiert wird.

Kernkomponenten der Formulierung:

1. Quadratischer Surrogat-Verlust:
   Da der Cross-Entropy-Verlust nicht quadratisch ist, wird er durch ein konvexes quadratisches Surrogat ersetzt. Anstatt die absoluten Parameter zu optimieren, werden diskrete Gewichts-Updates ($\theta_{t+1} = \theta_t + u$) gesucht. Die Verlustlandschaft wird lokal als Taylor-Entwicklung 2. Ordnung approximiert:
   $$q(u) = \frac{1}{2}u^T G u + g^T u$$
   Hierbei ist $G$ eine Krümmungsmatrix und $g$ der Gradient.

2. Gram-Matrix als Krümmungs-Proxy:
   Um die Berechnung der Hesse-Matrix (die von Vorhersagen abhängt und sich bei jedem Schritt ändert) zu vermeiden, wird die Gram-Matrix $G = \frac{1}{N} X^T X$ verwendet. Da die Merkmale $X$ eingefroren sind, ist $G$ über alle Iterationen hinweg konstant. Dies macht das QUBO stabil und vermeidet die Notwendigkeit, das Problem bei jedem Schritt neu zu formulieren.

3. Binäre Kodierung:
   Kontinuierliche Updates werden mittels symmetrischer Vorzeichenkodierung diskretisiert. Ein Parameter wird durch $K$ Bits dargestellt, wobei die Auflösung von der Bit-Präzision $K$ abhängt. Dies ermöglicht die Abbildung auf Qubits.

4. Per-Ausgabe-Zerlegung (Decomposition):
   Statt ein riesiges monolithisches QUBO für alle Klassen zu lösen, wird das Problem in $C$ unabhängige QUBOs zerlegt (eines pro Ausgabeneuron/Klasse).

   • Größe pro QUBO: $(d + 1) \times K$ binäre Variablen ($d$ = Merkmalsdimension, $K$ = Bit-Präzision).
   • Dies skaliert mit der Modellgröße, nicht mit der Anzahl der Trainingsdaten ($N$).

5. Trainingsalgorithmus:
   Der Prozess läuft in Iterationen ab:

   • Berechnung der Merkmale (klassisch).
   • Berechnung der Gram-Matrix (einmalig).
   • Berechnung der Softmax-Residuen (Gradient).
   • Formulierung und Lösung der $C$ QUBOs (via Annealing).
   • Anwendung der Updates auf die Gewichte.

3. Hauptbeiträge

1. Iterativer Gram-Matrix QUBO-Surrogat: Ersetzt den nicht-quadratischen Cross-Entropy-Verlust durch eine konvexe quadratische Form, die für Quanten-Annealing geeignet ist und Training von zufälliger Initialisierung ermöglicht.
2. Per-Ausgabe-Zerlegung: Reduziert die QUBO-Größe von $(d+1)CK$ auf $C$ unabhängige Probleme der Größe $(d+1)K$. Dies entkoppelt die Problemgröße von der Datengröße.
3. Empirische Präzisionsstudie: Identifiziert eine Mindest-Bit-Präzision von $K \ge 10$ für effektives Training.
4. Benchmarking: Validierung auf sechs Bilddatensätzen unter einem eingefrorenen Feature-Setting.

4. Experimentelle Ergebnisse

Die Experimente wurden mit Simuliertem Annealing (SA) durchgeführt, um eine Baseline für den direkten Einsatz auf Quanten-Hardware zu etablieren. Alle Datensätze wurden auf 8x8 Graustufen-Bilder heruntergebrochen.

• Datensätze: sklearn Digits, MNIST, Fashion-MNIST, CIFAR-10, EMNIST, KMNIST.
• Bit-Präzision: 5, 10, 15 und 20 Bit.
• Ergebnisse:
  • 5-Bit: Scheitert an der Konvergenz (Test-Genauigkeit ~33% auf sklearn Digits).
  • 10-Bit und höher: Erzielt konkurrenzfähige Ergebnisse.
  • 20-Bit: Übertreift oder gleicht die klassische stochastische Gradientenabstiegs-Methode (SGD) bei eingefrorenen Features.
    • MNIST: +3,1% Test-Genauigkeit gegenüber klassischem SGD (81,3% vs. 78,2%).
    • Fashion-MNIST: +1,3% Verbesserung.
    • EMNIST: Gleichstand.
    • CIFAR-10 & KMNIST: Leicht unterlegen, was auf die 8x8-Auflösung und die Komplexität der Datensätze zurückgeführt wird, nicht auf den Optimierer.
• Hardware-Kompatibilität:
  • Ein 20-Bit QUBO mit $d=18$ erfordert 380 logische Qubits pro Klasse.
  • Dies liegt innerhalb der Kapazität des D-Wave Advantage Systems (5.640 physikalische Qubits), jedoch erfordert die dichte Konnektivität (72.010 Koppler) ein Minor-Embedding, das die effektive Kapazität reduziert. Die 15-Bit-Formulierung passt am besten in die aktuellen Pegasus-Topologie-Grenzen (40.484 Koppler).

5. Bedeutung und Schlussfolgerung

Diese Arbeit demonstriert, dass Quanten-Annealing für das Training von neuronalen Netzen nutzbar ist, wenn man die Gradientenproblematik umgeht.

• Vermeidung von Barren Plateaus: Da keine Gradienten von Quantenschaltungen geschätzt werden müssen, entfällt das Problem der Barren Plateaus.
• Skalierbarkeit: Die Komplexität hängt von der Bildauflösung und Bit-Präzision ab, nicht von der Anzahl der Trainingsdaten ($N$).
• Praktische Relevanz: Die Studie etabliert, dass eine Mindestpräzision von 10 Bit notwendig ist, um sinnvolle Ergebnisse zu erzielen.
• Limitationen: Das Training ist aktuell langsamer als klassisches SGD (Faktor 100–400× bei SA). Die dichte Konnektivität der QUBO-Matrix stellt eine Herausforderung für das Embedding auf aktueller Hardware dar.
• Zukunft: Der nächste Schritt ist die Validierung auf echter Quanten-Hardware (QPU), um zu prüfen, ob Quantentunneling Vorteile gegenüber Simuliertem Annealing bietet.

Zusammenfassend bietet der vorgeschlagene Ansatz einen vielversprechenden Weg, um Quanten-Annealing in hybride Architekturen zu integrieren, indem er die Feature-Extraktion klassisch belässt und die Optimierung des Klassifikators auf den Quantenprozessor auslagert.