Modeling quantum neural network gradient with reinforcement learning

Im aufstrebenden Feld des Quantencomputings versuchen Wissenschaftler, Maschinen zu bauen, die Probleme lösen können, die weit jenseits der Reichweite heutiger Supercomputer liegen. Ein zentrales Werkzeug bei diesem Bemühen ist das Quanten-neuronale Netz, ein hybrides System, das die seltsame Physik von subatomaren Teilchen mit den Lernfähigkeiten künstlicher Intelligenz kombiniert. Diese Netzwerke sind darauf ausgelegt, Muster in Daten zu finden, ähnlich wie die Software, die Gesichter in Fotos erkennt oder Sprachen übersetzt. Das Training dieser Quantensysteme ist jedoch gegen eine hartnäckige Wand gestoßen. Wenn Forscher mehr Quantenbits, oder Qubits, zu ihren Schaltkreisen hinzufügen, um schwierigere Probleme zu bewältigen, verschwinden die Signale, die zur Lehre der Maschine verwendet werden, oft im Nichts. Dieses Phänomen, bekannt als „Barren Plateau“ (verödetes Plateau), lässt das Netzwerk blind dafür zurück, wie es sich verbessern kann, während die schiere Rechenleistung, die zur Berechnung der notwendigen Aktualisierungen erforderlich ist, so groß wird, dass es auf aktueller Hardware unmöglich zu betreiben ist.

Um diese Barriere zu durchbrechen, hat ein Forschungsteam einen neuen Ansatz entwickelt, der die traditionelle Art und Weise, diese Maschinen zu lehren, umgeht. Anstatt zu versuchen, die exakte mathematische Steigung des Lernpfades durch den Quantenschaltkreis zu berechnen – ein Prozess, der mit zunehmender Größe des Systems exponentiell schwieriger und speicherintensiver wird – haben sie ein separates, klassisches Computerprogramm trainiert, um den nächsten Schritt zu erraten. Dieses Programm, das mithilfe einer Technik namens Reinforcement Learning (bestärkendes Lernen) erstellt wurde, fungiert wie ein erfahrener Coach. Es beobachtet die Leistung des Quantennetzwerks, bemerkt dessen aktuelle Fehler sowie vergangene Züge und schlägt dann eine direkte Aktualisierung der Einstellungen des Netzwerks vor. Die Forscher fanden heraus, dass diese Methode nicht nur das Problem der verschwindenden Signale vermeidet, sondern auch tausendmal schneller läuft und nur einen Bruchteil des Speichers benötigt, der von Standardtechniken erforderlich ist.

Das Team unter der Leitung von Forschern aus Vietnam und Japan testete ihren neuen Optimierer, den sie RLQ-Grad nannten, auf einer Vielzahl simulierter Quantenschaltkreise, die von nur zwei Qubits bis hin zu zwanzig Qbits reichten. In der Welt des Quantencomputings sind zwanzig Qubits eine bedeutende Skala; sie repräsentieren ein System, das groß genug ist, um für reale Anwendungen relevant zu sein, aber klein genug, um auf leistungsstarken klassischen Computern simuliert zu werden. Die Ergebnisse waren beeindruckend. Als die Forscher ihre Methode mit den drei Standardwegen zur Berechnung von Aktualisierungen verglichen – Backpropagation (Fehlerrückführung), Parameter-Shift und Adjoint-Differenzierung – behielt RLQ-Grad unabhängig von der Schaltkreisgröße ein stetiges, starkes Lernsignal bei. Im Gegensatz dazu sanken die Lernsignale der traditionellen Methoden mit zunehmender Anzahl der Qubits um Größenordnungen, was das Training effektiv zum Stillstand brachte.

Die Effizienzgewinne waren gleichermaßen dramatisch. Auf einem Standard-Computerprozessor schloss die neue Methode jeden Trainingsschritt in weniger als einem Zehntel einer Sekunde ab, selbst bei den größten Zwanzig-Qubit-Schaltkreisen. Die traditionelle Backpropagation-Methode benötigte im Vergleich dazu fast zweihundert Sekunden für dieselbe Aufgabe. In Bezug auf die Speichernutzung war der Unterschied noch tiefgreifender. Während der Standard-Backpropagation-Ansatz über sechstausend Megabyte Speicher benötigte, um einen Zwanzig-Qubit-Schaltkreis zu handhaben, benötigte die neue Methode weniger als zwei Megabyte. Diese Reduzierung des Ressourcenbedarfs bedeutet, dass Forscher diese komplexen Modelle potenziell auf viel bescheidenerer Hardware trainieren könnten, was den Zugang zur Quanten-Maschinellen-Lernforschung demokratisiert.

Das Team untersuchte auch, wie gut das System tatsächlich lernte, Daten zu klassifizieren. Sie testeten die Methode an vier verschiedenen Datensätzen, darunter Bilder von handgeschriebenen Ziffern und medizinische Daten im Zusammenhang mit Brustkrebs. In jedem Fall übertraf ihr RLQ-Grad-Optimierer die traditionellen gradientenbasierten Methoden. Bei den einfacheren Datensätzen verbesserte er die Genauigkeit des Quantennetzwerks um bis zu zehn Prozent. Bei dem komplexeren Bilddatensatz, bei dem die traditionellen Methoden mit wachsender Größe des Schaltkreises zu kämpfen begannen, verbesserte die neue Methode die Leistung weiter und erreichte dabei die Leistungsfähigkeit spezialisierter Techniken, die speziell entwickelt wurden, um das Problem der Barren Plateaus zu beheben. Entscheidend war, dass dies ohne den massiven Rechenaufwand geschah, den diese spezialisierten Techniken normalerweise erfordern.

Einer der wichtigsten Aspekte dieser Arbeit ist das, was sie ausschließt. Die Forscher testeten explizit, ob andere Arten der Optimierung, wie etwa evolutionäre Algorithmen, die die natürliche Selektion nachahmen, oder gradientenfreie Methoden, die auf „Raten und Prüfen“ basieren, das Problem lösen könnten. Sie fanden heraus, dass diese alternativen Ansätze angesichts derselben Zwanzig-Qubit-Schaltkreise auf das Niveau des Zufalls kollabierten und nichts Nützliches lernten. Dies deutet darauf hin, dass die Lösung nicht einfach darin besteht, die Berechnung von Gradienten zu vermeiden, sondern darin, eine intelligente, gelernte Strategie (Policy) zu verwenden, um die Aktualisierungen zu steuern. Die Studie stellt auch klar, dass diese Methode zwar das Problem der verschwindenden Signale und der hohen Speicherkosten löst, aber nicht magisch jedes Problem im Quantenlernen behebt: Wenn der Quantenschaltkreis zu klein oder das Problem zu einfach ist, kann das Netzwerk immer noch in schlechten Lösungen stecken bleiben, und die Methode funktioniert bisher noch nicht auf tatsächlicher physischer Quantenhardware, die anfällig für Rauschen und Fehler ist.

Das Team bewies mathematisch, dass ihr Ansatz funktioniert, weil das „Coach“-Programm vollständig auf klassischen Computern arbeitet, getrennt vom Quantenschaltkreis selbst. Da dieser Coach nicht die komplexen Quantengleichungen differenzieren muss, unterliegt er nicht demselben exponentiellen Zerfall, der die traditionellen Methoden plagt. Die Forscher verifizierten dies, indem sie zeigten, dass die Varianz des Lernsignals mit der Anzahl der hinzugefügten Qubits flach und stabil blieb, während das Signal für andere Methoden rapide abfiel. Dieser strukturelle Vorteil ermöglicht es der Methode, effizient zu skalieren, wobei sie nur linear mit der Anzahl der Parameter wächst und nicht exponentiell mit der Größe des Quantensystems.

Obwohl die Studie vollständig auf Simulationen durchgeführt wurde, sind die Auswirkungen auf die Zukunft des Quantencomputings signifikant. Durch die Reduzierung der Rechenkosten für das Training um Faktoren von Tausenden könnte diese Methode es Wissenschaftlern ermöglichen, viel größere und komplexere Quanten-neuronale Netze zu erforschen, als bisher für möglich gehalten wurde. Sie bietet einen neuen Weg nach vorn für ein Feld, das mit den praktischen Einschränkungen beim Training dieser Systeme zu kämpfen hat. Die Forscher merken an, dass der nächste Schritt darin bestehen wird, diesen Ansatz auf echter Quantenhardware zu testen und zu sehen, ob die gelernten Strategien auf verschiedene Arten von Problemen übertragen werden können, um potenziell ein universelles Werkzeug für das Training der Quantenmaschinen von morgen zu schaffen. Für den Moment steht die Arbeit als Beweis dafür, dass wir durch eine Änderung der Art und Weise, wie wir diese Maschinen lehren, die steilen Klippen überwinden können, die ihren Fortschritt blockiert haben.