Approximate Quantum State Preparation Through Proximal Policy Optimization

Die Quanten-Lego-Herausforderung

Stellen Sie sich vor, Sie versuchen, eine spezifische, unglaublich komplexe Skulptur aus Lego-Steinen zu bauen. Nun stellen Sie sich vor, dass jedes Mal, wenn Sie ein Teil hinzufügen, die gesamte Struktur sich verschiebt, dreht und die Farbe auf eine Weise ändert, die der normalen Physik trotzt. Dies ist die Welt des Quantencomputings. Im Gegensatz zu den Computern in Ihrer Tasche, die einfache An/Aus-Schalter (Bits) verwenden, nutzen Quantencomputer „Qubits“, die gleichzeitig in vielen Zuständen existieren können. Um diese Maschinen nützlich zu machen, müssen Wissenschaftler zuerst einen schwierigen Tanz namens Quantum State Preparation (QSP) aufführen. Betrachten Sie dies als die „Vorbereitungsphase“: Sie beginnen mit einem leeren Blatt (alle Nullen) und müssen die Qubits so drehen und wenden, bis sie ein ganz bestimmtes, gewünschtes Muster bilden.

Das Problem ist, dass sich die Anzahl der Möglichkeiten, die Qubits anzuordnen, explodiert, sobald Sie mehr Qubits hinzufügen. Es ist, als würde man versuchen, das perfekte Lego-Rezept in einem Universum zu finden, in dem die Anzahl der möglichen Rezepte schneller wächst, als man zählen kann. Wenn Sie das Rezept falsch hinbekommen, wird der Quantencomputer nicht funktionieren. Jahrelang haben Menschen versucht, diese Rezepte von Hand zu schreiben, aber das ist wie der Versuch, ein Labyrinth zu lösen, das ständig seine Form verändert. Hier kommt Reinforcement Learning ins Spiel. Es ist eine Art künstliche Intelligenz, die durch Versuch und Irrtum lernt, ähnlich wie ein Hund, der lernt, sich für ein Leckerli hinzusetzen. Die KI probiert eine Aktion aus, erhält eine „Belohnung“, wenn sie nah dran ist, und eine „Bestrafung“, wenn sie weit entfernt ist, und findet so langsam den besten Weg, ohne dass ein Mensch ihr die Hand hält.

Die Geschichte der Arbeit: Einem Roboter beibringen, Quantenschaltkreise zu bauen

In dieser Arbeit schlagen Marco Mordacci und Michele Amoretti von der Universität Parma einen neuen Weg vor, um dieses Lego-Rätsel zu lösen. Sie bauten einen digitalen „Agenten“ (ein intelligentes Robotergehirn) unter Verwendung einer spezifischen Art von Reinforcement Learning namens Proximal Policy Optimization (PPO). Ihr Ziel war einfach, aber schwierig: Diesem Agenten beizubringen, einen Quantenschaltkreis zu bauen, der einen spezifischen Zielzustand erzeugt, wobei so wenige „Gates“ (das Quanten-Äquivalent zu Lego-Steinen) wie möglich verwendet werden, während das Ergebnis so nah wie mathematisch möglich am Perfekten liegt.

Der Agent arbeitet Schritt für Schritt. Er betrachtet den aktuellen Zustand des Quantensystems und entscheidet, ein neues Gate hinzuzufügen. Die Gates, aus denen er wählen kann, sind wie ein Basiskit: drei Arten von Einzel-Qubit-Rotationen (denken Sie daran, einen einzelnen Stein in verschiedene Richtungen zu drehen: $R_x$, $R_y$ und $R_z$) und ein „verschränkendes“ Gate namens CNOT (welches zwei Qubits miteinander verbindet, wie zwei Steine zusammenzuklicken, sodass sie sich wie ein einziges bewegen). Jedes Mal, wenn der Agent ein Gate hinzufügt, führt der Computer eine kurze Mini-Trainingssierung durch, um die Winkel der Rotationen anzupassen, damit das Ergebnis dem Zielzustand so nah wie möglich kommt. Wenn das Ergebnis näher kommt, erhält der Agent eine Belohnung; wenn es weiter entfernt ist oder zu viele Gates verwendet werden, erhält er eine Strafe.

Die Forscher testeten diesen „Roboter-Architekten“ bei einer Reihe von Herausforderungen, beginnend mit 2 Qubits bis hinauf zu 5. Sie baten den Agenten, berühmte, vordefinierte Muster zu bauen (wie die „Bell“, „GHZ“, „W“ und „Dicke“-Zustände, die wie bekannte Standard-Lego-Modelle sind) und auch völlig zufällige, chaotische Muster.

Die Ergebnisse waren beeindruckend, besonders für kleinere Systeme. Für 2-Qubit- und 3-Qubit-Aufgaben fand der Agent oft hocheffiziente Lösungen, wenngleich nicht immer das absolute theoretische Minimum. Als er beispielsweise gebeten wurde, einen „Bell-Zustand“ (eine einfache Zwei-Qubit-Verbindung) zu bauen, fand der Agent nicht die exakte theoretische Lösung (die ein Hadamard-Gate erfordert, ein Werkzeug, das nicht in seinem Kit enthalten ist). Stattdessen approximierte er den Effekt mithilfe eines Rotationsgates ($R_y$), um das Ziel zu erreichen. Bei der Bearbeitung von zufälligen 2-Qubit-Zuständen fand er konsistent Lösungen mit 7 Gates, was dem entspricht, was andere Wissenschaftler als das Minimum berechnet haben. Dennoch stellt die Arbeit fest, dass der Agent in einigen Fällen nicht zur optimalen Lösung konvergiert; er identifiziert zwar die besten Gates, verwendet sie aber möglicherweise übermäßig aufgrund unzureichender Bestrafung, was eine spätere manuelle Vereinfachung erfordert. Trotz dieser Eigenheiten war der Agent so präzise, dass er eine Fehlerrate von nur $10^{-14}$ erreichen konnte, was bedeutet, dass das Ergebnis fast ununterscheidbar vom perfekten Ziel war.

Die Geschichte wird jedoch komplizierter, wenn die Rätsel größer werden. Als die Forscher 4-Qubit- und 5-Qubit-Systeme testeten, lernte der Agent zwar immer noch, aber er hatte Schwierigkeiten, jedes Mal den absolut kürzesten Pfad zu finden. Für zufällige 4-Qubit-Zustände baute der Agent meist Schaltkreise mit zwischen 47 und 70 Gates (im Durchschnitt etwa 63), während die „optimierten“ Versionen (nach einiger manueller Bereinigung) auf etwa 53 reduziert werden konnten. Für 5 Qubits wurde der Suchraum so riesig, dass der Agent den Job nicht perfekt in der vorgegebenen Zeit abschließen konnte, obwohl er zeigte, dass er die Grundlagen durchaus erlernen kann.

Die Autoren entdeckten auch einen cleveren Trick, um dem Agenten zu helfen, wenn er feststeckte. Durch die Verwendung eines „Success Buffer“ – eines Speicherbanks, die die 10 besten jemals vom Agenten gefundenen Schaltkreise speicherte und auf denen er gelegentlich neu trainierte – konnte der Roboter bessere Lösungen schneller finden. Sie fanden auch heraus, dass durch die Änderung der Art und Weise, wie sie die „Belohnung“ berechneten – speziell durch die Verwendung einer logarithmischen Skala, um winzige Verbesserungen wie große Siege erscheinen zu lassen –, der Agent selbst dann noch weiterlernen konnte, wenn er bereits zu 99,999 % genau war.

Letztendlich legt die Arbeit nahe, dass dieser KI-gestützte Ansatz ein leistungsstarkes neues Werkzeug für das Design von Quantenschaltkreisen ist. Er kopiert nicht nur menschliche Ideen; er erkundet den Raum der Möglichkeiten eigenständig. Obwohl er bei steigender Anzahl von Qubits an eine Komplexitätsgrenze stößt (was angesichts der exponentiellen Natur des Problems zu erwarten ist), automatisiert das Framework den Designprozess für kleine bis mittlere Quantensysteme erfolgreich und erreicht Fehlerraten von nur $10^{-14}$. Die Autoren merken an, dass sich die zukünftige Arbeit darauf konzentrieren wird, das Training noch schneller zu machen und diese Ideen an noch größeren Quantensystemen zu testen, in der Hoffnung, dass diese KI-Architekten eines Tages die komplexen Schaltkreise entwerfen können, die für reale Quantencomputer benötigt werden.