⚛️ quantum physics

Hybrid Action Reinforcement Learning for Quantum Architecture Search

Das Papier schlägt HyRLQAS vor, ein Hybrid-Action-Reinforcement-Learning-Framework, das die diskrete Suche nach Schaltkreisstrukturen mit kontinuierlicher Parameteroptimierung vereinigt, um automatisch Variationelle Quantenschaltkreise zu entwerfen, die chemische Genauigkeit mit weniger Gattern und schnellerer Konvergenz erreichen.

Ursprüngliche Autoren: Jiayang Niu, Yan Wang, Jie Li, Ke Deng, Azadeh Alavi, Muhammad Usman, Yongli Ren

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiayang Niu, Yan Wang, Jie Li, Ke Deng, Azadeh Alavi, Muhammad Usman, Yongli Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die perfekte Maschine zu bauen, um ein bestimmtes Rätsel zu lösen. In der Welt des Quantencomputings wird diese „Maschine“ als Quantenschaltkreis bezeichnet, und das „Rätsel“ ist oft die Bestimmung des Energiezustands eines Moleküls (wie Atome zusammenhalten).

Lange Zeit war der Bau dieser Maschinen wie der Versuch, ein komplexes Lego-Set mit verbundenen Augen zusammenzubauen. Man muss zwei Dinge gleichzeitig entscheiden:

Die Struktur: Welche Blöcke (Gates) kommen wohin?
Die Einstellungen: Wie fest sollten die Regler an diesen Blöcken gedreht werden?

Der alte Weg: Zwei separate Schritte

Frühere Methoden versuchten, dies in zwei aufeinanderfolgenden Schritten zu lösen, wie bei einem Staffellauf, bei dem der Stab fallen gelassen wird.

Schritt 1: Eine KI errät die Struktur (wo die Blöcke platziert werden).
Schritt 2: Ein separates, langsames Computerprogramm versucht, die Regler zu drehen, damit die Maschine funktioniert.

Das Problem war: Die KI wusste nicht, wie die Regler gedreht würden, während sie die Blöcke platzte. Es war wie ein Architekt, der ein Haus entwirft, ohne zu wissen, ob der Klempner die Rohre hineinpassen kann. Dies führte oft zu Designs, die entweder zu kompliziert waren oder einfach nicht gut funktionierten, was dazu führte, dass das „Regler-Dreh“-Computerprogramm sehr lange laufen musste, um die Fehler zu korrigieren.

Der neue Weg: HyRLQAS (Der „hybride“ Architekt)

Die Autoren dieser Arbeit schlagen eine neue Methode namens HyRLQAS vor. Stellen Sie sich das wie das Einstellen eines superintelligenten Architekten vor, der nicht nur die Blaupausen zeichnet, sondern auch genau weiß, wie man die Regler der Maschinen dreht, während er zeichnet.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „hybride“ Aktionsraum (Zwei Dinge gleichzeitig tun)
Anstatt nur zu sagen: „Setze einen roten Block hierhin“, sagt die KI: „Setze einen roten Block hierhin und stelle seinen Regler auf 45 Grad ein.“

Diskrete Aktion: Entscheiden, wo ein Gate platziert wird (wie das Auswählen eines Lego-Steins).
Kontinuierliche Aktion: Entscheiden, die Anfangseinstellung dieses Gates (wie das Wählen des Startwinkels eines Reglers).
Indem sie beide Dinge gleichzeitig lernt, versteht die KI, dass die Form der Maschine und die Einstellungen ihrer Teile tief miteinander verbunden sind.

2. Der „Verfeinerungs“-Mechanismus (Der Polierschritt)
Wenn man ein neues Teil zu einer komplexen Maschine hinzufügt, bringt dies oft das Gleichgewicht der zuvor hinzugefügten Teile durcheinander.

Alte Methoden: Sobald ein Teil platziert wurde, waren seine Einstellungen festgeschrieben. Wenn das neue Teil alles durcheinanderbrachte, musste das gesamte System später von Grund auf neu optimiert werden.
HyRLQAS: Jedes Mal, wenn ein neues Teil hinzugefügt wird, „poliert“ die KI die Einstellungen der vorherigen Teile, um sicherzustellen, dass sie immer noch gut zusammenarbeiten. Es ist wie ein Bildhauer, der, jedes Mal wenn er ein neues Stück Ton hinzufügt, die gesamte Statue sanft umformt, um sie im Gleichgewicht zu halten.

3. Das Belohnungssystem (Das Ziel der „chemischen Genauigkeit“)
Die KI wird in einer virtuellen Umgebung trainiert, in der sie versucht, einen Schaltkreis zu bauen, der die Energie eines Moleküls berechnet.

Wenn der Schaltkreis die Energie richtig berechnet (sehr nah am wahren Wert), erhält sie ein „Goldsternchen“ (eine Belohnung).
Wenn sie falsch liegt, erhält sie ein „Daumen runter“.
Das Ziel ist es, die chemische Genauigkeit zu erreichen, was bedeutet, den Bullseye so präzise zu treffen, dass der Fehler kleiner ist als ein Sandkorn auf einem Fußballfeld.

Was haben sie herausgefunden?

Die Autoren testeten diese neue KI an mehreren molekularen Rätseln (wie Lithiumhydrid und Wasser). Hier sind die Ergebnisse in einfachem Deutsch:

Bessere Ergebnisse mit weniger Aufwand: HyRLQAS fand Lösungen, die viel genauer waren (bis auf einen Fehler von 0,00000001) als bisherige Methoden, die meist bei einem viel größeren Fehler (0,0001) stehen blieben.
Kleinere Maschinen: Es erreichte diese Ergebnisse mit weniger Teilen (Gates) und kürzeren Schaltkreisen. Es hat das Problem nicht einfach durch „Brute-Force“ gelöst, indem es die Maschine riesig machte; es fand ein klügeres, effizienteres Design.
Schnelleres Tuning: Da die KI die „Regler“ von vornherein korrekt eingestellt hat, musste das externe Computerprogramm, das die abschließende Feinabstimmung vornimmt, viel weniger arbeiten. Es benötigte weniger „Drehungen am Regler“, um die perfekte Lösung zu erreichen.
Warum es funktioniert (Das „Warum“): Die Autoren verwendeten ein mathematisches Werkzeug namens „Quantum Neural Tangent Kernel“ (denken Sie an es als eine Art Röntgenblick für das Lernpotenzial der Maschine). Sie fanden heraus, dass HyRLQAS Schaltkreise erschafft, die von Natur aus leichter zu trainieren sind. Der „Polierschritt“ glättet die Unebenheiten im Lernpfad, was es dem Computer erleichtert, die beste Lösung zu finden.

Das Fazit

HyRLQAS ist eine intelligentere Art, Quantencomputer zu entwerfen. Anstatt die Struktur zu raten und dann zu hoffen, dass die Einstellungen funktionieren, entwirft es die Struktur und stellt die Regler gleichzeitig ein, während es das Ganze ständig anpasst, während es wächst. Dies führt zu kleineren, genaueren und leichter zu trainierenden Quantenschaltkreisen, die chemische Probleme effektiver lösen können.

Technisches Resümee: Hybrid Action Reinforcement Learning für die Quantenarchitektursuche (HyRLQAS)

1. Problemstellung

In der Ära der Noisy Intermediate-Scale Quantum (NISQ) Computer verlassen sich variationale Quantenalgorithmen (VQAs) wie der Variational Quantum Eigensolver (VQE) stark auf das Design von parametrisierten Quantenschaltkreisen (PQCs). Während Reinforcement Learning (RL) als vielversprechender Rahmen für die Quantenarchitektursuche (QAS) zur Automatisierung des PQC-Designs hervorgetreten ist, leiden bestehende Methoden unter drei primären Einschränkungen:

Entkopplung von diskreten und kontinuierlichen Räumen: Aktuelle Ansätze trennen typischerweise die diskrete Gate-Platzierung (Topologie) von der kontinuierlichen Parameteroptimierung. Sie behandeln die Parameterinitialisierung oft als einen separaten, externen Schritt und ignorieren dabei die Wechselwirkung zwischen Schaltkreisstruktur und Parameterinitialisierung.
Ineffiziente Optimierungsschleifen: In der standardmäßigen RL-basierten QAS wird in jeder Episode ein externer klassischer Optimierer unabhängig aufgerufen, um die Parameter zu verfeinern. Dies verhindert die Wiederverwendung von erfahrungsbasierten Parametern über Episoden hinweg und führt zu einer ineffizienten Optimierung mit übermäßigen Iterationszahlen.
Optimierer-Sensitivität: Die Leistung wird oft durch die Sensitivität externer Optimierer gegenüber Initialisierungs- und Trainierbarkeitsproblemen (z. B. Barren Plateaus) bei tieferen Schaltkreistiefen eingeschränkt.

2. Methodik: HyRLQAS

Die Autoren schlagen HyRLQAS (Hybrid-Action Reinforcement Learning for Quantum Architecture Search) vor, einen einheitlichen Rahmen, der diese Probleme durch das gemeinsame Erlernen von Gate-Platzierung und Parameterinitialisierung innerhalb eines hybriden diskret-kontinuierlichen Aktionsraums adressiert.

2.1. Framework-Übersicht

HyRLQлоAS formuliert QAS als Markov-Entscheidungsprozess (MDP), bei dem ein Agent sequenziell einen Quantenschaltkreis konstruiert.

Zustand ( $s_t$ ): Repräsentiert den teilweise konstruierten Schaltkreis, kodiert über eine tensorbasierte Darstellung, die Gate-Typen, Positionen und aktuelle Parameterwerte erfasst.
Aktion ( $a_t$ ): Eine hybride Aktion, bestehend aus:
- Diskretem Anteil ( $z_t$ ): Wählt den Typ (z. B. $R_X, R_Y, R_Z$ , CNOT) und den Ort des einzufügenden Gates aus.
- Kontinuierlichem Anteil ( $x_t$ ): Definiert den initialen Rotationswinkel für das neu eingefügte parametrisierte Gate.
Verfeinerungsmechanismus: Entscheidend ist, dass der Agent beim Hinzufügen eines neuen Gates auch ein kontinuierliches Inkrement ( $\Delta x_t$ ) vorhersagt, um die Parameter zuvor platzierter Gates zu aktualisieren. Dies ermöglicht eine dynamische Verfeinerung der gesamten Parameterisierung des Schaltkreises während dessen Wachstum und stellt die Konsistenz mit der sich entwickelnden Topologie sicher.

2.2. Belohnung und Training

Belohnungssignal: Der Agent wird in einem VQE-Setting trainiert. Nach jeder Erweiterung des Schaltkreises verfeinert ein externer klassischer Optimierer (COBYLA) alle Parameter, um die molekulare Grundzustandsenergie zu minimieren. Die resultierende Energie $E_t$ $E_{t}$ wird in ein Belohnungssignal transformiert.
- Terminale Belohnungen werden vergeben, wenn die Energie unter einen dynamischen Schwellenwert $\xi$ fällt.
- Schrittweise Belohnungen geben Feedback proportional zur relativen Energieverbesserung.
Policy-Optimierung: Das Framework nutzt eine hybride Policy $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$ , die via REINFORCE optimiert wird. Das Policy-Netzwerk enthält einen diskreten Kopf für die Gate-Auswahl und kontinuierliche Köpfe für die Parameterinitialisierung und die Verfeinerungsinkremente.
Curriculum Learning: Der Schwellenwert $\xi$ wird basierend auf dem Fortschritt des Agenten dynamisch angepasst, wodurch die Schwierigkeit der Aufgabe schrittweise erhöht wird.

2.3. Theoretische Analyse

Die Autoren analysieren die Optimierungsdynamik mithilfe des Quantum Neural Tangent Kernels (QNTK) und dessen dynamischer Variante (dQNTK). Sie hypothetisieren, dass die policy-gesteuerte Initialisierung die Konditionierung der Optimierungslandschaft verbessert, was im Vergleich zu zufälliger oder Null-Initialisierung eine bessere Gradientenpropagation und Konvergenz ermöglicht.

3. Zentrale Beiträge

Einheitlicher Hybrid-Action-Rahmen: HyRLQAS ist das erste QAS-Framework, das Schaltkreisstrukturen (diskrete Aktionen) und Parameterinitialisierungen (kontinuierliche Aktionen) gemeinsam unter einer einzigen Policy sucht und so die Wechselwirkung zwischen Topologie und Parametern erfasst.
Policy-gesteuerte Initialisierung und Verfeinerung: Die Methode führt einen Mechanismus ein, um informierte Parameterinitialisierungen für externe Optimierer bereitzustellen, und beinhaltet einen „Verfeinerungskopf“, um die Parameter bestehender Gates rückwirkend anzupassen. Dies reduziert die Abhängigkeit von externen Optimierern und verringert die Anzahl der erforderlichen Iterationen.
QNTK-basierte Analyse: Die Arbeit liefert eine fundierte Erklärung für die beobachteten Leistungssteigerungen und zeigt auf, dass die policy-gesteuerte Initialisierung die Kernel-Konditionierung und Gradientenpropagation verbessert, was zu einer stabileren Optimierung führt.
Umfassende Evaluierung: Umfangreiche Experimente an Standard-Molekularen VQE-Benchmarks (LIH, BeH $_2$ , H $_2$ O) zeigen, dass HyRLQAS bestehende State-of-the-Art-Baselines (einschließlich CRLQAS, TensorRL und differentiabler Ansätze) in Bezug auf Energiefehler, Schaltkreistiefe und Gate-Anzahl übertrifft.

4. Experimentelle Ergebnisse

Die Experimente wurden an molekularen Systemen mit 4, 6 und 8 Qubits (LIH, BeH $_2$ , H $_2$ O) in der STO-3G-Basis durchgeführt.

Leistung: HyRLQAS erreichte eine Konvergenz auf chemischer Genauigkeitsstufe (Energiefehler bis zu $10^{-8}$ ) bei LIH-4 und übertraf damit signifikant bestehende Methoden, die typischerweise im Bereich von $10^{-5}$ bis $10^{-4}$ stagnieren.
Effizienz: Die Methode erreichte geringere Energiefehler mit weniger Gates und flacheren Schaltkreisen im Vergleich zu den Baselines.
Reduktion der Optimierer-Iterationen: Die policy-gesteuerte Initialisierung reduzierte die für die Konvergenz erforderlichen COBYLA-Iterationen um 33 % (LIH-4) und 46 % (LIH-6).
Ablationsstudien:
- Das Entfernen des hybriden Aktionsraums (nur diskret) verschlechterte die Leistung erheblich, was die Bedeutung des gemeinsamen Lernens bestätigt.
- Das Deaktivieren des Verfeinerungskopfes führte zu einem größeren Genauigkeitsverlust, was die Notwendigkeit unterstreicht, bestehende Parameter anzupassen, während der Schaltkreis wächst.
- Das Entfernen des externen Optimierers verursachte eine deutliche Verschlechterung, was darauf hindeutet, dass HyRLQAS primstär hochwertige Initialregionen identifiziert, während der externe Optimierer die notwendige lokale Feinabstimmung übernimmt.
QNTK-Erkenntnisse: Die Analyse zeigte, dass die policy-gesteuerte Initialisierung mit Verfeinerung zu einer schärferen, konzentrierteren Verteilung des zweiten Ordnung QNTK ( $K_2$ ) führt, was auf eine glattere und besser konditionierte Optimierungslandschaft im Vergleich zu Null- oder Zufallsinitialisierung hindeutet.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass HyRLQAS einen fundierten und effektiven Mechanismus zur Kopplung von Schaltkreis-Topologie-Design mit optimierungsbewusster Parameterisierung bietet. Indem es die Architektur-Suche als hybrides Aktionsproblem behandelt, überwindet die Methode die Einschränkungen entkoppelter Ansätze.

Die Autoren betonen, dass die Leistungssteigerungen nicht bloß auf das Finden tieferer oder expressiverer Schaltkreise zurückzuführen sind, sondern aus der Synergie zwischen struktureller Suche und informierter Parameterisierung resultieren. Die policy-gesteuerte Initialisierung „wärmt“ den Optimierungsprozess effektiv auf, reduziert die Last für klassische Optimierer und mildert Trainierbarkeitsprobleme ab.

Die Arbeit kommt zu dem Schluss, dass Hybrid-Action Reinforcement Learning ein gangbarer Weg zur Automatisierung des Designs robuster und effizienter variabler Quantenschaltkreise für NISQ-Geräte ist, wobei zukünftige Arbeiten möglicherweise vollständig end-to-end-Ansätze untersuchen könnten, die die Notwendigkeit externer Optimierer gänzlich eliminieren könnten.