Technische Samenvatting: Hybride Actie Reinforcement Learning voor Quantum Architectuur Zoektocht (HyRLQAS)

1. Probleemstelling

In het tijdperk van Noisy Intermediate-Scale Quantum (NISQ) vertrouwen variationele kwantumalgoritmen (VQA's), zoals de Variational Quantum Eigensolver (VQE), sterk op het ontwerp van Parameterized Quantum Circuits (PQC's). Hoewel Reinforcement Learning (RL) een veelbelovend kader heeft gevormd voor Quantum Architecture Search (QAS) om PQC-ontwerp te automatiseren, kampen bestaande methoden met drie primaire beperkingen:

1. Ontkoppeling van Discrete en Continue Ruimtes: Huidige benaderingen scheiden doorgaans discrete poortplaatsing (topologie) van continue parameteroptimalisatie. Ze behandelen parameterinitialisatie vaak als een aparte, externe stap, waarbij de interactie tussen de circuitstructuur en de parameterinitialisatie wordt genegeerd.
2. Inefficiënte Optimalisatielussen: In standaard RL-gebaseerde QAS wordt in elke episode onafhankelijk een externe klassieke optimizer aangeroepen om parameters te verfijnen. Dit voorkomt het hergebruik van parameter-gerelateerde ervaring over episodes heen en leidt tot inefficiënte optimalisatie met excessieve iteratieaantallen.
3. Optimizer Gevoeligheid: De prestaties worden vaak beperkt door de gevoeligheid van externe optimizers voor initialisatie- en trainbaarheidsproblemen (bijv. barren plateaus) bij diepere circuitdieptes.

2. Methodologie: HyRLQAS

De auteurs stellen HyRLQAS (Hybrid-Action Reinforcement Learning for Quantum Architecture Search) voor, een verenigd kader dat deze problemen aanpakt door poortplaatsing en parameterinitialisatie gezamenlijk te leren binnen een hybride discrete–continue actieruimte.

2.1. Kaderoverzicht

HyRLQAS formuleert QAS als een Markov Beslissingsproces (MDP) waarbij een agent sequentieel een kwantumcircuit construeert.

• Toestand ($s_t$): Representeert het gedeeltelijk geconstrueerde circuit, gecodeerd via een tensor-gebaseerde representatie die poorttypen, locaties en huidige parameterwaarden vastlegt.
• Actie ($a_t$): Een hybride actie bestaande uit:
  • Discrete Component ($z_t$): Selecteert het type (bijv. $R_X, R_Y, R_Z$, CNOT) en de locatie van de in te voegen poort.
  • Continue Component ($x_t$): Definieert de initiële rotatiehoek voor de nieuw ingevoegde geparametriseerde poort.
• Verfijningsmechanisme: Cruciaal is dat wanneer een nieuwe poort wordt toegevoegd, de agent ook een continue increment ($\Delta x_t$) voorspelt om de parameters van voorheen geplaatste poorten bij te werken. Dit maakt dynamische verfijning van de volledige parameterisering van het circuit mogelijk terwijl het groeit, waardoor consistentie met de evoluerende topologie behouden blijft.

2.2. Beloning en Training

• Beloningssignaal: De agent wordt getraind in een VQE-setting. Na elke circuitverlenging verfijnt een externe klassieke optimizer (COBYLA) alle parameters om de moleculaire grondtoestandsenergie te minimaliseren. De resulterende energie $E_t$ wordt getransformeerd in een beloningssignaal.
  • Terminale beloningen worden toegekend op basis van de vraag of de energie onder een dynamische drempel $\xi$ valt.
  • Stapsgewijze beloningen bieden feedback die proportioneel is aan de relatieve energieverbetering.
• Policy Optimalisatie: Het framework gebruikt een hybride policy $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$, geoptimaliseerd via het REINFORCE-algoritme. Het policy-netwerk bevat een discrete head voor poortselectie en continue heads voor parameterinitialisatie en verfijningsincrements.
• Curriculum Learning: De drempel $\xi$ wordt dynamisch aangepast op basis van de voortgang van de agent, waardoor de moeilijkheidsgraad van de taak geleidelijk kan toenemen.

2.3. Theoretische Analyse

De auteurs analyseren de optimalisatiedynamiek met behulp van de Quantum Neural Tangent Kernel (QNTK) en de dynamische variant (dQNTK). Zij hypothetiseren dat policy-gestuurde initialisatie de conditionering van het optimalisatielandschap verbetert, wat betere gradiëntpropagatie en convergentie faciliteert vergeleken met willekeurige of nul-initialisatie.

3. Belangrijkste Bijdragen

1. Verenigd Hybride-Actie Kader: HyRLQAS is het eerste QAS-framework dat circuitstructuren (discrete acties) en parameterinitialisaties (continue acties) gezamenlijk zoekt onder één enkele policy, waarbij de interactie tussen topologie en parameters wordt gevangen.
2. Policy-gestuurde Initialisatie en Verfijning: De methode introduceert een mechanisme om geïnformeerde parameterinitialisaties te bieden voor externe optimizers en bevat een "verfijningshead" om parameters van bestaande poorten achteraf aan te passen. Dit vermindert de afhankelijkheid van externe optimizers en verlaagt het aantal vereiste iteraties.
3. QNTK-gebaseerde Analyse: Het artikel biedt een geprincipeerde verklaring voor de waargenomen prestatiewinsten, waarbij wordt aangetoond dat policy-gestuurde initialisatie de kernel-conditionering en gradiëntpropagatie verbetert, wat leidt tot een stabielere optimalisatie.
4. Uitgebreide Evaluatie: Uitgebreide experimenten op standaard moleculaire VQE-benchmarks (LIH, BeH$_2$, H$_2$O) demonstreren dat HyRLQAS de state-of-the-art baselines (inclusclusief CRLQAS, TensorRL en differentiabele benaderingen) overtreft in termen van energie-error, circuitdiepte en aantal poorten.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op moleculaire systemen met 4, 6 en 8 qubits (LIH, BeH$_2$, H$_2$O) in de STO-3G-basis.

• Prestaties: HyRLQAS bereikte convergentie op chemische nauwkeurigheid (energie-error tot $10^{-8}$) op LIH-4, waarmee het bestaande methoden die doorgaans stagneren in het bereik van $10^{-5}$ tot $10^{-4}$ aanzienlijk overtreft.
• Efficiëntie: De methode bereikte lagere energie-errors met minder poorten en vlakkere circuits vergeleken met de baselines.
• Optimizer Reductie: Policy-gestuurde initialisatie verminderde het aantal benodigde COBYLA-iteraties voor convergentie met 33% (LIH-4) en 46% (LIH-6).
• Ablatie-studies:
  • Het verwijderen van de hybride actieruimte (alleen discreet) leidde tot een significante verslechtering van de prestaties, wat het belang van gezamenlijk leren bevestigt.
  • Het uitschakelen van de verfijningshead leidde tot een grotere daling in nauwkeurigheid, wat de noodzaak benadrukt om bestaande parameters bij te werken naarmate het circuit groeit.
  • Het verwijderen van de externe optimizer veroorzaakte een duidelijke degradatie, wat aangeeft dat HyRLQAS primair hoogwaardige initiële regio's identificeert, terwijl de externe optimizer de noodzakelijke lokale fijnafstemming uitvoert.
• QNTK Bevindingen: Analyse toonde aan dat policy-gestuurde initialisatie met verfijning resulteert in een scherpere, meer geconcentreerde distributie van de tweede-orde QNTK ($K_2$), wat wijst op een gladder en beter geconditioneerd optimalisatielandschap vergeleken met nul- of willekeurige initialisatie.

5. Betekenis en Claims

Het artikel claimt dat HyRLQAS een geprincipeerd en effectief mechanisme biedt voor het koppelen van circuittopologie-ontwerp aan optimalisatie-bewuste parameterisering. Door architectuurzoektocht te behandelen als een hybride-actieprobleem, overwint de methode de beperkingen van ontkoppelde benaderingen.

De auteurs benadrukken dat de prestatiewinsten niet louter voortkomen uit het vinden van diepere of expressievere circuits, maar voortvloeien uit de synergie tussen structurele zoektocht en geïnformeerde parameterisering. De policy-gestuurde initialisatie "warmt" het optimalisatieproces effectief op, waardoor de last voor klassieke optimizers wordt verminderd en trainbaarheidsproblemen worden gemitigeerd.

Het werk concludeert dat hybride-actie reinforcement learning een levensvatbaar pad is naar het automatiseren van het ontwerp van robuuste en efficiënte variationele kwantumcircuits voor NISQ-apparaten, waarbij toekomstig werk potentieel volledig end-to-end benaderingen kan verkennen die de noodzaak voor externe optimizers volledig kunnen elimineren.