Separating Ansatz Discovery from Deployment on Larger Problems: Reinforcement Learning for Modular Circuit Design

Deze paper introduceert RLVQC, een Reinforcement Learning-methode die de ontdekking van een modulaire circuitstructuur op kleine kwantumsystemen scheidt van de implementatie op grotere problemen, waardoor effectieve variational quantum circuits voor complexe optimalisatieproblemen kunnen worden gegenereerd zonder dat klassieke berekeningen op grote schaal nodig zijn.

De kern

Stel je voor dat je een gigantisch, ingewikkeld legpuzzel moet maken, maar je hebt geen foto van het eindresultaat en de stukjes zijn zo klein dat je ze met je blote ogen niet eens goed kunt zien. Dat is een beetje wat quantumcomputers doen: ze lossen enorme problemen op, maar het is heel moeilijk om te weten welke "schakelingen" (de circuitjes) je moet bouwen om het juiste antwoord te krijgen.

De onderzoekers van dit paper hebben een slimme truc bedacht om dit probleem op te lossen. Ze noemen het "Scheiding van Ontdekking en Toepassing".

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te groot om te zien

Normaal gesproken proberen wetenschappers om de perfecte quantum-schakeling te vinden door te proberen en te fouten, net als een kind dat probeert een toren van blokken te bouwen. Maar als het probleem heel groot is (bijvoorbeeld met 16 of 20 blokjes), is het voor een gewone computer bijna onmogelijk om te simuleren of die toren goed werkt. Het is als proberen een heel groot huis te ontwerpen door alleen maar te kijken naar de hele stad in één keer; je raakt de details kwijt.

2. De Oplossing: Bouw eerst een "Legpuzzelstukje"

In plaats van te proberen het hele grote huis in één keer te ontwerpen, zeggen de onderzoekers: "Laten we eerst een perfect, klein, herbruikbaar blokje ontwerpen."

• Fase 1: De Ontdekkingsfase (Klein en Veilig)
  Ze gebruiken een slimme computer (een Reinforcement Learning-agent, denk aan een robot die leert door te proberen) om een klein, tweedelig blokje te ontwerpen. Ze doen dit op een heel klein probleem (bijvoorbeeld 8 blokjes), waar de computer nog alles perfect kan zien en simuleren.

  • De Analogie: Het is alsof je een meesterklokmaker bent. In plaats van te proberen de hele grote klokkentoren te bouwen, bouw je eerst één perfect, klein tandwiel in je werkplaats. Je weet precies hoe dit tandwiel werkt, omdat je het in de hand kunt houden.

• Fase 2: De Toepassing (Groot en Krachtig)
  Zodra ze dat perfecte kleine tandwiel hebben, gebruiken ze een vaste regel om datzelfde tandwiel honderden keren te kopiëren en te plakken om de grote klokkentoren te bouwen. Ze hoeven de robot niet meer te laten "leren" voor het grote probleem; ze gebruiken gewoon het bewezen blokje.

  • De Analogie: Je neemt dat ene perfecte tandwiel en gebruikt het om een hele fabriek te bouwen. Je hoeft de fabriek niet opnieuw te ontwerpen; je gebruikt gewoon je bewezen ontwerp.

3. Wat hebben ze ontdekt?

De onderzoekers hebben getest of deze aanpak werkt voor moeilijke wiskundige problemen (zoals het vinden van de kortste route of het maximaliseren van een netwerk).

• Het werkt beter dan verwacht: Het bleek dat het bouwen van een schakeling uit deze kleine, herhaalde blokjes vaak beter werkt dan proberen om een hele grote, willekeurige schakeling te ontwerpen. Het is alsof het herhalen van een goed ritme (een blokje) beter werkt dan proberen om een compleet nieuwe, chaotische melodie te bedenken.
• Het is efficiënter: De schakelingen die ze zo maakten, waren vaak korter en gebruikten minder "gevoelige" onderdelen (deze zijn in quantumland lastig om te maken en maken veel ruis).
• Het werkt ook voor grotere problemen: Het belangrijkste resultaat is dat het blokje dat ze leerden op een klein probleem (8 qubits), ook perfect werkte toen ze het gebruikten voor veel grotere problemen (12 en 16 qubits). De kwaliteit van het antwoord bleef stabiel.

Samenvatting in één zin

In plaats van te proberen het hele quantum-gebouw in één keer te ontwerpen (wat te moeilijk is), leren ze eerst één perfect, klein raam en deur te maken, en bouwen ze dan het hele gebouw door dat raam en die deur duizenden keren te herhalen.

Dit maakt het mogelijk om quantumcomputers in de toekomst te gebruiken voor echte, grote problemen, zonder dat we eerst een supercomputer nodig hebben om het hele ontwerp te simuleren. Het is slim, efficiënt en maakt de weg vrij voor de toekomst van quantumcomputing.

Technische samenvatting

1. Het Probleem

De automatische ontwerptechniek voor quantumcircuits, bekend als Quantum Architecture Search (QAS), stuit op een fundamentele beperking: de schaalbaarheid.

• De uitdaging: Klassieke machinelearning-methoden om de structuur van een quantumcircuit (de ansatz) te leren, vereisen simulaties van het quantumstelsel. Omdat de complexiteit van quantumsystemen exponentieel groeit met het aantal qubits, wordt het onmogelijk om deze simulaties uit te voeren voor systemen met een groot aantal qubits (waar quantumcomputing daadwerkelijk interessant wordt).
• Huidige situatie: Bestaande literatuur focust voornamelijk op kleine systemen (ongeveer 8-10 qubits). Als men voor elke nieuwe probleeminstantie een volledig nieuwe QAS moet uitvoeren, worden de rekenkosten (voor zowel het vinden van de structuur als het optimaliseren van de parameters) onbetaalbaar hoog.
• Kernvraag: Hoe kan men een machinelearning-model bouwen dat in staat is om QAS uit te voeren op schalen die klassiek niet meer te simuleren zijn, zonder de learning-proces zelf onpraktisch te maken?

2. Methodologie: RLVQC en Modulaire Scheiding

De auteurs stellen een complementaire aanpak voor die het proces splitst in twee fasen: ontdekking en deployement. Ze introduceren RLVQC (Reinforcement Learning for Variational Quantum Circuits).

A. De Twee Fasen

1. Ontdekkingsfase (Discovery): Op kleine systemen (waar klassieke simulatie haalbaar is, bijv. $n=8$ qubits) leert een Reinforcement Learning (RL) agent een modulair circuitblok. Dit blok is een klein, herbruikbaar circuit (in dit geval een 2-qubit blok) dat de optimale structuur voor lokale interacties vastlegt.
2. Deployementsfase: De geleerde blokken worden niet opnieuw getraind voor grotere problemen. In plaats daarvan worden ze via een expliciete compositieregel samengesteld tot een volledig circuit voor grotere instanties (bijv. $n=12$ en $n=16$ qubits). De structuur wordt dus "geërfd" en geschaald, terwijl alleen de parameters voor de specifieke probleeminstantie worden geoptimaliseerd.

B. Het RL Framework (RLVQC)

Het probleem wordt gemodelleerd als een sequentiële besluitvormingsopdracht:

• Agent: Gebruikt het PPO (Proximal Policy Optimization) algoritme met een Actor-Critic architectuur.
• Observaties: De agent observeert de waarschijnlijkheidsverdeling van meetuitkomsten (empirische schattingen van de toestand) in plaats van volledige quantumtoestanden, om dichter bij een realistische quantumhardware-situatie te blijven.
• Acties: Het toevoegen van poorten (gates) aan het circuit.
• Beloning (Reward): Een functie die de verwachtingswaarde van de Hamiltoniaan minimaliseert (energie verlagen) en tegelijkertijd de circuitdiepte straft (voor hardware-efficiëntie).

C. Variants van RLVQC

De auteurs vergelijken twee benaderingen:

1. RLVQC Global: De agent bouwt het volledige circuit direct zonder vooraf gedefinieerde structuur (onbeperkt zoekruimte).
2. RLVQC Block: De agent leert alleen een modulair 2-qubit blok. Dit blok wordt vervolgens herhaald over alle interacterende qubitparen in het grotere probleem.
   • Parameter-deling: Binnen het blok worden drie strategieën getest:
     • Agnostic: Elke poort heeft eigen parameters.
     • Weighted: Parameters worden geschaald met de interactiecoëfficiënten van het QUBO-probleem.
     • Tied: Parameters worden gedeeld over alle blokken in dezelfde laag (vergelijkbaar met standaard QAOA), wat het aantal te optimaliseren parameters drastisch verlaagt.

3. Belangrijkste Bijdragen

1. Scheiding van Ontdekking en Deployement: Een methode die structurele ontdekking loskoppelt van de schaal van het probleem. Dit maakt het mogelijk om complexe structuren te leren op kleine schaal en ze toe te passen op schalen die klassiek niet meer te simuleren zijn.
2. Validatie van Modulariteit: Het aantonen dat het beperken van de zoekruimte tot modulaire blokken (RLVQC Block) niet schadelijk is voor de oplossingkwaliteit, maar in veel gevallen zelfs beter presteert dan onbeperkte zoekmethoden (RLVQC Global) en standaard QAOA.
3. Schaalbaarheidsonderzoek: Het succesvol toepassen van op $n=8$ geleerde blokken op problemen met $n=12$ en $n=16$, waarbij de oplossingkwaliteit stabiel blijft.

4. Resultaten

De experimenten zijn uitgevoerd op QUBO-problemen (Quadratic Unconstrained Binary Optimization) afgeleid van Maximum Cut, Maximum Clique en Minimum Vertex Cover.

• Kwaliteit van de oplossing (Experiment 1):
  • RLVQC Block behaalde consistent hogere benaderingsverhoudingen (Approximation Ratios) dan RLVQC Global en standaard QAOA voor de meeste probleemtypen (vooral Maximum Cut en Minimum Vertex Cover).
  • De beperking tot een modulaire structuur bleek dus geen nadeel, maar een voordeel, waarschijnlijk omdat het de agent helpt om de lokale interactiestructuur van het probleem beter te leren zonder in een te grote zoekruimte te verdwalen.
• Circuit-efficiëntie:
  • De door RL ontdekte circuits gebruikten aanzienlijk minder CX-poorten (twee-qubit poorten, die gevoelig zijn voor ruis) dan standaard QAOA-circuits, terwijl ze betere resultaten leverden.
• Schaalbaarheid (Experiment 2):
  • Blokken die op $n=8$ waren getraind, bleven effectief toen ze werden ingezet voor $n=12$ en $n=16$.
  • De Tied-variant (gedeelde parameters) leverde uitstekende resultaten met een zeer beperkt aantal parameters en vereiste minder iteraties voor optimalisatie dan de zwaar geparametriseerde varianten (zoals ma-QAOA).
  • Statistische tests (Wilcoxon signed-rank test) bevestigden dat de verbeteringen ten opzichte van QAOA en ma-QAOA significant en robuust waren.

5. Betekenis en Conclusie

Dit werk biedt een pragmatische oplossing voor het schaalbaarheidsprobleem in het automatisch ontwerpen van quantumcircuits.

• Praktische impact: Het stelt onderzoekers in staat om klassieke machinelearning te gebruiken voor het ontwerpen van circuits voor problemen die te groot zijn om te simuleren. De "zware" leerfase gebeurt op kleine, beheersbare systemen; de "deployement" gebeurt op grote systemen zonder dat daar opnieuw een dure zoektocht nodig is.
• Toekomstperspectief: Hoewel de auteurs geen claim maken op een rekenkundig voordeel ten opzichte van klassieke solvers, valideert deze methode dat modulaire ansatz-structuren kunnen worden geleerd en hergebruikt. Dit opent de weg voor het toepassen van RL op veel complexere quantumtoepassingen (zoals chemie of state preparation) waar directe simulatie onmogelijk is.

Kortom, de paper bewijst dat het leren van een klein, herbruikbaar bouwsteen via Reinforcement Learning een effectieve strategie is om quantumcircuits te ontwerpen voor schalen die voorbij de grenzen van klassieke simulatie liggen.