Quantum framework for Reinforcement Learning: Integrating Markov decision process, quantum arithmetic, and trajectory search

Titel: Kwantumkader voor Versterkend Leren: Integratie van Markov-beslissingsprocessen, kwantumrekenen en trajectzoektocht

1. Het Probleem

Versterkend leren (Reinforcement Learning - RL) is een krachtige tak van machine learning voor autonome agenten die beslissingen nemen in onzekere omgevingen. Echter, klassieke RL-benaderingen stuiten op ernstige schaalbaarheidsproblemen in omgevingen met hoge dimensionaliteit.

• Computationele kosten: De ruimte van toestanden en acties groeit exponentieel met de probleemgrootte, wat klassieke RL-methoden (zoals Q-learning) uiterst rekenintensief maakt.
• Beperkingen van hybride systemen: Bestaande "Quantum Reinforcement Learning" (QRL) methoden zijn vaak hybride: ze gebruiken variational quantum circuits (VQCs) voor de agent, maar houden de omgeving klassiek. Dit vereist frequente conversies tussen klassieke en kwantumsystemen, wat de prestaties beperkt en de volledige potentie van kwantumrekenen niet benut.
• Behoefte: Er is een behoefte aan een volledig kwantumkader dat alle berekeningen (agent, omgeving, interacties en optimalisatie) binnen het kwantumdomein uitvoert, zonder afhankelijkheid van klassieke subroutines.

2. Methodologie

De auteurs stellen een volledig kwantumkader voor dat een klassiek Markov-beslissingsproces (MDP) volledig in het kwantumdomein implementeert. Het kader bestaat uit vier kerncomponenten:

• Kwantumrepresentatie van het MDP:

  • Toestanden en Acties: In plaats van klassieke bits, worden toestanden ($S$) en acties ($A$) gecodeerd in qubits. Door het gebruik van Hadamard-transformaties worden deze in een uniforme superpositie gebracht. Dit stelt het systeem in staat om alle mogelijke toestand-actieparen parallel te verkennen.
  • Kwantum Overgangsfunctie: De overgangskansen $P(s'|s,a)$ worden gecodeerd in de amplitude van qubits. Dit wordt gedaan met behulp van gecontroleerde rotatiegaten ($R_y(\theta)$), waarbij de rotatiehoek $\theta$ afhangt van de klassieke overgangswaarschijnlijkheid.
  • Beloningsfunctie: Beloningen worden gemodelleerd met CNOT-gaten die een beloningsqubit omkeren afhankelijk van de resulterende toestand.

• Kwantum Agent-Omgeving Interactie:

  • De interactie wordt gemodelleerd als een unitaire operator die een toestand creëert die de verdeling van trajecten (sequentie van toestand, actie, volgende toestand en beloning) bevat.
  • Voor meerdere tijdstappen ($T$) worden CNOT-gaten gebruikt om de uitkomst van de volgende toestand ($s'_t$) conditioneel over te dragen naar de huidige toestandregister van de volgende tijdstap ($s_{t+1}$). Hierdoor behoudt het circuit de kwantumsuperpositie over de hele tijdsreeks.

• Kwantum Berekening van de Return (Totale Beloning):

  • In plaats van beloningen later klassiek op te tellen, wordt er een kwantumrekenmodule gebruikt.
  • Met behulp van CNOT- en Toffoli-gaten worden de beloningsregisters van elke tijdstap opgeteld in een "return-register" ($|g\rangle$). Dit proces voert een sequentiële bit-voor-bit optelling uit binnen het kwantumcircuit, waardoor de afgepaste som van beloningen voor elk traject direct in een kwantumtoestand wordt gecodeerd.

• Kwantum Trajectzoektocht (Grover's Algorithm):

  • Om de optimale beleidslijn te vinden, wordt Grover's zoekalgoritme toegepast op de verzameling van alle mogelijke trajecten.
  • Een Oracle markeert trajecten die een maximale return opleveren door de fase van die specifieke toestanden om te draaien.
  • Vervolgens wordt Amplitude Amplification toegepast om de waarschijnlijkheid van het meten van deze geoptimaliseerde trajecten te vergroten. Dit vereist slechts één (of zeer weinig) oproep(en) aan de oracle, in tegenstelling tot lineair zoeken in klassieke systemen.

3. Belangrijkste Bijdragen

1. Volledig Kwantum MDP: De eerste implementatie van een MDP waarbij zowel de agent als de omgeving volledig kwantum zijn, zonder klassieke tussenkomst tijdens de interactie.
2. Kwantum Superpositie voor Parallelisme: Het gebruik van superpositie stelt de agent in staat om duizenden interactiesequenties simultaan te evalueren, wat de sample-efficiëntie drastisch verhoogt.
3. Kwantum Rekenen voor Return: Een nieuwe methode om de cumulatieve beloning (return) direct in het kwantumcircuit te berekenen via kwantumrekenen, in plaats van post-processing.
4. Trajectoptimalisatie met Grover: De toepassing van Grover's algoritme niet alleen voor het kiezen van een enkele actie, maar voor het zoeken naar een optimaal traject over meerdere tijdstappen in een multi-state omgeving.

4. Resultaten

De auteurs hebben hun framework getest op een simulatie van een MDP met 4 toestanden en 2 acties over 3 tijdstappen (gebruikmakend van IBM Qiskit).

• Validatie: De kwantumcircuit-simulatie reproduceerde nauwkeurig de overgangswaarschijnlijkheden en beloningsstructuren van het equivalente klassieke MDP.
• Optimalisatie: Bij het zoeken naar trajecten die starten bij $s_0$ en eindigen bij de terminale toestand $s_3$, identificeerde Grover's algoritme succesvol de trajecten met de maximale return (8 punten).
• Vergelijking met Klassiek RL: De optimale trajecten gevonden door het kwantumkader kwamen exact overeen met die gevonden door klassiek Q-learning. Echter, het kwantumkader bereikte dit resultaat met aanzienlijk minder iteraties en computercosts door het gebruik van parallelle verwerking en de snelle zoektocht van Grover.
• Flexibiliteit: In een scenario waarbij de starttoestand onbekend was (elke toestand mogelijk), kon het kwantumkader eveneens de optimale trajecten (met maximale return 9) efficiënt identificeren, wat de robuustheid van de methode aantoont.

5. Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de evolutie van Quantum Reinforcement Learning (QRL):

• Eliminatie van Klassieke Bottlenecks: Door alle berekeningen kwantum te houden, worden de kosten en latentie van data-uitwisseling tussen klassieke en kwantumsystemen volledig geëlimineerd.
• Computationele Voorsprong: Het kader demonstreert een potentieel voor kwantumversnelling (quantum speedup) in het oplossen van complexe beslissingsproblemen, vooral in scenario's met grote zoekruimtes.
• Toepassingen: De auteurs wijzen op praktische toepassingen in autonoom rijden (parallelle evaluatie van routes), gepersonaliseerde gezondheidszorg (parallelle evaluatie van behandelplannen) en financieel portefeuillebeheer.
• Toekomstig Onderzoek: De auteurs suggereren dat toekomstig werk zich moet richten op het schalen naar grotere MDP's, het optimaliseren van het qubit-gebruik (hergebruik van qubits) en het ontwikkelen van zoekalgoritmen die geen voorafgaande kennis van de maximale return vereisen.

Samenvattend biedt dit artikel een robuust, volledig kwantumkader dat de principes van versterkend leren herdefinieert binnen de kwantummechanica, en bewijst dat kwantumrekenen een haalbare en efficiëntere route kan zijn voor complexe beslissingsproblemen dan klassieke methoden.