Approximate Quantum State Preparation Through Proximal Policy Optimization

De Kwantum-Lego Uitdaging

Stel je voor dat je probeert een specifieke, ongelooflijk complexe sculptuur te bouwen van Lego-blokjes. Stel je nu voor dat, in plaats van alleen blokjes aan elkaar te klikken, de hele structuur bij elke toegevoegde stap verandert, draait en van kleur verschiet op manieren die de normale fysica tarten. Dit is de wereld van Quantum Computing. In tegenstelling tot de computers in je broekzak die eenvoudige aan/uit-schakelaars gebruiken (bits), gebruiken quantumcomputers "qubits" die tegelijkertijd in veel verschillende toestanden kunnen bestaan. Om deze machines iets nuttigs te laten doen, moeten wetenschappers eerst een lastige dans uitvoeren die Quantum State Preparation (QSP) wordt genoemd. Denk hierbij aan de "opstartfase": je begint met een leeg blad (alleen nullen) en moet de qubits draaien en kantelen totdat ze een zeer specifieke, gewenste vorm aannemen.

Het probleem is dat naarmate je meer qubits toevoegt, het aantal manieren waarop je ze kunt arrangeren explodeert. Het is also als proberen het perfecte Lego-recept te vinden in een universum waar het aantal mogelijke recepten sneller groeit dan je kunt tellen. Als je het recept fout krijgt, werkt de quantumcomputer niet. Jarenlang hebben mensen geprobeerd deze recepten met de hand te schrijven, maar dat is als het proberen op te lossen van een doolhof dat steeds van vorm verandert. Dit is waar Reinforcement Learning om de hoek komt kijken. Het is een vorm van kunstmatige intelligentie die leert door middel van vallen en opstaan, een beetje zoals een hond die leert te zitten voor een traktatie. De AI probeert een actie, krijgt een "beloning" als het dichtbij is, en een "straf" als het er ver vandaan ligt, waardoor het langzaam het beste pad ontdeilt zonder dat een mens de hand vasthoudt.

Het Verhaal van het Papier: Een Robot Leren Quantumcircuits Bouwen

In dit artikel stellen Marco Mordacci en Michele Amoretti van de Universiteit van Parma een nieuwe manier voor om dit Lego-puzzelprobleem op te lossen. Ze bouwden een digitale "agent" (een slim robotbrein) met behulp van een specifieke vorm van reinforcement learning genaamd Proximal Policy Optimization (PPO). Hun doel was simpel maar moeilijk: deze agent leren om een quantumcircuit te bouwen dat een specifieke doeltoestand creëert, met zo min mogelijk "gates" (de quantum-equivalent van Lego-blokjes), terwijl het resultaat zo dicht mogelijk bij het perfecte resultat komt zoals de wiskunde dat toestaat.

De agent werkt stap voor stap. Hij kijkt naar de huidige staat van het quantumsysteem en besluit één nieuwe gate toe te voegen. De gates waaruit hij kan kiezen, zijn als een basisgereedschapskist: drie soorten rotaties van een enkele qubit (denk aan het draaien van een enkel blokje in verschillende richtingen: $R_x$, $R_y$ en $R_z$) en één "verstrengelende" gate genaamd CNOT (die twee qubits aan elkaar koppelt, zoals het vastklikken van twee blokjes zodat ze als één bewegen). Elke keer dat de agent een gate toevoegt, voert de computer een korte, mini-trainingssessie uit om de hoeken van de rotaties aan te passen, zodat het resultaat zo dicht mogelijk bij het doel komt. Als het resultaat dichterbij komt, krijgt de agent een beloning; als het verder weg is of te veel gates gebruikt, krijgt hij een straf.

De onderzoekers testten deze "robotarchitect" op een reeks uitdagingen, beginnend bij 2 qubits en oplopend tot 5. Ze vroegen de agent om beroemde, vooraf gedefinieerde patronen te bouwen (zoals de "Bell", "GHZ", "W" en "Dicke" toestanden, die als standaard, bekende Lego-modellen kunnen worden beschouwd) en ook volledig willekeurige, rommelige patronen.

De resultaten waren indrukwekkend, vooral voor kleinere systemen. Voor taken met 2 en 3 qubits vond de agent vaak zeer efficiënte oplossingen, hoewel niet altijd het absolute theoretische minimum. Bijvoorbeeld, wanneer gevraagd om een "Bell-toestand" te bouwen (een eenvoudige verbinding tussen twee qubits), vond de agent niet de exacte theoretische oplossing (die een Hadamard-gate vereist, een instrument dat niet in zijn gereedschapskist zat). In plaats daarvan benaderde hij het effect met een rotatiegate ($R_y$) om het doel te bereiken. Bij het aanpakken van willekeurige 2-qubit toestanden vond hij consequent oplossingen met 7 gates, wat overeenkomt met wat andere wetenschappers heeft berekend als het minimum dat nodig is. De paper merkt echter op dat de agent in sommige gevallen niet convergeert naar de optimale oplossing; hij identificeert misschien de beste gates, maar gebruikt ze te veel door onvoldoende bestraffing, waardoor handmatige vereenvoudiging later nodig is. Ondanks deze eigenaardigheden was de agent zo precies dat hij een foutpercentage van slechts $10^{-14}$ kon bereiken, wat betekent dat het resultaat bijna ononderscheidbaar was van de perfecte doeltoestand.

Echter, het verhaal wordt ingewikkelder naarmate de puzzels groter worden. Wanneer de onderzoekers 4-qubit en 5-qubit systemen probeerden, leerde de agent nog steeds, maar had hij moeite om elke keer de kortste route te vinden. Voor willekeurige 4-qubit toestanden bouwde de agent meestal circuits met tussen de 47 en 70 gates (gemiddeld rond de 63), terwijl de "geoptimaliseerde" versies (na handmatige schoonmaak) naar ongeveer 53 konden gaan. Voor 5 qubits werd de zoekruimte zo enorm dat de agent de klus niet perfect kon voltooien binnen de toegestane tijd, ho although hij nog steeds liet zien de basis te kunnen leren.

De auteurs ontdekten ook een slimme truc om de agent te helpen wanneer deze vastliep. Door een "success buffer" te gebruiken — een geheugenbank die de 10 beste circuits die de agent ooit heeft gevonden opslaat en af en toe opnieuw traint op deze circuits — kon de robot sneller betere oplossingen vinden. Ze ontdekten ook dat door de manier waarop ze de "beloning" berekenden te veranderen, specifiek door een logaritmische schaal te gebruiken om ervoor te zorgen dat kleine verbeteringen aanvoelen als grote overwinningen, de agent kon blijven leren, zelfs wanneer hij al 99,999% accuraat was.

Uiteindelijk suggereert het papier dat deze AI-gestuurde aanpak een krachtig nieuw hulpmiddel is voor het ontwerpen van quantumcircuits. Het kopieert niet alleen menselijke ideeën; het verkent de ruimte van mogelijkheden op eigen kracht. Hoewel het tegen een muur van complexiteit aanloopt naarmate het aantal qubits groeit (wat te verwachten is gezien de exponentiële aard van het probleem), slaagt het framework erin het ontwerpproces voor kleine tot middelgrote quantumsystemen te automatiseren, waarbij fouten zo laag als $10^{-14}$ worden bereikt. De auteurs merken op dat toekomstig werk zich zal richten op het nog sneller maken van de training en het testen van deze ideeën op nog grotere quantumsystemen, in de hoop ooit deze AI-architecten de complexe circuits te laten ontwerpen die nodig zijn voor real-world quantumcomputers.