Quantum control of solid state qubits via Reinforcement Learning
Dit artikel presenteert een simulatiegebaseerde analyse die aantoont dat modelvrije reinforcement learning effectief puls-niveau controle optimaliseert voor staatspreparatie en gate-ontwerp in NV-kernspins binnen een complexe, ruisige spin-badomgeving, waarbij het andere state-of-the-art black-box optimalisatietools evenaart of overtreft onder uitdagende omstandigheden van schaarse beloningen en minimale observeerbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de race om nuttige kwantumcomputers te bouwen, worden wetenschappers geconfronteerd met een hardnekkige vijand: ruis. In tegenstelling tot klassieke computers, die vertrouwen op stabiele elektrische stromen, maken kwantummachines gebruik van fragiele kwantumtoestanden die gemakkelijk worden verstoord door hun omgeving. Zelfs de kleinste interactie met de omgeving kan de informatie die een kwantumcomputer probeert te verwerken, verstoren. Om deze machines te laten werken, moeten onderzoekers leren deze delicate toestanden met extreme precisie te sturen, een taak die bekend staat als kwantumcontrole. De uitdaging is bijzonder groot in solid-state apparaten, waar de kwantumbits, of qubits, zijn ingebed in een lawaaierige omgeving van andere atomen en spins die fungeren als een chaotische menigte, die de qubits constant van alle kanten stoten en fouten veroorzaken. Om deze apparaten betrouwbare instrumenten voor sensing of computing te maken, hebben wetenschappers een manier nodig om controlepulsen te ontwerpen die door deze ruis heen kunnen navigeren en met hoge nauwkeurigheid een gewenste doeltoestand kunnen bereiken.
Een team onderzoekers aan de Universiteit van Ulm en het Duitse Centrum voor Lucht- en Ruimtevaart heeft dit probleem aangepakt door een computerprogramma te leren hoe het een specifiek type kwantumsysteem kan besturen: een stikstof-vacaturecentrum in een diamant. Dit systeem bestaat uit een centrale elektronspin die dient als een handvat, waarmee wetenschappers met microgolfpulsen kunnen manipuleren, en nabijgelegen kernspins die dienen als de eigenlijke geheugens of qubits. De moeilijkheid ligt in het feit dat de kernspins niet geïsoleerd zijn; ze worden omringd door een "spin-bad", een verzameling andere kernspins in de diamant die een complexe, fluctuerende magnetische omgeving creëren. Traditioneel vereist het ontwerpen van controlepulsen voor een dergelijk systeem een perfect wiskundig model van de omgeving, wat vaak onmogelijk vooraf te kennen is. In plaats daarvan gebruikten de onderzoekers een methode genaamd reinforcement learning, een vorm van kunstmatige intelligentie waarbij een agent leert door middel van vallen en opstaan. In deze opstelling fungeert de agent als een controller die microgolfpulsen naar de elektronspin stuurt, in de hoop indirect invloed uit te oefenen op de kernspins om een specifieke taak uit te voeren, zoals het creëren van een kwantumpoort of het voorbereiden van een verstrengelde toestand. De agent ziet niet de volledige kwantumtoestand van het systeem; hij ontvangt alleen een eenvoudig beloningssignaal aan het einde van elke poging, dat aangeeft hoe goed hij heeft gepresteerd.
De onderzoekers simuleerden dit leerproces in een zeer realistische omgeving die de complexe interacties van het spin-bad bevatte, met behulp van een geavanceerde techniek om te modelleren hoe de ruis het systeem in de loop van de tijd beïnvloedt. Ze trainden de agent om de beste sequentie van pulsduur en fasen te vinden om twee doelen te bereiken: het omdraaien van een enkele kernspin om een logische poort te creëren, en het verstrengelen van twee kernspins om een gedeelde kwantumtoestand te creëren. De resultaten lieten zien dat de agent erin slaagde om het systeem succesvol te besturen, zelfs wanneer het werd omgeven door ruis, mits het werd getraind in een gesimuleerde omgeving die rekening hield met die ruis. Cruciaal was dat de agent strategieën ontdekte die verschilden van die gevonden door andere standaard optimalisatiemethoden. Om bijvoorbeeld de ruis tegen te gaan, leerde de agent om sterkere externe magnetische velden en kortere pulssequenties te gebruiken, waardoor het systeem effectief werd verstevigd tegen het chaotische gestoot van de omliggende spins. Deze aanpak stelde de agent in staat om oplossingen te vinden die robuust bleven, zelfs wanneer de fysieke omstandigheden, zoals de sterkte van de microgolfpulsen of de exacte posities van de atomen, licht varieerden.
Om te garanderen dat deze bevindingen uiteindelijk op echte hardware gebruikt kunnen worden, testten de onderzoekers het vermogen van de agent om zich aan te passen aan onzekerheid. Ze gebruikten een techniek genaamd domain randomization, waarbij de agent werd getraind in een gesimuleerde wereld waarin cruciale fysische parameters voortdurend veranderden. Dit dwong de agent om een flexibele strategie te leren in plaats van één perfecte oplossing te memoriseren. Wanneer de onderzoekers vervolgens de getrainde agents testten in nieuwe, licht verschillende omgevingen, waren de agents in staat om een hoge prestatie te behouden. Bovendien toonden zij aan dat de agent kan worden "fijn afgesteld" op een systeem dat de echte wereld nabootst, met behulp van alleen eenvoudige, single-shot metingen, het soort gegevens dat daadwerkelijk beschikbaar is in een laboratorium. Dit betekent dat de agent kan beginnen met een algemene strategie die in simulatie is geleerd, en zich vervolgens snel kan aanpassen aan de specifie speciale eigenaardigheden van een fysiek apparaat zonder dat er een volledig, perfect model van de ruis nodig is.
De studie vergeleek deze leerbenadering ook met andere krachtige wiskundige hulpmiddelen die worden gebruikt voor optimalisatie, zoals Bayesiaanse optimalisatie en evolutionaire strategieën. Hoewel deze traditionele methoden goede oplossingen konden vinden in geïdealiseerde settings, hadden ze aanzienlijk moeite met de complexe, ruisige realiteit van het spin-bad. De reinforcement learning-agent vond daarentegen consequent oplossingen met een hogere getrouwheid (fidelity) die robuuster waren tegen de imperfecties van het fysieke systeem. In één specifieke test waarbij een verstrengelde toestand tussen twee kernspins werd gecreëerd, bereikte de agent fideliteiten van boven de 90 procent, terwijl de andere methoden ver tekortschoten. De onderzoekers ontdekten dat de agent voor deze langere, complexere taken rekening moest houden met hogere-orde interacties binnen de ruisbad, een detailniveau dat simpelere modellen vaak missen. Door succesvol door dit complexe landschap te navigeren, bewees de agent dat hij nieuwe controleprotocollen kon ontdekken die door menselijk ontworpen sequenties of andere algoritmen over het hoofd zouden kunnen worden gezien.
Uiteindelijk biedt dit werk een blauwdruk voor hoe echte kwantumapparaten gecontroleerd kunnen worden in het huidige tijdperk van ruis. Het laat zien dat door het combineren van realistische simulaties met leeralgoritmen die kunnen omgaan met schaarse, imperfecte informatie, wetenschappers controlestrategieën kunnen ontwikkelen die zowel hoogwaardig als aanpasbaar zijn. Het vermogen om een agent te trainen in een ruisige simulatie en deze vervolgens fijn af te stellen op een echt apparaat met behulp van eenvoudige metingen, suggereert een praktische weg vooruit voor het bouwen van betrouwbare kwantumsensoren en -computers. De onderzoekers benadrukken dat hoewel deze resultaten momenteel gebaseerd zijn op simulaties, de gebruikte methoden zijn ontworpen om te werken met de beperkte gegevens die in werkelijke experimenten beschikbaar zijn. Deze aanpak biedt een veelbelovende manier om de inherente ruis van solid-state kwantumsystemen te temmen, waardoor een grote hindernis een beheersbare factor wordt in het ontwerp van toekomstige kwantumtechnologieën.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.