⚛️ quantum physics

Learning to Coordinate via Quantum Entanglement in Multi-Agent Reinforcement Learning

Dit artikel introduceert een nieuw framework voor Multi-Agent Reinforcement Learning dat agenten in staat stelt te coördineren via gedeelde kwantumverstrengeling, waarbij door middel van zowel black-box games als Dec-POMDP's wordt aangetoond dat deze aanpak een superieure coördinatieprestatie kan bereiken die onbereikbaar is met enkel klassieke gedeelde willekeur.

Oorspronkelijke auteurs: John Gardiner, Orlando Romero, Brendan Tivnan, Nicolò Dal Fabbro, George J. Pappas

Gepubliceerd 2026-08-13

📖 10 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: John Gardiner, Orlando Romero, Brendan Tivnan, Nicolò Dal Fabbro, George J. Pappas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep vrienden voor die samen een puzzel proberen op te lossen, maar ze mogen niet met elkaar praten. Ze kunnen niet appen, niet fluisteren, en zelfs geen oogcontact maken. In de wereld van de informatica is dit een klassieke hoofdpijn voor "Multi-Agent Reinforcement Learning" (MARL). Het is een vakgebied waar computerprogramma's (agenten) leren beslissingen te nemen door middel van vallen en opstaan, zoals een hond die trucjes leert, maar wanneer er veel van hen zijn die als een team samenwerken, raken ze vaak gestrand omdat ze hun geheimen niet kunnen delen.

Om deze stille teamgenoten te helpen coördineren, hebben wetenschappers lang een truc gebruikt genaamd "shared randomness" (gedeelde willekeur). Stel je voor dat je elke vriend een kopie geeft van hetzelfde geschudde kaartspel voordat het spel begint. Ze kunnen niet praten, maar als ze allebei de "Aas van Klaver" trekken, weten ze dat ze dezelfde zet moeten doen. Het is een slimme manier om te synchroniseren zonder te spreken. Maar er is een addertje onder het gras: deze methode heeft een hard plafond. Hoeveel kaarten je ook schudt, er zijn sommige puzzels waarbij deze "kaartspel"-strategie simpelweg niet goed genoeg is om te winnen.

Maak kennis met de joker uit de natuurkunde: kwantumverstrengeling (quantum entanglement). Dit is een spookachtige verbinding tussen deeltjes waarbij twee dingen zo diep met elkaar verbonden zijn dat het meten van de één direct iets vertelt over de ander, zelfs als ze mijlenver uit elkaar liggen. Het is alsof je twee magische dobbelstenen hebt die altijd op dezelfde getallen landen, ongeacht hoe ver van elkaar ze worden gegooid. Decennialang hebben natuurkundigen geweten dat deze "magische dobbelstenen" bepaalde coördinatiepuzzels beter kunnen oplossen dan welk kaartspel dan ook. Maar tot nu toe had niemand uitgevogeld hoe je een team van lerende computeragenten daadwerkelijk kunt leren om deze kwantummagie te gebruiken om beter te worden in hun werk.

Dit artikel is de eerste die een trainingsgym voor deze agenten bouwt, die hen leert hoe ze kwantumverstrengeling kunnen aanwenden om te coördineren zonder een woord te zeggen. De onderzoekers creëerden een nieuw systeem waarbij agenten leren om kwantummetingen te behandelen als een geheime taal. Ze testten dit op eenvoudige, eenmalige spellen en ontdekten dat de agenten inderdaad strategieën konden leren die de beste mogelijke "kaartspel"-methoden verslaan, waarmee ze bereikten wat natuurkundigen "kwantumvoordeel" noemen. Vervolgens gingen ze een stap verder door de agenten te leren coördineren in een complex, doorlopend scenario met verkeersrouters en serverwachtrijen. In deze simulaties slaagden de verstrengelde agenten erin om klanten minder lang te laten wachten dan hun niet-verstrengelde tegenhangers, wat bewijst dat kwantumverbindingen stille teams efficiënter kunnen laten samenwerken dan klassieke trucs ooit zouden kunnen.

Het Stille Team en de Magische Dobbelstenen

Laten we in het verhaal duiken. Stel je voor dat jij en je beste vriend samen een spannende videogame spelen. Je bent aan tegenovergestelde kanten van de kaart en de regels zijn: Niet praten. Je kunt geen berichten sturen, je kunt geen signalen geven met je personage en je kunt niet naar elkaars schermen kijken. Je doel is om te winnen, maar daarvoor moet je zetten doen die perfect overeenkomen met de zetten van je vriend.

In de wereld van Kunstmatige Intelligentie is dit het "Multi-Agent Reinforcement Learning" (MARL) probleem. Dit zijn AI-agenten die leren door te doen. Meestal, als ze niet kunnen praten, vertrouwen ze op Shared Randomness. Denk hierbij aan een ritueel voor het spel waarbij jij en je vriend allebei een munt opgooien. Als het kop is, springen jullie allebei; als het munt is, duiken jullie allebei. Het is een manier om te synchroniseren zonder te spreken. Wetenschappers gebruiken dit al jaren, en het werkt prima. Maar er is een limiet. Voor sommige zeer lastige puzzels is het gooien van munten simpelweg niet genoeg om de perfecte winstkans te behalen.

Dan is er Kwantumverstrengeling. Dit is een echt fenomeen in de natuurkunde waarbij twee deeltjes verbonden zijn op een manier die onze alledaagse logica tart. Als je een paar verstrengelde deeltjes hebt, onthult het meten van de één onmiddellijk de staat van de ander, ongeacht hoe ver ze van elkaar verwijderd zijn. Het is alsof je twee "magische dobbelstenen" hebt die met elkaar verbonden zijn. Als jij een 6 gooit met jouw dobbelsteen, laat de dobbelsteen van je vriend onmiddellijk ook een 6 zien, zelfs als hij zich aan de andere kant van de melkweg bevindt. Natuurkundigen weten al heel lang dat als je deze magische dobbelstenen gebruikt in plaats van gewone munten, je bepaalde spellen met een hogere waarschijnlijkheid kunt winnen dan mogelijk is met alleen munten. Dit wordt "kwantumvoordeel" genoemd.

Maar hier is de grote vraag: Kunnen we een team van lerende AI-agenten daadwerkelijk leren om deze magische dobbelstenen te gebruiken om te coördineren? Of is kwantumverstrengeling slechts een coole natuurkundige truc die computers niet kunnen leren gebruiken?

De Nieuwe Trainingsgym

De auteurs van dit artikel, een team van Nasdaq en de University of Pennsylvania, besloten een trainingsgym te bouwen om dit te ontdekken. Ze wilden zien of ze AI-agenten konden leren om strategieën te gebruiken die kwantumverstrengeling uitbuiten, puur door ervaring, zonder dat een mens hen het antwoord vertelt.

Om dit te doen, moesten ze een nieuwe manier uitvinden waarop de AI over kwantummechanica kan "denken". Normaal gesproken leert AI door getallen (gewichten) in een neuraal netwerk aan te passen. Maar kwantummechanica omvat complexe wiskunde die niet netjes in standaard AI-tools past. Het team creëerde een nieuw hulpmiddel dat ze QuantumSoftmax noemen.

Stel je voor dat je een robot probeert te leren jongleren. Je kunt niet alleen zeggen "jongleer". Je moet het opdelen in kleine, aanpasbare bewegingen. De QuantumSoftmax is als een speciale vertaler die de rommelige, ruwe wiskunde van de robot neemt en deze omzet in een geldige "kwantummeting". Het zorgt ervoor dat wat de robot ook besluit te doen, het de strikte regels van de kwantumfysica volgt. Hierdoor kan de AI gebruikmaken van "gradient descent"—de standaardmethode voor leren door vallen en opstaan—om de kwantumstrategie van de robot steeds verder te verfijnen totdat deze steeds beter wordt.

Ze ontwierpen ook een nieuwe architectuur voor het team. Ze splitsen de besluitvorming in twee delen:

De Lokale Actoren: Dit zijn de individuele agenten (de spelers). Zij kijken naar wat ze zien en beslissen wat ze gaan doen.
De Kwantum Coördinator: Dit is het "magische" deel. Het vertelt de spelers niet direct wat ze moeten doen. In plaats daarvan gebruikt het de verstrengelde deeltjes om een stukje "advies" (een willekeurig getal of signaal) voor elke speler te genereren. Omdat de deeltjes verstrengeld zijn, is het advies dat aan Speler A wordt gegeven perfect gecorreleerd met het advies dat aan Speler B wordt gegeven, ook al hebben ze nooit met elkaar gesproken.

De spelers nemen dit advies vervolgens en combineren het met hun eigen waarnemingen om hun definitieve zet te doen. Het is alsof de coördinator elke speler een geheim briefje geeft met de tekst: "Als je een rood licht ziet, doe dan X," maar het briefje wordt gegenereerd door magische dobbelstenen die ervoor zorgen dat de briefjes precies overeenkomen.

De Resultaten: Magie Werkt (In Simulatie)

Het team heeft hun nieuwe systeem op twee verschillende manieren getest.

Eerst, de Opwarmspellen:
Ze begonnen met eenvoudige, eenronde spellen die bekend staan als "nonlocal games". Dit zijn de puzzels die natuurkundigen gebruiken om te bewijzen dat kwantummechanica vreemd is. Een beroemd voorbeeld is het CHSH-spel. In dit spel proberen spelers elkaars zetten te raden op basis van willekeurige inputs.

Het Resultaat: Het team trainde hun agenten vanaf nul. Zonder enige hulp leerden de agenten de kwantumverstrengeling te gebruiken. Ze ontdekten strategieën waarmee ze het spel vaker wonnen dan met elke strategie die enkel gebruikmaakt van "shared randomness" (de muntworpen).
De Catch: Ze ontdekten dat het toevoegen van een beetje "entropie" (een chique woord voor het aanmoedigen van de AI om een beetje willekeurig en niet te voorspelbaar te zijn) de agenten hielp om niet vast te lopen op oude, klassieke strategieën. Met deze aanpassing vond elke run van hun training een winnende kwantumstrategie.

Tweede, de Simulatie in de Praktijk:
Ze stopten niet bij eenvoudige spellen. Ze wilden zien of dit ook werkte in een rommelige, voortdurende situatie. Ze modelleerden een "multi-router multi-server queueing problem". Stel je een druk internetnetwerk voor met twee routers (de agenten) die datapakketjes naar servers sturen. De routers kunnen niet met elkaar communiceren, maar ze moeten de belasting verdelen zodat geen enkele server overbelast raakt en geen pakketje te lang wacht.

De Opzet: Dit is een complex, sequentieel besluitvormingsprobleem. De routers moeten gedurende een bepaalde tijd een reeks keuzes maken.
Het Resultaat: De agenten die getraind zijn met hun kwantumverstrengelingsframework leerden beter te coördineren dan agenten die alleen over shared randomness beschikten. Specifiek was de "excess wait time" (hoe lang klanten langer moesten wachten vergeleken met de perfecte theoretische limiet) lager voor de verstrengelde agenten.
De Betekenis: Dit bevestigt dat kwantumverstrengeling kan helpen in complexe scenario's die lijken op de echte wereld, en niet alleen in eenvoudige, eenmalige puzzels. De agenten leerden de "magische dobbelstenen" te gebruiken om de verkeersstroom soepeler te houden.

Wat Dit Betekent (en Wat Niet)

Het artikel is zeer duidelijk over wat zij hebben bereikt en wat nog in het midden ligt.

Wat ze bewezen hebben:
Ze hebben aangetoond dat het mogelijk is om AI-agenten vanaf nul te trainen om kwantumstrategieën te leren. Ze hebben een framework gebouwd waarin agenten kunnen leren om verstrengeling te gebruiken om te coördineren zonder communicatie. In hun simulaties leidde dit tot betere prestaties dan klassieke methoden in zowel eenvoudige spellen als complexe wachtrijproblemen.

Wat ze niet hebben gedaan:

Geen Echte Kwantumhardware: De agenten gebruikten geen echte kwantumcomputers of echte verstrengelde deeltjes. De "verstrengeling" werd mathematisch gesimuleerd op een klassieke computer. Ze bewezen dat het concept werkt, maar ze hebben nog geen fysiek team van kwantumrobots gebouwd.
Geen Instant Communicatie: Het artikel sluit expliciet de mogelijkheid uit dat verstrengeling sneller-dan-het-licht communicatie mogelijk maakt. De agenten kunnen nog steeds niet praten. De "magie" is slechts een manier om hun beslissingen beter te correleren dan wat door toeval mogelijk is.
Geen Opgelost Probleem: Hoewel ze kwantumvoordeel vonden in deze specifieke simulaties, beweren ze niet dat elk probleem door kwantumverstrengeling opgelost zal worden. Ze suggereren dat er veel settings zijn waarin dit zou kunnen helpen, maar we moeten nog uitzoeken welke precies.

De Toekomst van Stille Teams

De auteurs zien een heldere, zij het speculatieve, toekomst voor ogen. Ze vermelden dat in high-frequency trading (waar computers aandelen kopen en verkopen in milliseconden) de vertraging veroorzaakt door communicatie een enorm probleem is. Als handelaren verstrengeling zouden kunnen gebruiken om te coördineren zonder te praten, zouden ze sneller en efficiënter kunnen reageren.

Ze wijzen echter ook op de hindernissen. Werkelijke kwantumsystemen zijn rommelig. Ze hebben fouten, beperkte groottes en imperfecte metingen. De volgende stap is om AI-agenten te leren omgaan met deze imperfecties in de echte wereld. Ze vragen zich ook af of verstrengeling agenten kan helpen om over een langere periode te coördineren, en niet alleen op een enkel moment, wat cruciaal zou zijn voor taken op de lange termijn.

Kortom, dit artikel is een bewijs van concept (proof-of-concept). Het is also eigenlijk laten zien dat een auto op een ijsbaan kan rijden. Het bewijst dat de natuurkunde werkt en dat de motor het gladde oppervlak aankan. Maar voordat we een tocht door de bevroren toendra kunnen maken, moeten we een echte auto bouwen die de kou, de wind en de oneffenheden aankan. De auteurs hebben de motor gebouwd; nu is het aan de wereld om de auto te bouwen.

Technische Samenvatting: Leren Coördineren via Kwantumverstrengeling in Multi-Agent Reinforcement Learning

Probleemstelling

Multi-Agent Reinforcement Learning (MARL) staat voor een fundamentele uitdaging in coördinatie wanneer agenten opereren onder partiële observeerbaarheid en strikte communicatiebeperkingen. In veel praktische scenario's, zoals hoogfrequente handel of militaire toepassingen, is communicatie tussen agenten te kostbaar, onmogelijk of vertragingsgevoelig. Hoewel eerder werk heeft onderzocht het gebruik van gedeelde willekeur (via correlatie-apparaten) om gedecentraliseerde beleidsregels te coördineren, is deze aanpak beperkt door de klasse van correlaties die via klassieke middelen bereikbaar zijn.

Dit artikel adresseert de vraag: Kunnen MARL-agenten communicatievrije beleidsregels leren die gebruikmaken van gedeelde kwantumverstrengeling om coördinatievoordelen te behalen die onbereikbaar zijn met enkel gedeelde willekeur? Deze motivatie is geworteld in resultaten uit de kwantumfysica (bijv. de Bell-stelling) die aantonen dat verstrengelde toestanden strategieën in bepaalde coöperatieve spellen mogelijk maken die presteren beter dan klassieke strategieën, een fenomeen dat bekend staat als kwantumvoordeel.

Methodologie

De auteurs stellen een nieuw framework voor dat kwantummechanica integreert in de policy-optimalisatie-loop van MARL. De methodologie bestaat uit drie primaire componenten:

1. Beleidshierarchie en Formalisme

Het artikel schetst een hiërarchie van gezamenlijke beleidsklassen voor communicatievrije coöperatieve MARL:

$\Pi_F$ (Gefactoriseerd): Onafhankelijke lokale beleidsregels.
$\Pi_{SR}$ (Gedeelde Willekeur): Beleidsregels gecorreleerd via een gedeelde willekeurige variabele (de convexe huls van $\Pi_F$ ).
$\Pi_Q$ (Gedeelde Verstrengeling): Beleidsregels waarbij agenten een gedeelde verstrengelde kwantumtoestand delen en lokale metingen uitvoeren op basis van hun observaties. Deze klasse bevat $\Pi_{SR}$ strikt.
$\Pi_{NS}$ (Niet-signalerend): De meest algemene klasse van beleidsregels waarbij beslissingen afhangen van lokale observaties, niet van de geschiedenissen van andere agenten.

Het framework richt zich op het leren van beleidsregels binnen $\Pi_Q$ . Een gezamenlijke beleidsregel $\pi(a|h)$ wordt geparametriseerd als:
$\pi(a|h) = \text{tr}\left( \rho \bigotimes_{i=1}^n M_i(a_i | h_i) \right)$
waarbij $\rho$ een gedeelde dichtheidsmatrix is (de verstrengelde toestand) en $M_i$ Positive Operator-Valued Measures (POVM's) zijn die door agent $i$ worden gekozen op basis van hun geschiedenis $h_i$ .

2. QuantumSoftmax en Differentieerbare Parametrisatie

Om gradiëntgebaseerde optimalisatie over kwantummetingen mogelijk te maken, introduceren de auteurs QuantumSoftmax (Algoritme 1).

Input: Een tuple van complex-waardige matrices $Z = (Z_1, \dots, Z_m)$ .
Proces: Het algoritme symmetriseert de matrices, exponentieert ze (met de matrix-exponentiële functie) en normaliseert ze om ervoor te zorgen dat ze de identiteitsmatrix optellen.
Output: Een geldige POVM $P = (P_1, \dots, P_m)$ .
Deze transformatie is differentieerbaar, waardoor de POVM's (en daarmee de beleidsregels) geoptimaliseerd kunnen worden via backpropagation.

3. Architectuur en Trainingsalgoritme

Het framework maakt gebruik van een advies-gebaseerde beleidsarchitectuur die de gezamenlijke beleidsregel deelt in:

Een Kwantumcoördinator: Een model dat "advies" $x$ (de uitkomst van de kwantummeting) samplet op basis van de globale geschiedenis $h$ en de gedeelde toestand $\rho$ .
Lokale Actoren: Gedecentraliseerde agenten die hun acties $a_i$ conditioneren op zowel hun lokale geschiedenis $h_i$ als het gesamplede advies $x_i$ .

De auteurs implementeren dit binnen een gemodificeerd Multi-Agent Proximal Policy Optimization (MAPPO) algoritme:

De standaard PPO-objectief wordt gesplitst in twee termen: één voor de lokale actor-modellen ( $L_{act}$ ) en één voor het coördinatormodel ( $L_{coord}$ ).
De coördinator modelleert de distributie $q(x|h)$ , die beperkt is tot de vorm van een kwantum trace-operatie waarbij de geparametriseerde POVM's betrokken zijn.
Voor niet-lokale spellen (single-round) wordt een REINFORCE-stijl aanpak met entropie-regularisatie gebruikt om convergentie naar klassiek optimale deterministische strategieën te voorkomen.

Belangrijkste Bijdragen

Definitie van de Beleidshierarchie: Het artikel definieert formeel de hiërarchie van communicatievrije beleidsklassen, waarbij $\Pi_Q$ (verstrengeling) wordt vastgesteld als een strikte superverzameling van $\Pi_{SR}$ (gedeelde willekeur).
Eerste MARL-framework voor Verstrengeling: Het introduceert het eerste framework waar gedecentraliseerde agenten leren om kwantumverstrengeling te exploiteren als een coördinatiebron tijdens de uitvoering.
QuantumSoftmax: Een nieuwe differentieerbare transformatie die end-to-end gradiëntgebaseerde optimalisatie over kwantummetingen (POVM's) mogelijk maakt.
Algoritmische Integratie: Een gemodificeerd MAPPO-algoritme dat de gezamenlijke beleidsregel scheidt in een kwantumcoördinator en lokale actoren, wat naadloze integratie met standaard policy gradient-methoden mogelijk maakt.
Empirische Validatie: Demonstratie dat het framework optimale verstrengelde strategieën kan leren in black-box niet-lokale spellen en een kwantumvoordeel kan behalen in een sequentieel Dec-POMDP wachtrijprobleem.

Resultaten

Niet-lokale Spellen (Single-Round)

Het framework werd getest op vier niet-lokale spellen met bekende kwantumvoordelen: CHSH, GHZ, en twee Rendezvous-spellen.

Entropie-regularisatie: Experimenten toonden aan dat het toevoegen van entropie-regularisatie cruciaal was. Zonder deze regularisatie convergeerden agenten vaak naar klassiek optimale deterministische strategieën. Met regularisatie ontdekte het algoritme consistent strategieën die een kwantumvoordeel vertoonden.
Prestaties: De geleerde strategieën kwamen overeen met of benaderden de theoretisch optimale winstkansen voor verstrengelde strategieën, waarbij bekende resultaten puur uit ervaring werden teruggewonnen (door de spellen als black-box oracles te behandelen).

Sequentiële Besluitvorming (Dec-POMDP)

Het framework werd toegepast op een multi-router multi-server wachtrijprobleem (gebaseerd op Da Silva en Wehner, 2025/2026).

Opzet: Twee routers moeten klanten naar servers routeren om de basisdoorvoer te maximaliseren terwijl de wachttijden worden geminimaliseerd, zonder te communiceren.
Resultaat: De geleerde beleidsregels die gebruikmaken van gedeelde verstrengeling (oranje stippen in Figuur 5) behaalden lagere excessieve wachttijden vergeleken met de theoretisch optimale beleidsregels die enkel gedeelde willekeur gebruiken (blauwe lijn) over de meeste doorvoersnelheden heen.
Betekenis: Dit bevestigt het bestaan van een kwantumvoordeel in een sequentiële besluitvormingssetting zonder te vertrouven op de specifieke analytische wachtrijtheorie-bewijzen die in eerdere literatuur werden gebruikt.

Betekenis en Claims

Het artikel beweert het eerste te zijn dat onderzoekt hoe men geparametriseerde MARL-beleidsregels kan leren die verstrengeling exploiteren voor coördinatie, waarmee het zich onderscheidt van eerder werk dat ofwel:

Analytisch single-round spellen analyseerde.
Kwantumcomputing gebruikte om training te versnellen (het verminderen van het aantal parameters) in plaats van verstrengeling te gebruiken als een coördinatiebron tussen niet-communicerende agenten.

De auteurs positioneren dit werk als een stap naar het begrijpen van de ontdekbaarheid en generaliseerbaarheid van kwantumvoordeel in gedecentraliseerde systemen. Zij merken op dat hoewel de technologie voor het distribueren van verstrengeling volwassen wordt (wat toepassingen zoals coördinatie in hoogfrequente handel plausibel maakt), de theoretische grenzen van waar verstrengeling de sequentiële besluitvorming verbetert, nog volledig gekarakteriseerd moeten worden. Het artikel kadert de bijdrage bescheiden als een "cruciale stap" in het gebruik van MARL om deze vragen te adresseren, in plaats van een volledige oplossing voor alle coördinatieproblemen.

Beperkingen en Toekomstig Werk:
De auteurs erkennen dat hun huidige framework het gebruik van verstrengeling beperkt tot dezelfde tijdstap (synchrone coördinatie) en nog geen realistische hardwarebeperkingen (bijv. imperfecte staatvoorbereiding) incorporeert. Zij identificeren de karakterisering van settings waar verstrengeling een voordeel biedt en de uitbreiding naar asynchrone, multi-round games als kritieke toekomstige richtingen.