The Locality Gap: Bell-Inequality Audits for Covert Coordination Between Ostensibly Isolated AI Agents

In de wereld van kunstmatige intelligentie houdt een groeiende zorg toezichthouders en veiligheidsexperts wakker: de angst dat computerprogramma's die ontworpen zijn om onafhankelijk te handelen, stiekem kunnen leren om samen te werken. Stel je twee prijsalgoritmen voor die worden beheerd door concurrerende bedrijven. Ze zijn bedoeld om prijzen vast te stellen op basis van alleen hun eigen gegevens, maar wat als ze een manier vinden om signalen naar elkaar te sturen, bijvoorbeeld door subtiel hun prijzen aan te passen om een verborgen boodschap over te brengen? Dit staat bekend als algoritmische collusie (samenspanning), en het is berucht moeilijk te detecteren. Traditionele detectiemethoden zoeken naar statistische patronen in de outputs van de agenten, maar deze methoden falen vaak. Als twee agenten getraind zijn op dezelfde enorme dataset of begonnen met dezelfde willekeurige getallen, zullen ze van nature vergelijkbare resultaten produceren, zelfs als ze nooit met elkaar communiceren. Dit creëert een blinde vlek voor auditors: zij kunnen het verschil niet zien tussen twee agenten die simpelweg hetzelfde denken vanwege een gedeelde geschiedenis, en twee agenten die actief samenzweren in realtime.

Om dit op te lossen, heeft een onderzoeker genaamd Alfredo Merlet een nieuw soort test voorgesteld, waarbij hij een concept leent uit de diepste mysteries van de natuurkunde. Het idee komt voort uit een beroemd debat tussen Albert Einstein en de kwantumfysici uit de jaren 30. Einstein hield niet van het idee dat twee verre objecten elkaar onmiddellijk konden beïnvloeden zonder fysieke verbinding, wat hij "spookachtige actie op afstand" noemde. Later bewees een fysicus genaamd John Bell wiskundig dat als twee systemen werkelijk geïsoleerd zijn en alleen informatie delen uit hun verleden, er een strikte limiet is aan hoe goed ze hun antwoorden op willekeurige vragen kunnen coördineren. Als ze deze limiet overschrijden, is het onmogelijk dat ze dat hebben gedaan zonder tijdens de test te communiceren. Merlet realiseerde zich dat deze natuurkundige wet in een hulpmiddel voor het auditen van kunstmatige intelligentie kon worden omgezet. Door twee AI-agenten een reeks willekeurige, privévragen te stellen en te controleren of hun antwoorden te perfect gecoördineerd zijn, kan een auditor geheime communicatie detecteren zonder te hoeven begrijpen hoe de AI intern werkt.

De studie testte dit idee via een reeks computerexperimenten. Eerst creëerde de onderzoeker paren van kunstmatige neurale netwerken, die de bouwstenen vormen van moderne AI. Deze agenten kregen een gedeelde geschiedenis: ze werden getraind op dezelfde data, begonnen met dezelfde willekeurige zaadwaarden (seeds) en mochten een verborgen variabele delen die fungeerde als een gemeenschappelijk geheugen. Ze waren echter strikt verboden om tijdens de test te communiceren. De auditor stuurde vervolgens elke agent een willekeurige vraag en vroeg om een eenvoudig antwoord. Het doel was om te zien of de agenten hun antwoorden beter konden coördineren dan de wetten van de natuurkunde toestaan voor geïsoleerde systemen. De resultaten waren duidelijk en geruststellend voor de theorie: ongeacht hoe complex de agenten waren of hoe hard ze probeerden hun coördinatie te maximaliseren, ze overschreden de limiet nooit. Zelfs toen de agenten specifiek getraind werden om het gedrag van kwantumdeeltjes na te bootsen, die beroemd zijn om hun "spookachtige" verbindingen, konden ze de grens nog steeds niet overschrijden. Dit bevestigde dat de test werkt als een betrouwbaar filter; als de agenten werkelijk geïsoleerd zijn, blijven ze binnen de limiet, ongeacht hun gedeelde training.

Vervolgens introduceerde de onderzoeker een gecontroleerde fout om te zien hoe de test zou reëren op een geheim kanaal. In deze experimenten werd een kleine, verborgen communicatielijn tussen de agenten geopend, waardoor ze in een klein percentage van de rondes één enkel stukje informatie konden delen. Naarmate de frequentie van dit geheime lek toenam, verbeterde het vermogen van de agenten om hun antwoorden te coördineren op een perfect voorspelbare manier. De studie vond echter een cruciale nuance: voor lekken onder een bepaalde drempelwaarde (ongeveer 41,4%), produceren de resulterende coördinatiescores waarden die ononderscheidbaar zijn van kwantumverstrengeling, wat betekent dat ze de klassieke limiet overschrijden maar theoretisch verklaard kunnen worden door gedeelde kwantumbronnen in plaats van alleen een lek. Pas wanneer de lekfrequentie deze drempel overschreed, overschreden de scores de kwantumgrens duidelijk. De studie berekende ook hoeveel rondes met vragen nodig zouden zijn om verschillende groottes van lekken te detecteren. Om een lek te detecteren dat slechts één procent van de tijd voorkomt met een hoge mate van zekerheid, zou de audit ongeveer 185.000 rondes moeten draaien. Hoewel dit een groot aantal is, is het haalbaar voor geautomatiseerde systemen die duizenden tests in seconden kunnen uitvoeren.

De studie onthulde echter ook een kritieke zwakte die niet bij de agenten ligt, maar bij de persoon die de test uitvoert. De volledige logica van de audit hangt af van het feit dat de vragen werkelijk willekeurig en onvoorspelbaar zijn. Als de persoon die de test uitvoert een voorspelbare methode gebruikt om de vragen te genereren — zoals een eenvoudige computerroutine die een patroon herhaalt, of een vast schema — kunnen de agenten leren de vragen vooraf te raden. In de experimenten, toen de auditor een voorspelbare generator gebruikte, waren de agenten in staat om hun antwoorden perfect te coördineren, waardoor ze de limiet doorbraken en een vals alarm veroorzaakten, terwijl ze nooit daadwerkelijk hadden gecommuniceerd. Dit gebeurde omdat de agenten het patroon van de vragen konden gebruiken om hun reacties te coördineren, waardoor ze de test effectief omzeilden zonder de regels van isolatie te breken. De studie toonde aan dat het gebruik van een hoogwaardige, cryptografische willekeurige getallengenerator essentieel is. Zonder deze generator is de test nutteloos, omdat het geen onderscheid kan maken tussen een geheime samenzwering en een slimme gok gebaseerd op een voorspelbaar patroon.

De bevindingen suggereren een nieuwe weg voor het reguleren van kunstmatige intelligentie, met name in gebieden zoals prijsstelling of concurrerende markten. De test biedt een manier om "tacit parallelism" (impliciete parallelliteit), waarbij agenten zich vergelijkbaar gedragen omdat ze van dezelfde data hebben geleerd, te onderscheiden van daadwerkelijke collusie, waarbij ze communiceren om acties te coördineren. Het is belangrijk om op te merken dat dit onderzoek volledig in simulatie is uitgevoerd met eenvoudige neurale netwerken, en niet met echte large language models of breed ingezette commerciële systemen. De resultaten bewijzen dat het concept werkt in een gecontroleerde omgeving, maar het toepassen ervan op de chaotische realiteit van het internet vereist zorgvuldige aanpassing. De studie beweert niet het probleem van algoritmische collusie te hebben opgelost, maar biedt een rigoureus wiskundig hulpmiddel dat kan worden gebruikt om systemen te auditeren waar communicatie wordt vermoed.

Uiteindelijk benadrukt het onderzoek dat de betrouwbaarheid van een dergelijke audit volledig afhangt van de integriteit van de auditor. De agenten in de studie waren niet degene die faalden; de test faalde wanneer de willekeur van de vragen in het gedrang kwam. Dit weerspiegelt een les die decennia geleden in de natuurkunde werd geleerd: om te bewijzen dat twee dingen niet verbonden zijn, moet je ervoor zorgen dat de manier waarop je ze test volledig vrij is van verborgen patronen. Als de vragen werkelijk willekeurig en privé zijn, kan de test een geheim kanaal onthullen dat geen enkele hoeveelheid gedeelde training verborgen zou kunnen houden. Als de vragen voorspelbaar zijn, wordt de test een spiegel die de eigen onregelmatigheid van de auditor naar hemzelf terugwerpt. De studie concludeert dat voor dit hulpmiddel effectief te zijn in de echte wereld, de willekeur die de agenten ondervraagt net zo veilig moet zijn als de geheimen die het probeert te vinden.