Why collective AI assurance cannot target agents or networks in isolation

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuw soort risico ontstaan dat niet zichtbaar is door naar een enkele machine in isolatie te kijken. Stel je een ziekenhuis voor waar tientallen geautomatiseerde assistenten de patiëntenschema's coördineren, spoedgevallen triageren en verwijzingen beheren. Elke assistent is geprogrammeerd om behulpzaam, eerlijk en coöperatief te zijn. Als we een van deze assistenten alleen testen in een stille kamer, lijkt deze perfect afgestemd op menselijke waarden. Echter, wanneer deze assistenten met elkaar beginnen te interageren in een complex netwerk, kan de groep als geheel uitkomsten produceren die diep onrechtvaardig zijn, zelfs als elk individueel lid probeert het juiste te doen. Dit fenomeen, bekend als collectieve emergentie, suggereert dat de veiligheid van een systeem minder afhangt van het individuele karakter van de onderdelen en meer van de regels van hun interactie. De vraag waar onderzoekers en toezichthouders voor staan is niet langer alleen of een enkele AI veilig is, maar hoe men eerlijkheid kan garanderen wanneer veel AI's samenwerken.

Een team van onderzoekers uit Oostenrijk zette zich scharpe om een specifieke puzzel binnen dit probleem op te lossen: wanneer een groep AI-agenten een ongelijke uitkomst produceert, ligt de schuld dan bij de agenten zelf, of zit het ingebakken in de structuur van hun netwerk? Om het antwoord te vinden, bouwden zij een digitaal laboratorium waarin ze duizenden gesimuleerde interacties konden uitvoeren. Ze creëerden twee verschillende soorten sociale spellen voor hun agenten om te spelen. In het eerste spel, een scenario van publieke goederen, konden agenten ervoor kiezen om middelen met hun buren te delen of ze voor zichzelf te houden. In het tweede spel, een vertrouwensspel dat rond medische verwijzingen draaide, moesten de agenten beslissen of ze een middel naar een specifieke collega zouden sturen of het voor hun eigen patiënt zouden houden. De onderzoekers varieerden vervolgens de omstandigheden van deze spellen zoals een wetenschapper aan knoppen draait op een machine. Ze veranderden de persoonlijkheid van de agenten, waarbij ze ze allemaal uniform eerlijk maakten, of er enkele onbaatzuchtige agenten tussen mengden. Ze veranderden de vorm van het netwerk, door iedereen met iedereen te verbinden, of door hubs te creëren waar een paar agenten veel meer verbindingen hadden dan anderen. Ze testten zelfs of een systeem van sociale sancties door peers — waarbij agenten elkaar konden bekritiseren — de ontstane onrechtvaardigheid kon herstellen.

De resultaten onthulden een schokkende waarheid over hoe deze systemen werken. Wanneer de onderzoekers een netwerk gebruikten waarbij een paar agenten veel verbindingen hadden en de meesten weinig, ontstond er een patroon van ongelijkheid dat bijna volledig werd bepaald door de vorm van het netwerk, en niet door het gedrag van de agenten. In het spel van publieke goederen, zelfs toen elke agent geprogrammeerd was om perfect eerlijk en coöperatief te zijn, eindigden de agenten met de meeste verbindingen met aanzienlijk meer middelen dan degenen met minder verbindingen. De correlatie tussen het hebben van veel verbindingen en het hebben van meer middelen was zo sterk dat deze bijna perfect was. Om te bewijzen dat dit een structureel probleem was en geen fout in het "brein" van de AI, lieten de onderzoekers exact hetzelfde spel draaien met een eenvoudig computerprogramma dat niet in staat was tot redeneren of leren. Deze basisbot, die simpelweg een vaste regel volgde, reproduceerde dezelfde hoge mate van ongelijkheid als de geavanceerde AI-modellen. Deze bevinding suggereert dat in bepaalde soorten interacties de onrechtvaardigheid een wiskundige zekerheid is van het netwerkontwerp, en geen falen van de individuele agenten om goed te zijn.

Het verhaal werd echter complexer toen de onderzoekers overschakelden naar het vertrouwensspel. Hier maakten de agenten gerichte keuzes over wie ze hielpen, in plaats van middelen gelijkmatig te verdelen. In deze omgeving deed het gedrag van de agenten er veel meer toe. Zelfs toen de netwerkstructuur identiek was aan het eerste spel, speelden de persoonlijkheden en keuzes van de agenten een grotere rol bij het bepalen van de uiteindelijke uitkomst. In één specifieke opstelling vonden de onderzoekers dat het gedrag van de agenten de primaire drijfveer van ongelijkheid was, terwijl in een andere opstelling de netwerkstructuur de belangrijkste factor was. Dit betekent dat er geen enkele "oplossing" voor AI-veiligheid is die in elke situatie werkt. Je kunt een AI niet simpelweg certificeren als eerlijk en ervan uitgaan dat de groep ook eerlijk zal zijn, want in sommige interactieregimes overrulet de netwerkstructuur de individuele eerlijkheid. Omgekeerd kun je niet simpelweg de netwerkstructuur repareren en ervan uitgaan dat de agenten zich wel zullen gedragen, want in andere regimes is het gedrag van de agenten de dominante factor.

De studie testte ook of de agenten het probleem konden "zien" en oplossen. De onderzoekers vroegen de agenten om na elke zet hun redenering toe te lichten. In het vertrouwensspel noemden de agenten vaak dat ze zich bewust waren van de netwerkstructuur en probeerden eerlijk te zijn. Ze konden hun positie verwoorden en het systeem begrijpen. Toch veranderde dit bewustzijn de uitkomst niet. Zelfs toen de agenten zich bewust waren van de ongelijkheid, konden ze de structurele voordelen van hun meer verbonden tijdgenoten niet overwinnen. De agenten die zich bewust waren van de ongelijkheid, waren vaak degenen die erdoor leden, maar hun begrip vertaalde zich niet naar een beter resultaat. Dit benadrukt een kritieke kloof: weten dat een systeem onrechtvaardig is, is niet hetzelfde als de macht hebben om het te veranderen.

Ten slotte testten de onderzoekers een veelvoorkomstige oplossing voor ongelijkheid: sociale sancties door peers. Ze gaven de agenten de mogelijkheid om degenen die zich onrechtvaardig gedroegen te straffen door hun reputatie te verlagen. In de simulaties gebruikten de agenten deze macht inderdaad, en ze identificeerden correct de agenten met de meeste verbindingen als degenen die gestraft moesten worden. Echter, deze straf had geen effect op de uiteindelijke verdeling van de middelen. De ongelijkheid bleef exact hetzelfde. De onderzoekers ontdekten dat de loutere aankondiging van een sanctiesysteem het gedrag van de agenten licht veranderde, maar dat de daadwerkelijke handeling van het straffen niets deed aan de uitkomst. Het mechanisme dat het voordeel genereerde — de manier waarop middelen door het netwerk stroomden — bleef onaangetast door het reputatiesysteem.

De uiteindelijke conclusie van dit werk is dat we niet kunnen uitgaan van een vast niveau van veiligheid voor kunstmatige intelligentiesystemen. We kunnen niet simpelweg controleren of elke individuele agent eerlijk is, noch kunnen we simpelweg controleren of het netwerk goed ontworpen is. De veiligheid van het collectief hangt af van de specifieke combinatie van de agenten, het netwerk en de regels van interactie. In sommige gevallen is de netwerkstructuur de dominante kracht, waardoor individuele eerlijkheid irrelevant wordt. In andere gevallen is het gedrag van de agenten de sleutel. Dit betekent dat toezichthouders en ontwerpers niet kunnen vertrouwen op een eenheidsbenadering voor AI-verificatie. Ze moeten de specifieke causale structuur van het systeem dat ze bouwen begrijpen. Als ze een eerlijke uitkomst willen garanderen, moeten ze identificeren welke factor — structuur of gedrag — het resultaat in die specifieke context aanstuurt en daar ingrijpen. Zonder dit begrip kunnen zelfs de meest welwillende en perfect afgestemde AI-agenten diep ongelijke samenlevingen produceren.