Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

Technische Samenvatting: "Zijn we gedoemd tot een AI-wedloop? Waarom eigenbelang landen kan drijven naar een moratorium op superintelligentie"

Probleemstelling
De heersende opvatting in het discours rondom Kunstmatige Superintelligentie (ASI) is dat een mondiaal moratorium op de ontwikkeling ervan onhaalbaar is vanwege strategische prikkels. Critici betogen dat, zelfs als wederzijdse terughoudendheid collectief optimaal is, individuele staten een dominante strategie hebben om af te wijken en de wedloop om geopolitieke suprematie voort te zetten. Deze dynamiek van een "wedloop naar de bodem" suggereert dat de angst om achter te blijven (de "sucker's payoff") opweegt tegen het gedeelde risico van catastrofale verlies van controle, waardoor een moratorium strijdig is met het eigenbelang van een staat. Dit artikel daagt die aanname uit en stelt de vraag of een moratorium ooit een rationele, op eigenbelang gebaseerde strategie kan zijn voor geopolitieke supermachten.

Methodologie
De auteurs hanteren een formeel speltheoretisch kader om de strategische interactie tussen twee geopolitieke supermachten (een "Voortrekkers" en een "Achterblijver") te modelleren. Het model operationaliseert de beslissing om ofwel te "Wedrennen" (ontwikkeling voortzetten met standaard veiligheidsmaatregelen) of te "Pauzeren" (een moratorium opleggen om veiligheid te maximaliseren).

Het model wordt gedefinieerd door vier sleutelvariabelen:

1. Vermogenskloof ($\Delta$): Het relatieve voordeel dat een speler heeft in het ontwikkelen van ASI, waarbij factoren zoals rekenkracht en onderzoeksvooruitgang worden samengevoegd.
2. Voordeel van de Winnaar ($W$): De waarde van het eerste-bewegingsvoordeel, variërend van 0 (coöperatief) tot 1 (winnaar neemt alles), waarmee de geopolitieke ondergeschiktheid van de verliezer wordt vastgelegd.
3. Kosten van Ongecontroleerde ASI ($C$): De disnutte die voortvloeit uit verlies van controle, genormaliseerd ten opzichte van het voordeel van een veilige overwinning (genormaliseerd op 1). Cruciaal is dat het model toestaat dat $C > 1$, wat scenario's weerspiegelt waarin het instorten van de beschaving elke strategische winst overtreft.
4. Technologische Onzekerheid ($\sigma$): De epistemische onzekerheid met betrekking tot de mogelijkheid en het tijdsbestek van ASI-ontwikkeling.

Het beleidskeuze is binair: Pauzeren ($s=1$, maximale veiligheid) of Wedrennen ($s=0,85$, wat een 15% catastrofaal risico vertegenwoordigt op basis van expertenonderzoeken). De analyse identificeert Nash-evenwichten door de "Catastrofale Kosten" ($C$) af te zetten tegen de "Vermogenskloof" ($\Delta$) om te bepalen onder welke voorwaarden een pauze de rationele beste reactie wordt voor een staat.

Belangrijkste Bijdragen

1. Formalisatie van het Moratorium als een Op Eigenbelang Gebaseerde Strategie: In tegenstelling tot eerdere modellen die de wedloop vaak behandelen als een Gevangendilemma waarbij afwijken dominant is, toont dit artikel aan dat onder specifieke parametercondities een moratorium niet slechts een coöperatief ideaal is, maar een rationele strategie gedreven door eigenbelang.
2. Identificatie van Vier Strategische Werelden: Door de kosten van een catastrofe te variëren ten opzichte van de vermogenskloof en het voordeel van de winnaar, schetsen de auteurs vier distincte strategische omgevingen:
   • Veilige Harmonie: Beide staten vinden het rationeel om te pauzeren omdat de kosten van een catastrofe zo hoog zijn dat wedrennen geen marginale winst biedt.
   • Preemptie: Het unieke stabiele resultaat is een wedloop. De angst voor het eerste-bewegingsvoordeel van de rivaal weegt zwaarder dan de angst voor een catastrofe, met name wanneer staten bijna gelijk opgaan.
   • Vertrouwen: Een coördinatiespel waarbij beide partijen een wederzijdse pauze prefereren, maar bang zijn om uitgebuit te worden als de rivaal wedrennen.
   • Ondermijning: Een asymmetrische wereld waarin de Voortrekkers rationeel kiest voor pauze (vanwege de hoge waarschijnlijkheid van winnen en angst voor een catastrofe), terwijl de Achterblijver wedrennen om de kloof te dichten.
3. Kwantificering van Drempels: Het model kwantificeert de specifieke "kostendrempels" waarbij de strategische ruimte verschuift van wedrennen naar pauzeren. Het toont aan dat naarmate de waargenomen kosten van verlies van controle ($C$) voldoende stijgen ten opzichte van het voordeel van de winnaar ($W$) en de onzekerheid ($\sigma$), de rationele strategie verschuift naar een moratorium.

Resultaten
De analyse onthult dat de haalbaarheid van een moratorium niet statisch is, maar afhankelijk is van het samenspel van variabelen:

• De Rol van Catastrofale Kosten: Wanneer de waargenomen kosten van een ongecontroleerde ASI de verwachte voordelen van geopolitieke suprematie overstijgen, wordt een stabiel moratorium een keuze in eigenbelang.
• Impact van Onzekerheid: Matige technologische onzekerheid ($\sigma$) vergroot de strategische ruimte voor een moratorium. Wanneer staten onzeker zijn over de mogelijkheid om de wedloop te winnen, neemt de prikkel om te knippen af, waardoor een pauze rationeler wordt.
• Impact van Voordeel van de Winnaar: Een vermindering van het voordeel van de winnaar ($W$) verlaagt de drempel voor de kosten van verlies van controle die nodig zijn om een moratorium rationeel te maken.
• Empirische Traject: Het artikel presenteert empirisch bewijs dat suggereert dat de wereldwijde perceptie van ASI-risico's stijgt. Met verwijzing naar verklaringen van experts (bijvoorbeeld de Open Brief van 2023, de Bletchley-verklaring), opiniepeilingen (bijvoorbeeld Reuters/Ipsos) en de oprichting van AI-Veiligheidsinstituten, betogen de auteurs dat de waargenomen kosten van verlies van controle ($C$) toenemen. Deze verschuiving suggereert dat de voorwaarden waaronder een moratorium in het eigenbelang van een staat ligt, plausibeler worden in het huidige geopolitieke landschap.

Betekenis en Beweringen
Het artikel beweert de aanname omver te werpen dat een moratorium inherent strijdig is met het eigenbelang van een staat. Het betoogt dat de "wedloop" geen onvermijdelijk resultaat is van rationeel staatsgedrag, maar een contingent resultaat van specifieke parameterwaarden – specifiek, een lage waargenomen kosten van een catastrofe ten opzichte van de voordelen van suprematie.

De auteurs concluderen met bescheidenheid dat hoewel de huidige geopolitieke realiteit nog steeds wordt gedomineerd door competitieve dynamieken, de strategische ruimte voor een stabiel, rationeel moratorium zich uitbreidt. Zij stellen dat naarmate de wetenschappelijke consensus over controleproblemen groeit en de waargenomen ernst van catastrofale uitkomsten stijgt, de voorwaarden waaronder een moratorium de dominante strategie wordt voor op eigenbelang gerichte staten, "naderbij dan algemeen wordt aangenomen". Het artikel beweert niet dat een moratorium gegarandeerd is, maar wel dat het een haalbare, rationele optie is onder evoluerende omstandigheden, wat de fatalistische visie uitdaagt dat een AI-wedloop onvermijdelijk is.