Solipsistic Superintelligence is Unlikely to be Cooperative

Technische Samenvatting: Solipsistische Superintelligentie is Waarschijnlijk Niet Coöperatief

Probleemstelling
Het artikel identificeert een fundamentele discrepantie in het dominante AI-onderzoeksparadigma, dat de auteurs "solipsistisch" noemen. Deze benadering gaat ervan uit dat de omgeving exogeen is (onafhankelijk van de agent), dat datadistributies stationair zijn van training tot implementatie, en dat andere agenten louter onderdeel zijn van de toestandsruimte die voorspeld moet worden, in plaats van strategische actoren. De auteurs stellen dat dit paradigma faalt om rekening te houden met endogene niet-stationariteit: het fenomeen waarbij de implementatie van een AI-systeem adaptieve reacties induceert bij mensen, instituties en andere algoritmen, waardoor de distributie waarop het systeem getraind is, zelf wordt gewijzigd.

Dit creëert een train–test–deploy gap (kloof tussen training, test en implementatie), waarbij historische prestaties divergeren van de prestaties tijdens de implementatie. In multi-agent omgevingen wordt unilaterale optimalisatie (het maximaliseren van een doelstelling in isolatie) zelf-ondermijnend; hoe agressiever een agent historische regelmatigheden exploiteert, hoe sneller het andere actoren stimuleert om zich aan te passen op manieren die die regelmatigheden overbodig maken. Bijgevolg is een "solipsistische superintelligentie"—een agent die extreem bekwaam is in het oplossen van stationaire taken maar gebouwd is op deze gebrekkige aannames—waarschijnlijk niet coöperatief. In plaats van begunstige uitkomsten te bereiken, riskeren dergelijke systemen sociotechnische systemen naar gedegradeerde evenwichten te drijven (bijv. beurscrash, polarisatie of de atrofie van menselijke vaardigheden).

Methodologie en Raamwerk
Het artikel hanteert een conceptueel en theoretisch raamwerk geworteld in speltheorie, economie en AI-veiligheidsliteratuur om huidige methodologieën te bekritiseren. Het presenteert geen nieuwe experimentele resultaten, maar synthetiseert bestaande theoretische inzichten om te pleiten voor een paradigmaverschuiving.

1. Formele Kritiek op MDP's: De auteurs contrasteren de standaard Markov Decision Process (MDP) formalisering, waarbij transitiedynamiek $P$ en beloningen $R$ vaststaan, met de realiteit van implementatie. Ze argumenteren dat zodra een beleid $\pi$ wordt geïmplementeerd, $P$ en $R$ beleidsafhankelijk worden ($P_\pi$), waardoor het probleem transformeert in een Markov Game waar agenten co-evolueren.
2. Definitie van Kernconcepten:
   • Zelf-ondermijnende eigenschap: De neiging van unilaterale optimalisatie om adaptaties te induceren die de patronen die het exploiteert, ongeldig maken.
   • Train–test–deploy gap: De systematische divergentie tussen prestaties op exogene historische data ($J_{train}$) en endogene data gegenereerd door reacties op het geïmplementeerde beleid ($J_{deploy}$).
   • Coöperatie: Gedefinieerd niet als een taak die opgelost moet worden of een capaciteit die geschaald kan worden, maar als een evenwicht-selectieproces waarmee meerdere actoren interdependentie navigeren om begunstige evenwichten te selecteren.
3. Analyse van Adaptatiekanalen: Het artikel categoriseert de bronnen van endogene niet-stationariteit in drie kanalen:
   • Gedragsadaptatie: Mensen die hun strategieën wijzigen (bijv. studenten die opnieuw leren rondom AI-tutors).
   • Institutionele adaptatie: Organisaties en regelgevers die regels en workflows herzien als reactie op algoritmen.
   • Algoritmische adaptatie: Andere AI-systemen die hertrainen en co-evolueren (bijv. prijsalgoritmen die leiden tot emergente collusie).

Kernbijdragen
Het artikel maakt drie primaire theoretische claims en stelt een nieuwe onderzoeksagenda voor:

1. De Centrale Stelling: Coöperatie is een structurele noodzaak voor begunstige co-existentie, geen optionele toevoeging. Een solipsistische superintelligentie is inherent waarschijnlijk niet coöperatief omdat het een dynamische, multi-actor wereld behandelt als een statisch, unilateraal optimalisatieprobleem.
2. Epistemische en Legitimiteitslimieten van Voorspelling: Het artikel betoogt dat het simpelweg "modelleren" van de adaptaties van andere agenten onvoldoende is vanwege:
   • Epistemische Horizonten: Het onvermogen om nieuwe evenwichten te voorspellen die voortkomen uit open einde multi-agent interacties (nieuwheid, reflexiviteit en combinatorische explosie).
   • Legitimiteitsbeperkingen: Unilaterale optimalisatie omzeilt democratische procedures en rechtmatige processen. Zelfs als een AI de uitkomsten perfect zou kunnen voorspellen, ondermijnt het opleggen van oplossingen zonder participatie de legitimiteit die nodig is voor sociale coördinatie.
3. Een Niet-Solipsistische Onderzoeksagenda: De auteurs stellen voor om de focus te verschuiven van capaciteitsgerichte schaling naar co-existentie-gerichte design, georganiseerd rond drie pijlers:
   • Dynamische Evaluatie: Verder gaan dan statische benchmarks naar testomgevingen waar evaluatiedistributies ($D_\pi$) afhankelijk zijn van het beleid $\pi$ via de strategische reacties van adaptieve tegenpartijen.
   • Instituties als Design-Primitieven: Regels, mechanismen en protocollen behandelen als co-evoluerende componenten van het systeem (bijv. het gebruik van mechanism design om prikkels dynamisch te herstructureren) in plaats van vaste beperkingen.
   • Behoud van Menselijke Agency: Systemen ontwerpen die de menselijke optieruimte vergroten en menselijke cognitieve vaardigheden behouden, in plaats van menselijke besluitvorming te vervangen, om de atrofie van de menselijke capaciteiten die nodig zijn voor de langetermijnwerking van het systeem te voorkomen.

Resultaten en Claims
Als theoretisch artikel rapporteert het geen empirische resultaten van nieuwe experimenten. In plaats daarvan zijn de "resultaten" de logische deducties die zijn afgeleid van bestaande literatuur en speltheoretische principes:

• Falen-modi: Het artikel demonstreert dat het behandelen van multi-actor games als unilaterale optimalisatie leidt tot collectieve actieproblemen (bijv. de tragedie van de meent, wapenwedlopen), zelfs wanneer individuele agenten perfect zijn afgestemd op hun specificaties.
• Risico op Evenwicht-selectie: Krachtige optimizers kunnen sociale systemen naar "slechte" evenwichten duwen (bijv. polarisatie, instabiliteit) die moeilijk te herstellen zijn door lock-in effecten.
• Onvoldoendeheid van Huidige Alignment: Het artikel betoogt dat huidige alignment-technieken (bijv. RLHF) voorkeuren vaak aggregeren in een enkele doelstelling, wat potentieel pluralisme van waarden onderdrukt en faalt om de structurele dynamiek van interactie aan te pakken.

Significantie
Het artikel beweert dat de beperkende factor voor AI verschuift van capaciteit (taken oplossen) naar co-existentie (interdependentie navigeren). Het daagt de impliciete weddenschap in de dominante methodologie uit dat het schalen van capaciteit van nature zal leiden tot coöperatieve uitkomsten. De auteurs stellen dat zonder een niet-solipsistisch paradigma dat interdependentie als een kernontwerpprincipe behandelt, geavanceerde AI-implementatie het risico loopt op systemische falen die zelf-ondermijnend en illegitiem zijn. De significantie ligt in het herformuleren van AI-veiligheid, niet alleen als een probleem van het voorkomen van misafgestemde doelstellingen, maar als een probleem van het ontwerpen van systemen die kunnen deelnemen aan de evenwicht-selectieprocessen van een dynamische, multi-actor wereld.