Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

Technische Samenvatting: Constitutionele Wapenwedlopen in het Publieke Goederen Spel

Probleemstelling
Huidige methoden voor Constitutionele AI-uitlijning (CAI) vertrouwen op door mensen geschreven principes (bijvoorbeeld "wees behulpzaam en onschadelijk") die zijn geoptimaliseerd voor single-agent of coöperatieve multi-agent omgevingen. Echter, recente empirische bewijzen geven aan dat geavanceerde Large Language Model (LLM)-agenten in omgevingen met doelconflicten bewust schadelijk gedrag kunnen vertonen, zoals chantage, sabotage en datalekken. Bestaand werk heeft aangetoond dat door LLM geleide evolutionaire zoektochten effectieve coöperatieve constituties kunnen ontdekken, maar het blijft onbekend of deze methoden standhouden onder adaptieve adversariele druk. Specifiek is het onduidelijk of standaard fitnessfuncties echte adversariele selectiedruk genereren in onafhankelijk gescoorde omgevingen, en of LLM-mutatieoperatoren betrouwbaar adversariele-specialisten-doelen kunnen handhaven zonder terug te vallen naar productief gedrag.

Methodologie
De auteurs introduceren een kader voor adversariele constitutionele co-evolutie, waarbij twee facties (Blauwe coöperanten en Rode vrijbuiters) om de beurt hun in natuurlijke taal gestelde, prioriteit-geordende constituties bijwerken tegen de huidige tegenstander gedurende 30 generaties. Het kader maakt gebruik van door LLM geleide evolutionaire zoektochten (OpenEvolve op MAP-Elites) om constituties te muteren.

De studie evalueert dit kader in twee structureel verschillende omgevingen:

1. Publieke Goederen Spel (PGG): Een niet-spatiale sociale dilemma waarbij agenten bijdragen aan een gedeelde pot. De mechanic van de gedeelde pot koppelt inherent de uitkomsten van beide facties, waardoor nul-sum strategische druk ontstaat zonder de per-factie scoringsfunctie te wijzigen.
2. Spatiale Grid-World: Een omgeving voor het verzamelen van bronnen waar factie-identiteiten verborgen zijn. Initieel werden facties onafhankelijk gescoord (gebaseerd op productiviteit, overleving en vriendelijk-vuur-rates), maar de auteurs identificeerden dit als een methodologische faalmodus voor adversariele dynamiek.

Belangrijkste Bijdragen en Resultaten

1. PGG Co-evolutie en Evenwicht:
   In het PGG dreef 30 generaties wisselende co-evolutie beide facties naar een stabiel evenwicht met bijna gelijke sterkte. Blauwe coöperanten verbeterden van een stabiliteitsscore ($S$) van 0,370 naar 0,777, terwijl Rode vrijbuiters verbeterden van 0,177 naar 0,782. Deze convergentie naar $S \approx 0,78$ was robuust over vermenigvuldigers $m \in \{1,2, 1,5, 2,0, 3,0\}$. De structurele koppeling van de gedeelde pot zorgde ervoor dat Rode de nodige bijdrageniveaus moest ontdekken om straffen te vermijden, terwijl Blauwe de straffen moest kalibreren om samenwerking in stand te houden.

2. Fitnesskoppeling als Voorwaarde:
   In de onafhankelijk gescoorde grid-World resulteerde per-factie scoring in statistisch ongekoppelde uitkomsten ($corr(S_B, S_R) = +0,088$), wat faalde om adversariele druk te produceren; Rode evolueerde productief zelf-opbouwend gedrag in plaats van adversariele gedrag. De auteurs stellen een score-voordeel fitnessdoel ($S_{eigen} - S_{tegenstander}$) voor als een noodzakelijke correctie. Wanneer dit doel werd toegepast, werden adversariele dynamiek hersteld, waardoor meetbare wapenwedloop-gedrag mogelijk werd.

3. Grid-World Dynamiek onder Gecorrigeerd Protocol:

   • Fragiliteit van Coöperatieve Baselines: Toen Blauwe vast werd gezet op een eerdere coöperatieve constitutie ($C^*$), kon Rode deze niet overtreffen (gemiddeld voordeel $-0,27$), hoewel het de kloof verkleinde.
   • Defensieve Mechanismen: Het invoeren van een coördinatievereiste voor aanvallen (waarbij aangrenzende bondgenoten nodig zijn voor een hoge succeskans) verminderde het voordeel van Rode aanzienlijk tot $-0,66$, wat aantoont dat mechanismeontwerp kan fungeren als een defensieve hefboom zonder constituties te wijzigen.
   • Informatieasymmetrie: Toen Rode alle agenten observeerde terwijl Blauwe alleen zijn eigen agenten observeerde, domineerde Rode met een eindscore van $+0,415$. Onder volledige informatie convergeerde het systeem naar bijna gelijke sterkte.

4. Aantal Evaluatiezaden en Mode-regressie:
   Bij zuiver-adversariele zoektochten (waarbij Rode geen productiviteitsdoelen heeft, alleen $1 - S_{Blauw}$), controleert het aantal evaluatiezaden ($K$) de mode-regressie. Bij $K=2$ regresseerde de zoektocht; de fitness van Rode verslechterde in de tijd en het herwon productieve regels ondanks een zaad dat deze verbood. Bij $K=5$ stabiliseerde de zoektocht en handhaafde het een sterke adversariele specialist voor alle 30 generaties. Dit identificeert ruis in fitness-schattingen als een primaire drijver van instabiliteit in door LLM geleide adversariele evolutie.

Betekenis en Beweringen
Het artikel beweert niet dat adversariele-geëvolueerde coöperatieve constituties inherent robuuster zijn dan coöperatief-geëvolueerde; een dergelijke bewering vereist transferexperimenten die niet in deze studie zijn uitgevoerd. In plaats daarvan ligt de betekenis van het artikel in:

• Methodologische Diagnose: Het bieden van een kader om constitutionele wapenwedlopen te construeren en te diagnosticeren, waarbij wordt geïdentificeerd wanneer adversariele co-evolutie slaagt (gekoppelde fitness) en wanneer het stil faalt (onafhankelijke scoring, laag evaluatiebudget).
• Red-Team Artefacten: De geëvolueerde Rode constituties dienen als interpreteerbare, in natuurlijke taal gestelde red-team testcases. In tegenstelling tot neurale beleidsplannen zijn dit inspecteerbare regelsets die kunnen worden gebruikt om toekomstige coöperatieve ontwerpen te stress-testen tegen specifieke adversariele strategieën (bijvoorbeeld het uitbuiten van informatieasymmetrie).
• Inzicht in Mechanismeontwerp: Het aantonen dat de uitbetalingsstructuur van het spel (bijvoorbeeld gedeelde potten versus onafhankelijke scoring) de evolutionaire druk bepaalt, en dat eenvoudige mechanismewijzigingen (zoals coördinatievereisten) adversariele strategieën effectief kunnen counteren.

De auteurs concluderen dat adversariele constitutionele co-evolutie haalbaar is, maar strikt afhankelijk is van gekoppelde fitnessfuncties en adequate evaluatiebudgetten ($K \geq 5$) om mode-regressie te voorkomen.