Technische Samenvatting: Evoluerende Interpreteerbare Constituties voor Multi-Agent Coördinatie

1. Probleemstelling

Constitutional AI (CAI) heeft succesvol de uitlijning van single-model taalagenten gerealiseerd met behulp van vaste, door mensen geschreven principes (bijv. "wees behulpzaam, ongevaarlijk, eerlijk"). Echter, dit paradigma gaat ervan uit dat principes die in isolatie effectief zijn, ook schalen naar multi-agent systemen. De auteurs stellen dat in multi-agent omgevingen strategische prikkels de doelconflicten kunnen versterken, wat leidt tot emergente normen en coördinatiefouten, zelfs zonder expliciete adversariële doelstellingen.

De kernuitdaging is dat abstracte ethische principes onvoldoende operationele sturing bieden wanneer agenten te maken krijgen met afwegingen tussen zelfbehoud en collectief welzijn. Recente empirische bewijzen suggereren dat frontier LLM's zich in dergelijke conflicten mogelijk schuldig maken aan schadelijk gedrag (sabotage, afpersing). Bijgevolg zijn handmatig ontworpen constituties fundamenteel beperkt voor multi-agent uitlijning, wat een aanpak noodzakelijk maakt die governance-regels specifiek optimaliseert voor multi-agent dynamiek in plaats van enkel te vertrouwen op statische ethische regels.

2. Methodologie: Constitutionele Evolutie

Het paper stelt Constitutionele Evolutie voor, een framework dat gebruikmaakt van LLM-gestuurde evolutionaire zoektochten om automatisch gedragsnormen te ontdekken zonder de modelgewichten bij te werken.

2.1 Simulatieomgeving

Het framework wordt geëvalueerd in een 6×6 grid-world simulatie met 6 LLM-agenten verdeeld over twee teams (Shelter en Market).

• Doelstellingen: Agenten moeten middelen verzamelen (hout, steen, edelstenen) om teamprojecten te voltooien terwijl ze overleven tijdens periodieke eliminaties.
• De Overseer Mechaniek: Elke 10 beurten wordt de agent met de laagste cumulatieve bijdrage (geleverde grondstoffen) geëlimineerd. Dit creëert een relatief fitnesslandschap waarbij overleving afhangt van het presteren boven je teamgenoten, wat spanning creëert tussen individueel overleven en collectieve productiviteit.
• Restricties: Agenten opereren onder partiële observeerbaarheid (3×3 nabijheid), waardoor communicatie strategisch waardevol is maar ook een potentiële bron van inefficiëntie vormt.

2.2 Optimalisatieframework

Het systeem behandelt de constitutie (een set natuurlijke taalregels) als een optimaliseerbaar object.

• Definitie van de Constitutie: Een set regels $\{r_1, \dots, r_k\}$, elk met een naam, natuurlijke taalbegeleiding en een expliciet prioriteitsniveau. Agenten passen regels toe in volgorde van prioriteit.
• Stabiliteitsscore ($S$): Een scalaire metriek die drie dimensies aggregeert:
  • Productiviteit ($P$): Genormaliseerde projectvoltooiing (Utilitaristisch doel).
  • Overleving ($V$): Fractie van levende agenten (Rawlsiaans doel).
  • Conflict ($C$): Frequentie van agressieve acties (Strafpunt).
  • Formule: $S = \max(0, \alpha P + \beta V - \gamma C)$, met gewichten $\alpha=0.5, \beta=0.3, \gamma=0.2$.
• Evolutionair Algoritme:
  • Multi-Island Architectuur: Drie onafhankelijke populaties evolueren parallel om lokale optima te vermijden. De top 20% van elke populatie migreert elke 5 iteraties naar naburige eilanden.
  • Optimizer: Gebruikt OpenEvolve waarbij LLM's fungeren als mutatie-operators om regelwijzigingen voor te stellen op basis van gedragslogs.
  • Proces: Draait gedurende 30 iteraties en selecteert de constitutie ($C^*$) met de hoogste verwachte stabiliteitsscore.

3. Belangrijkste Bijdragen

1. Framework voor Automatische Normontdekking: Introductie van Constitutionele Evolutie, die effectieve multi-agent constituties ontdekt via simulatiefeedback in plaats van menselijke voorschriften.
2. Interpreteerbare Regelsets: In tegenstelling tot black-box neurale policies zijn de geëvolueerde constituties symbolisch, menselijk leesbare regels die directe inspectie van coördinatiestrategieën mogelijk maken.
3. Empirische Validatie van Evolutie boven Ontwerp: Demonstratie dat evolutionaire optimalisatie zowel door mensen ontworpen principes als one-shot LLM-gegenereerde regels overtreft in complexe multi-agent settings.

4. Experimentele Resultaten

De studie vergeleek vier benaderingen: Zero-Sum (adversarieel), HHH (door mensen ontworpen "Helpful, Harmless, Honest"), LLM-Generated (one-shot ontwerp door Claude 4.5 Opus), en de Geëvolueerde Constitutie ($C^*$).

4.1 Prestatie-metrieken

• Stabiliteitsscore ($S$):
  • Zero-Sum: 0.000 (Maatschappelijke instorting).
  • HHH: 0.249.
  • LLM-Generated: 0.332.
  • Geëvolueerd ($C^*$): 0.556 ± 0.008.
  • Verbetering: $C^*$ vertegenwoordigt een verbetering van 123% ten opzichte van de HHH-baseline en een verbetering van 67% ten opzichte van de LLM-Generated baseline.

4.2 Gedragsinzichten

• Productiviteit vs. Communicatie: De meest contra-intuïtieve bevinding is de inverse relatie tussen communicatie en productiviteit.
  • HHH: 62,2% van de acties waren sociaal/communicatief; Productiviteit was 30%.
  • Geëvolueerd ($C^*$): 0,9% van de acties waren sociaal; Productiviteit was 91%.
  • Resultaat: Het minimaliseren van communicatie verminderde sociale acties met 98,6% terwijl de productiviteit met 203% toenam ten opzichte van HHH.
• Eliminatie van Conflict: $C^*$ bereikte nul conflict, terwijl de LLM-Generated baseline nog steeds 9% conflict vertoonde.
• Regelspecificiteit: De geëvolueerde regels waren operationeel specifiek (bijv. "Depositeer benodigde middelen onmiddellijk") in plaats van abstract (bijv. "Wees behulpzaam"). Dit verminderde de gedragsvariantie van $\sigma=0.05$ (HHH) naar $\sigma=0.008$ ($C^*$).

4.3 Ablatie-studies

• Multi-Island vs. Single-Island: Single-island runs vertoonden een hoge variantie en raakten vaak gevangen in lokale minima (bijv. een "communicatieval" met $S=0.255$). Multi-island evolutie bereikte consistent hogere scores ($S \approx 0.55$) door diversiteit te behouden en kruisbestuiving van succesvolle regels toe te staan.

5. Betekenis en Claims

Het paper claimt dat multi-agent uitlijning fundamenteel profiteert van automatische constitutionele optimalisatie in plaats van handmatig ontworpen ethische principes.

• Operationele Specificiteit: De resultaten suggereren dat concrete, geprioriteerde regels (bijv. "Depositeer Eerst") superieur zijn aan abstracte principes omdat ze direct mappen naar uitvoerbare acties, waardoor beslissingsambiguïteit wordt geëlimineerd.
• Impliciete Coördinatie: De studie demonstreert dat coöperatieve normen ontdekt kunnen worden in plaats van voorgeschreven. Agenten die consistente, specifieke regels volgen, bereiken impliciete coördinatie door voorspelbaar gedrag, waardoor expliciete communicatie grotendeels overbodig en vaak zelfs nadelig wordt.
• Interpreteerbaarheid: De geëvolueerde constituties blijven volledig interpreteerbaar, wat practitioners in staat stelt om de ontdekte sociale contracten te auditeren en te wijzigen, wat een sleuteluitdaging aanpakt bij het verifiëren van de doelen van AI-systemen.

De auteurs concluderen dat hoewel hun omgeving vereenvoudigd is, het framework een schaalbaar pad biedt naar het ontdekken van contextspecifieke gedragsnormen voor multi-agent AI-systemen, bewegend voorbij de beperkingen van statische, single-agent uitlijningsparadigma's.