Technische Samenvatting: Interne versus Externe Constitutionele Ontwerp voor Multi-Agent Systemen

Probleemstelling

Naarmate Large Language Model (LLM)-agenten steeds vaker worden ingezet in multi-agent omgevingen, rijst een kritische vraag over governance: hoe moeten gedragsconstituties worden vastgesteld? Waar Constitutional AI (Bai et al., 2022) met succes individuele agenten afstemt op vaste, door mensen geschreven principes, introduceren multi-agent systemen strategische interacties en emergente normen die geen enkele agent eenzijdig kan dicteren. Twee verschillende benaderingen zijn ontstaan om deze kloof te dichten:

1. Externe Optimalisatie: Het gebruik van evolutionair zoeken om interpreteerbare constituties offline te ontdekken en deze op agenten op te leggen (Kumar et al., 2026).
2. Interne Deliberatie: Agenten toestaan gezamenlijk regels te schrijven door middel van debat, stemming en zelfbestuur (Koster et al., 2022; Lai et al., 2024).

Vorige werk heeft deze mechanismen niet direct onder gelijke omstandigheden vergeleken. Dit artikel onderzoekt of interne deliberatie of externe evolutie superieure collectieve resultaten oplevert en hoe elke methode reageert wanneer de prikkels voor inzet afwijken van de omstandigheden waaronder de regels werden gecreëerd.

Methodologie

De auteurs voerden een gecontroleerde vergelijking uit over drie verschillende sociale omgevingen met GPT-OSS-120B als ruggengraat van de agenten. Elke simulatie omvatte zes agenten die waren georganiseerd in twee teams van drie, onderworpen aan een "Toezichthouder" die elke 10 beurten de minst bijdragende agent elimineerde, waardoor overlevingsdruk ontstond.

Experimentele Omstandigheden

1. Controle: Geen constitutie; agenten handelen op basis van LLM-priors en instructies in de context.
2. Deliberatie (Interne): Agenten beginnen met een lege constitutie. Elke 10 beurten stellen agenten amendementen voor (maximaal twee per agent), die worden gestemd volgens meerderheidsbesluit. Aangenomen regels binden het vervolgspel.
3. Evolutie (Externe): Constituties worden offline ontdekt via door LLM-gestuurde multi-eiland MAP-Elites-zoekopdracht (Kumar et al., 2026). De resulterende constitutie is vast en wordt tijdens de hele simulatie opgelegd.

Omgevingen

1. Gridworld (Coördinatie): Een ruimtelijke taak van 80 beurten waarbij agenten middelen verzamelen (hout, steen, edelstenen) om team-specifieke constructieprojecten te voltooien onder gedeeltelijke waarneembaarheid. Agenten kunnen aanvallen of stelen.
2. Publieke Goederen Spel (Coöperatie): Een iteratief spel van 40 beurten waarbij agenten tokens toewijzen tussen een privérekening en een gedeelde pool die wordt vermenigvuldigd met een factor $m$. Agenten kunnen ook betalen om anderen te straffen.
3. Bilaterale Handel (Onderhandeling): Een markt van 40 beurten waarbij agenten met privé-bezittingen en waarderingen handel voorstellen, accepteren of afwijzen.

Evaluatiemeter

Prestaties werden gemeten via de Stabiliteitsscore ($S$):
$$S = \max(0, 0.5P + 0.3V - 0.2C)$$
Waarbij $P$ productiviteit is, $V$ het overlevingspercentage, en $C$ conflict/schade.

Het onderzoek omvatte 180 simulatieruns: 90 voor head-to-head vergelijkingen (10 zaden $\times$ 3 omgevingen $\times$ 3 omstandigheden) en 90 voor een multiplier-ablatiestudie in het Publieke Goederen-spel (sweepen van $m \in \{1.5, 1.0, 0.75\}$).

Belangrijkste Bijdragen

1. Gecontroleerde Vergelijking: Een head-to-head evaluatie die aantoont dat evolutie domineert in collectieve-actie-omgevingen (Gridworld en Publieke Goederen), maar geen voordeel biedt in bilaterale handel.
2. Analyse van Prikkelsgevoeligheid: Een multiplier-ablatie die onthult dat het voordeel van evolutie omkeert wanneer prikkels verschuiven. Bij een subrationele multiplier ($m=0.75$) dwingt de geëvolueerde constitutie waardevernietigende coöperatie af, waardoor het de slechtst presterende methode wordt, terwijl deliberatie zich aanpast aan de nieuwe prikkelstructuur.
3. Kwalitatieve Regelanalyse: Een structurele analyse die aantoont dat evolutie convergeert naar gedragsrichtlijnen (uitvoerbare commando's), terwijl deliberatie bestuursbeleid produceert (aspiratieve normen). Cruciaal is dat agenten in 30 deliberatieruns nooit kostbare peer-to-peer straffen hebben voorgesteld, een mechanisme dat evolutie betrouwbaar ontdekt.

Resultaten

1. Head-to-Head Prestaties

• Collectieve Actie (Gridworld & Publieke Goederen): Evolutie presteerde significant beter dan deliberatie en controle.
  • Publieke Goederen: Evolutie ($S=0.472$) versus Deliberatie ($S=0.376$), $p < 0.01$.
  • Gridworld: Evolutie ($S=0.458$) versus Deliberatie ($S=0.319$), $p < 0.01$.
  • Evolutie produceerde ook resultaten met een 5–8$\times$ lagere variantie dan deliberatie.
• Bilaterale Handel: Er werd geen significant verschil gevonden tussen controle, deliberatie en evolutie ($S \approx 0.42\text{--}0.44$). De auteurs schrijven dit toe aan het ontbreken van een dominante strategie in onderhandelingen met privé-informatie, waar case-by-case redenering de bindende beperking is.

2. Ablatie van Prikkelsstructuur (Publieke Goederen)

De geëvolueerde constitutie was geoptimaliseerd voor $m=1.5$. Bij testen op $m=0.75$ (waarbij bijdragen waarde vernietigt):

• Evolutie: De prestaties daalden ten opzichte van andere methoden. De vaste regels ("draag 10 tokens bij", "straf vrijbuiters") dwongen agenten tot coöperatie, zelfs wanneer coöperatie irrationeel was, wat resulteerde in de laagste Stabiliteitsscore ($S=0.477$) vergeleken met deliberatie ($S=0.536$).
• Deliberatie: Presteerde beter dan controle bij alle multiplierwaarden. Omdat agenten de huidige multiplier observeerden, hielden hun voorgestelde regels rekening met de veranderende prikkelstructuur en vermijden ze waardevernietigende coöperatie.

3. De "Straf-Gap"

• Evolutie: Ontdekte kostbare straffen als een kernmechanisme (bijv. "straf niet-bijdragers met 1 token"). Dit sluit aan bij speltheoretische voorspellingen voor het handhaven van coöperatie.
• Deliberatie: In 30 proeven stelden nul deliberatieruns een regel voor waarbij agenten vrijwillig persoonlijke kosten maken om peers te straffen. In plaats daarvan produceerde deliberatie administratief beleid (bijv. drempels voor herverdeling, mentorship, verlaagde straffen) dat vertrouwen stelt in handhaving op framework-niveau of vrijwillige naleving.
• Interpretatie: Zelfbesturende collectieven zijn structureel terughoudend om sancties tegen hun eigen leden te wetgeven, terwijl externe optimalisatoren geen dergelijke beperking ondervinden en convergeren naar de handhavingsmechanismen die de objectieve functie maximaliseren.

Betekenis en Claims

Het artikel stelt een fundamentele afweging voor tussen piekprestaties en structurele responsiviteit:

• Externe Optimalisatie (Evolutie): Bereikt hogere pieken in stabiele, goed gekarakteriseerde omgevingen die worden gedomineerd door duidelijke sociale dilemma's (zoals publieke goederen). Deze regels zijn echter broos; ze falen wanneer de prikkels voor inzet verschuiven, omdat de regels vaste artefacten zijn die zijn geoptimaliseerd voor een specifieke staat.
• Interne Zelfbestuur (Deliberatie): Ruilt piekprestaties in voor structurele responsiviteit. Delibererende agenten passen hun regels aan aan de huidige omgeving, maar falen in het ontdekken van de "harde" handhavingsmechanismen (zoals kostbare straffen) die nodig zijn om bepaalde dilemma's optimaal op te lossen.
• Hybride Potentieel: De auteurs suggereren dat de meest veelbelovende weg vooruit een hybride mechanisme is: het offline evolueren van een initiële steiger om handhavingsontdekkingen vast te leggen, gevolgd door het toestaan van deliberatie om deze aan te passen naarmate de omstandigheden veranderen.

Het onderzoek concludeert dat externe optimalisatie wint op "pieken" in statische collectieve-actie-omgevingen, terwijl interne zelfbestuur een duidelijk voordeel biedt in dynamische omgevingen waar prikkels niet vaststaan, mits het systeem niet afhankelijk is van de specifieke handhavingsmechanismen die agenten terughoudend zijn om voor zichzelf te wetgeven.