Technische Samenvatting: Mechanismeontwerp is niet voldoende: Prosociale Agenten voor Coöperatieve AI

1. Probleemstelling

Naarmate AI-agenten steeds autonomer worden, zullen ze opereren in gedeelde omgevingen die samenwerking vereisen (bijvoorbeeld toewijzing van middelen, samenwerkingsprojecten). Een centrale uitdaging in AI-veiligheid is het waarborgen dat deze agenten voordelig gedragen wanneer ze interageren met andere partijen. Hoewel mechanismeontwerp—de theorie van het ontwerpen van regels om individuele prikkels af te stemmen op collectieve doelen—is toegepast op multi-agent systemen, blijft het een open vraag of dit voldoende is om het maatschappelijk welzijn te maximaliseren in complexe, open-ended omgevingen.

Het artikel betoogt dat het uitsluitend vertrouwen op mechanismeontwerp ontoereikend is vanwege de fundamentele beperkingen van contractonvolledigheid. In realistische scenario's is het onmogelijk om regels te specificeren en af te dwingen voor elke relevante toekomstige contingency. Wanneer contracten niet kunnen onderscheiden tussen alle relevante toekomstige toestanden, ontstaat er een "samenwerkingskloof" waarbij zelfbelangstellende agenten falen om sociaal optimale uitkomsten te bereiken, ongeacht hoe goed het mechanisme is ontworpen.

2. Methodologie

Theoretisch Kader

De auteurs formaliseren de beperkingen van mechanismeontwerp met behulp van theorie van onvolledige contracten (Grossman, Hart en Moore).

• Oncontracteerbare Cellen: Zij definiëren een partitie van toekomstige toestanden waarbij een mechanisme niet efficiënt kan onderscheiden tussen toestanden die verschillende welzijnsmaximerende acties vereisen.
• Strenge Oncontracteerbaarheid: Een eigenschap waarbij, binnen een set van toestanden (een cel), geen enkel actieprofiel first-best is voor alle toestanden, en de welzijnsmaximerende actie varieert binnen de cel.
• De Samenwerkingskloof: Zij bewijzen dat in omgevingen die strenge oncontracteerbaarheid vertonen binnen een structuur van een sociaal dilemma, geen enkel toelaatbaar mechanisme het welzijnsverlies veroorzaakt door zelfbelangstellend spel kan elimineren. Het verwachte welzijnsverlies is strikt positief ($\Delta(M) > 0$).
• Prosociale Agenten: Zij modelleren agenten met $\lambda$-coöperatieve voorkeuren, waarbij de nutfunctie van een agent een gewogen term voor het totale maatschappelijk welzijn bevat: $V_i^\lambda = u_i + \lambda W$.
  • $\lambda = 0$: Zelfbelangstellende agent.
  • $\lambda > 0$: Prosociale agent.
  • $\lambda \to \infty: Teamspel (maximaliseren van het totale welzijn).

De theorie toont aan dat, hoewel mechanismen de kloof in oncontracteerbare gebieden niet kunnen dichten, voldoende prosociale agenten (met een groot genoeg $\lambda$) de welzijnsterm kunnen internaliseren, waardoor ze effectief de sociaal optimale actie kiezen, zelfs wanneer het mechanisme de toestanden niet kan onderscheiden.

Experimentele Opstelling

De theoretische claims worden empirisch gevalideerd met behulp van Large Language Models (LLM's) in twee benchmark-omgevingen:

1. TableGames (GT-HarmBench): Breidt het Gevangenisdilemma en het Staghunt-spel uit naar een 4x4 moreel gevaar (moral hazard) setting.
   • Agenten kiezen een basisactie (Samenwerken/Defecteren) en een niet-observeerbaar inspanningsniveau (Hoog/Laag).
   • De niet-observeerbare inspanning creëert een oncontracteerbare cel, aangezien het mechanisme alleen het resultaat kan observeren, niet de ingezette inspanning.
2. GovSimContract: Een multi-agent simulatie van gemeenschappelijk beheer waarbij agenten vissen uit een gedeelde, regenererende vijver.
   • Bevat deterministische (bekende regeneratiesnelheid) en stochastische (onbekende, willekeurige regeneratiesnelheid) regimes.
   • Stochastische regeneratie introduceert oncontracteerbaarheid met betrekking tot de toekomstige beschikbaarheid van middelen.

Geteste Condities:

• Contractregimes: Geen Contract, Natuurlijke Taal (NL) Contract (niet afgedwongen), en Code Contract (afdwingbaar via Python-code).
• Agenttypes: Zelfzuchtig ($\lambda=0$) versus Prosociaal ($\lambda \to \infty$).
• Modellen: GPT-4o, GPT-5.4, GPT-5.4 Mini, Gemma-4-31B, en Grok-4.1-Fast.

3. Belangrijkste Bijdragen

1. Formalisatie van Contractonvolledigheid: Het artikel biedt een formalisatie van contractonvolledigheid als een partitie over toekomstige toestanden, met benadrukking van de relevantie voor algoritmisch mechanismeontwerp, waarbij volledige contracteerbaarheid vaak wordt verondersteld.
2. Bewijs van de Samenwerkingskloof: De auteurs bewijzen dat onder oncontracteerbare cellen met een structuur van een sociaal dilemma, geen realistisch mechanisme het welzijnsverlies door zelfbelangstellend spel kan elimineren (Stelling 6). Dit verlies is inherent aan de probleemstructuur, niet een tekortkoming van een specifiek mechanisme.
3. Prosocialiteit als Oplossing: Zij tonen aan dat $\lambda$-coöperatieve agenten deze kloof kunnen dichten. Prosociale agenten internaliseren de kosten van defecteren voor anderen, waardoor ze sociaal superieure uitkomsten bereiken die ook individueel voordelig zijn in strikte sociale dilemma's (Stelling 9).
4. Empirische Validatie: Het artikel levert bewijs dat de theoretische samenwerkingskloof zich in de praktijk manifesteert bij geavanceerde LLM's. Het toont aan dat, hoewel contracten samenwerking stimuleren, prosocialiteit extra winsten oplevert die contracten alleen niet kunnen bereiken.
5. Analyse van Contracteervaardigheid: De studie test het vermogen van LLM's om te coördineren rond contracten, en vindt dat hoewel ze verbeteren ten opzichte van baselines, huidige modellen nog steeds tekortschieten ten opzichte van het theoretisch optimale contract, met name in complexe (4x4) of stochastische omgevingen.

4. Resultaten

• De Kloof Bestaat: In 4x4 TableGames (waarbij inspanning oncontracteerbaar is), faalden zelfs de sterkste "Code Contracten" om de samenwerkingskloof te dichten. De kloof bedroeg ongeveer 60–68 procentpunten in welzijnsefficiëntie ten opzichte van het sociale optimum.
• Prosocialiteit Presteert Beter dan Contracten: In oncontracteerbare regimes (4x4 spellen en stochastische GovSim) bereikten prosociale agenten aanzienlijk hogere collectieve winsten, overlevingspercentages en duurzaamheid van middelen dan zelfzuchtige agenten, ongeacht het contractregime.
• Substitutie versus Complementariteit:
  • In contracteerbare omgevingen (bijvoorbeeld 2x2 spellen, deterministische GovSim) fungeren contracten en prosocialiteit als substituten; sterke contracten vangen het grootste deel van het beschikbare welzijn op.
  • In oncontracteerbare omgevingen fungeren ze als complementen; contracten kunnen de kloof niet dichten, en prosocialiteit is vereist om het verloren welzijn terug te winnen.
• Modelgedrag:
  • De meeste geavanceerde modellen (GPT-5.4, GPT-5.4 Mini, Gemma-4, Grok-4.1) vertoonden een bijna-nul impliciete prosocialiteit ($\hat{\lambda} \approx 0$) wanneer ze werden geprompt om zelfbelangstellend te zijn.
  • GPT-4o was een uitschieter, met een niet-nul geschatte prosocialiteit ($\hat{\lambda} \ge 4.10$), hoewel het nog steeds moeite had met het opstellen van complexe contracten.
  • LLM's stelden vaak suboptimale contracten op (bijvoorbeeld overdreven voorzichtige plafonds in deterministische GovSim) of slaagden er niet in om inefficiënte contracten te heronderhandelen.

5. Betekenis en Implicaties

Het artikel concludeert dat het ontwerpen van adequate mechanismen niet voldoende is om coöperatieve interacties op schaal mogelijk te maken. Wanneer omgevingen complex genoeg zijn dat contracten onvermijdelijk onvolledig zijn, worden de intrinsieke waarden van agenten een vereiste voor coöperatief gedrag, geen optionele toevoeging.

• AI-Veiligheid: De bevindingen bieden formele motivatie voor het bouwen van intrinsiek prosociale AI-agenten. Zonder dergelijke intrinsieke uitlijning kunnen welzijnswinsten niet worden gerealiseerd in settings met onvolledige contracten.
• Ontwerpparameters: Prosocialiteit wordt gepresenteerd als een meetbare ontwerpparameter ($\lambda$). Systeemontwerpers kunnen de minimale prosocialiteit berekenen die vereist is voor een gegeven interactiestructuur, in plaats van coöperativiteit te behandelen als een binair keuzemogelijkheid.
• Verificatie: Het werk suggereert de noodzaak van verificatiemethoden om de coöperativiteit van een agent te certificeren voor tegenpartijen, aangezien prosociale agenten uitbuitbaar zijn door zelfzuchtige agenten zonder dergelijke certificering.

De auteurs merken bescheiden beperkingen op, zoals de kwetsbaarheid van eenvoudige prosociale checks voor zelfzuchtige agenten en de huidige afhankelijkheid van prompt-gebaseerde implementatie van prosocialiteit, wat toekomstig werk suggereert op het gebied van mechanistische interpretatie en diepere modelintegratie.