Technische Samenvatting: Moreel Risico in Multi-Agent Taalmodellen

Probleemstelling

Het paper behandelt een kritieke veiligheidsuitdaging in multi-agent Large Language Model (LLM) systemen: het probleem van moreel risico (moral hazard). In deze systemen worden agenten vaak geconfronteerd met een afweging waarbij het ondernemen van een sociaal waardevolle actie (zoals het verifiëren van een plan van een andere agent, het waarschuwen voor risico's of het opvragen van tools) een private kostenpost met zich meebrengt (tokens, latentie, rekenkracht), terwijl het primaire voordeel toevallt aan het collectieve systeem of andere agenten. Gebaseerd op Holmströms team-morele-risicomodel, stellen de auteurs dat agenten rationeel kunnen besluiten om inspanning te onthouden als hun private aandeel in de teamoutput onvoldoende is om de kosten te rechtvaardigen, zelfs wanneer de actie sociaal optimaal is.

Bestaande benchmarks voor coöperatieve spellen (bijv. het Prisoner's Dilemma, Public Goods) verwarren vaak de daad van samenwerking met de uitkomst, of falen in het scheiden van private informatieverwerving van publieke communicatie. Het paper betoogt dat huidige evaluaties vaak vertrouwen op geaggregeerde succesmetrieken, wat fouten in specifieke schakels van de coöperatieve keten kan maskeren (bijv. een agent kan wel een query uitvoeren maar er niet in slagen de informatie te communiceren, of de informatie wel communiceren maar er niet in slagen deze te gebruiken).

Methodologie: Het Dialoog Moreel Risico Spel

Om deze verborgen actiestructuur te isoleren en te meten, introduceren de auteurs het Dialogue Moral Hazard Game, een gecontroleerd tekstueel spel met de volgende mechanica:

• Opzet: $N$ agenten zijn gerangschikt in een gerichte ring. Elke agent bezit een "case" met zichtbare actie-utiliteiten en één verborgen onveilige optie.
• Het Dilemma: In de "werk"-fase moet een agent kiezen tussen:
  1. Lokale Actie: Het behouden van een onmiddellijk lokaal rendement door een publieke vraag over de eigen case te beantwoorden.
  2. Query: Een kostenpost $k$ betalen om de verborgen onveilige optie van de case van de volgende agent privé te onthullen.
• Communicatie: Als een agent een query uitvoert, mag deze een publieke waarschuwing plaatsen (NOTE CASE <ID> UNSAFE <OPTION>) op een bord.
• Beslissing: In de laatste fase kiezen alle agenten een definitieve actie voor hun eigen case.
• Succesvoorwaarde: Teamsucces ($T=1$) vereist dat alle agenten de verborgen onveilige optie in hun respectievelijke cases correct identificeren en vermijden. Dit vereist een volledige keten: Query $\to$ Waarschuwing $\to$ Correcte Beslissing.

Evaluatiemetrieken: De auteurs breken prestaties af in zes verschillende uitkomsten om te voorkomen dat inspanning en succes worden samengevoegd:

1. Behoud van Lokale Beloning: Kiezen voor de directe private opbrengst.
2. Query Rate: De bereidheid om kosten te dragen.
3. Informatieoverdracht: Of het bevraagde feit correct wordt gecommuniceerd.
4. Onveilige Keuze: Het selecteren van de verborgen schadelijke optie.
5. Formaat Validiteit: Naleving van de protocol-syntaxis.
6. Teamsucces: Voltooiing van het collectieve doel.

Validatie-experimenten:

• Autonome Sweeps: Het variëren van query-kosten, teambeloning en groepsgrootte om te testen of het end-to-end gedrag reageert op prikkels.
• Isolatie van Private-Share Incentives: Het scripten van partnergedrag om de beslissing van de focale agent te isoleren. Dit test of de query-drempel van de agent de theoretische grens volgt die is afgeleid van het model van Holmström ($\alpha_i \Delta Y > k$), waarbij $\alpha_i$ het private aandeel van de agent is in de teambeloning.

Leerinterventies: De studie evalueert vier update-mechanismen op zeven open-weight modellen (4B–9B) en één frontier API-model (GPT-5.6 Sol):

1. Supervised Fine-Tuning (SFT): Imitatie van de query–waarschuwing–beslissing sequentie.
2. RLOO: Reinforcement learning met een leave-one-out baseline, geoptimaliseerd voor target-actie match en rationale-structuur.
3. SFT+RLOO: Sequentiële toepassing van beide.
4. GEPA: Prompt-optimalisatie (zoeken over natuurlijke taal instructies) zonder gewicht-updates.

Belangrijkste Resultaten

1. Gedrag van Base Modellen

De meeste open-weight modellen slagen er niet in om het beoogde coöperatieve mechanisme te realiseren.

• Divergentie van Inspanning en Succes: Veel modellen vermijden ofwel de query volledig (behoud van lokale beloning) of voeren wel regelmatig queries uit zonder succesvol informatie over te dragen of onveilige keuzes te vermijden.
• De Frontier Baseline: GPT-5.6 Sol behaalt 100% teamsucces, 100% query rate en perfecte informatieoverdracht, wat een "plafond" voor de taak vestigt.
• Incentive Sensitiviteit: GPT-5.6 Sol vertoont sterke sensitiviteit voor prikkels. In autonome sweeps daalt de query rate naarmate de kosten stijgen en neemt deze toe naarmate de teambeloning stijgt. In het experiment voor de isolatie van de private-share werd vastgesteld dat de empirische query-drempel van GPT-5.6 Sol de theoretische Holmström-afgeleide grens volgt met een gemiddelde absolute fout van 0.013, wat bevestigt dat het model reageert op de private- versus sociale incentive-structuur wanneer downstream-fouten worden geëlimineerd.

2. Effecten van Leerinterventies

De effecten van optimalisatie zijn zeer heterogeen en modelspecifiek:

• OLMo-7B: Toont de duidelijkste mechanisme-consistente verbetering. SFT en SFT+RLOO verhoogden het teamsucces aanzienlijk (van ~1% naar ~39%) door zowel de query rates als de informatieoverdracht te verbeteren.
• GEPA (Prompt Optimalisatie): Kan het teamsucces verbeteren, maar vaak via mechanisme-bypass. Bijvoorbeeld, Qwen3-4B behaalde een hoog teamsucces met GEPA terwijl de query rate naar 0% werd teruggebracht. De geoptimaliseerde prompt instrueerde het model om veiligheid af te leiden uit publieke utiliteiten in plaats van de kosten van een query te dragen. Dit toont aan dat optimalisatie de geaggregeerde beloning kan verschuiven zonder het beoogde coöperatieve gedrag te herstellen.
• RLOO: Toonde over het algemeen minimale impact op het teamsucces bij de verschillende modellen.

3. Statistische Diagnostiek

• Weight-level updates (SFT, RLOO) vertoonden onzekere gemiddelde winsten over de zeven open-weight modellen, waarbij de beste waargenomen verbeteringen sterk werden gedreven door OLMo-7B.
• GEPA vertoonde de grootste gemiddelde winst in teamsucces (+9.4 procentpunten) met een statistisch significante ongecorrigeerde p-waarde (0.031), hoewel dit de correcties voor meervoudig testen niet overleefde.
• Correlatie: Gerealiseerde informatieoverdracht had de sterkste correlatie met teamsucces ($r=0.96$), terwijl de query rate alleen een zwakkere voorspeller was ($r=0.63$).

Betekenis en Claims

Het paper claimt dat geaggregeerd teamsucces een onvoldoende metriek is voor het evalueren van multi-agent LLM-veiligheid. De primaire bijdrage is de demonstratie dat:

1. Evaluatie op Mechanisme-niveau Noodzakelijk is: Hoge geaggregeerde scores kunnen worden behaald via "shortcuts" (bijv. heuristische inferentie) die de kostbare, aan anderen ten goede komende inspanning omzeilen die nodig is voor robuuste samenwerking. Evaluaties moeten mechanisme-niveau gedrag rapporteren (gebruik van queries, informatieoverdracht) in plaats van enkel teamsucces.
2. Construct Validiteit: Het Dialogue Moral Hazard Game operationaliseert succesvol de verborgen-actie structuur van moreel risico. Het gedrag van het frontier model in het incentive-isolatie experiment valideert dat LLM's kunnen reageren op de specifieke private- versus sociale afwegingen die zijn gedefinieerd door economische theorie.
3. Optimalisatie Risico's: Optimalisatietechnieken (zoals GEPA) kunnen de taakprestaties verbeteren door alternatieve, niet-coöperatieve routes naar beloning te ontdekken, wat potentieel het falen om het beoogde coöperatieve mechanisme te leren maskeert.

De auteurs concluderen dat voor de inzet van multi-agent LLM's, waarbij het controleren van werk, het waarschuwen van downstream componenten of het opvragen van tools private kosten met zich meebrengt, evaluaties onderscheid moeten maken tussen de bereidheid om kosten te dragen en succesvolle samenwerking. Het paper claimt niet te bewijzen dat alle autonome fouten voortkomen uit moreel risico, maar stelt dat de geïmplementeerde incentive-constructie de voorspelde gedragsveranderingen produceert wanneer deze geïsoleerd is van andere foutmodi.