Technische Samenvatting: Tacit Coördinatie van Large Language Models

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in multi-agent systemen waarbij coördinatie moet plaatsvinden zonder directe communicatie, variërend van mens-AI-interactie tot scenario's met hoge inzet zoals zoek- en reddingsoperaties (search and rescue). In dergelijke settings moeten agenten convergeren op een enkele uitkomst uit vele formeel equivalente opties. Terwijl mensen dit routinematig oplossen via focale punten—saliente oplossingen die van nature opvallen door gedeelde culturele of perceptuele aanwijzingen—staan LLM's voor aanzienlijke onzekerheid.

Het kernprobleem dat wordt behandeld is of LLM's even effectief kunnen coördineren als mensen, hoe hun begrip van "salientie" verschilt van de menselijke intuïtie, en of specifieke prompting-strategieën het gedrag van LLM's kunnen afstemmen op menselijke verwachtingen. De auteurs benadrukken twee primaire risico's: (1) falende mens-AI-coördinatie als de salientie van de LLM afwijkt van de menselijke salientie, en (2) falende AI-AI-coördinatie als verschillende modellen conflicterende opvattingen over salientie coderen.

Methodologie

De studie maakt gebruik van een grootschalige evaluatie over meer dan 20 open- en closed-source LLM's, waarbij hun prestaties worden vergeleken met menselijke baselines in drie verschillende experimentele settings:

1. Amsterdam en Nottingham Coördinatiespellen: Puur coöperatieve, symmetrische spellen waarbij deelnemers kiezen uit een set opties (bijv. getallen of locaties) om met een partner overeen te komen. De studie maakt gebruik van datasets van Bardsley et al. (2010) met ongeveer 50 menselijke participanten. LLM's werden getest onder drie instructiemodi: "pick" (kies een antwoord), "guess" (voorspel de keuze van een ander) en "coordinate" (expliciete tacit coördinatie).
2. De Onderhandelingstafel (The Bargaining Table): Een semi-competitief spel waarbij twee spelers schijven aan zichzelf of aan een tegenstander toewijzen. Coördinatie is vereist om boetes te vermijden, maar spelers maximaliseren ook hun individuele nut. Deze opzet test coördinatie onder uitbetalingsasymmetrie.
3. Zoek- en Reddingsmissies (Search & Rescue - SAR): Een ruimtelijke redeneertaak waarbij een LLM een coördinaat voorspelt voor een vermiste wandelaar op basis van een terreinkaart. De grondwaarheid (ground truth) wordt tijdens de inferentie achtergehouden. De studie classificeert incidenten als "focal" als de ware locatie overeenkomt met saliente terreinkenmerken (bijv. kruispunten van paden, kustlijnen).

Metrics:

• Coordination Index (CI) en Normalised Coordination Index (NCI): Gebruikt om de waarschijnlijkheid te meten dat agenten dezelfde strategie kiezen.
• Payoff en Social Welfare: Gebruikt in de Onderhandelingstafel om economische uitkomsten te meten.
• Euclidische Afstand: Gebruikt in SAR om de voorspellingsfout tegen de grondwaarheid te meten.

Interventies:
De auteurs testten verschillende "learning-free" prompting-strategieën om coördinatie te verbeteren:

• Saliency: Het model vragen de optie te kiezen die het meest salient is voor mensen.
• All-features: Het model vragen te redeneren over specifieke focaliteitprincipes (uniciteit, centraliteit, extremiteit).
• Culture: Het model vragen de optie te kiezen die het meest cultureel relevant is voor mensen.
• Reasoning Depth: Het variëren van het niveau van Chain-of-Thought (CoT) redenering (laag, medium, hoog).

Belangrijkste Bijdragen en Resultaten

1. LLM's vertonen sterke tacit coördinatie, vaak superieur aan mensen

Over de Amsterdam en Nottingham datasets heen, kwamen LLM's regelmatig overeen met of presteerden ze beter dan menselijke baselines, met name in de "pick" conditie. Er ontstonden echter prestatiekloven in taken die genuanceerde culturele context vereisten (bijv. specifieke Nottingham-vragen), waarbij mensen cultureel specifieke aanwijzingen gebruikten die LLM's misten.

2. Structurele Bias versus Culturele Nuance

Analyse van focale puntprincipes (Kraus et al., 2000) onthulde onderscheidende gedragsprofielen:

• Mensen: Gebruiken een breed scala aan principes, inclusief extremiteit en culturele context, en wijzigen strategieën op basis van de instructie (bijv. "pick" vs. "coordinate").
• LLM's: Vertonen een sterke bias naar centraliteit en structurele regelmaat (bijv. het selecteren van de middelste optie of de eerste optie in een lijst). In de Nottingham dataset leidde deze bias tot fouten waar menselijke salientie werd gedreven door niet-structurele aanwijzingen.

3. Redeneerdiepte garandeert geen betere coördinatie

In tegenstelling tot de hypothese dat meer deliberatie de coördinatie verbetert, leidde het verhogen van het redeneringsniveau (CoT-diepte) in modellen zoals GPT-oss-120B niet tot een verbeterde NCI of payoff. In sommige gevallen leidde diepere redenering tot uitgebreide rationales die instortten tot willekeurige positionele heuristieken (bijv. het selecteren van het eerste item in een gepermuteerde lijst), wat de prestaties verslechterde.

4. De effectiviteit van Culturele Prompting

De "culture" prompting-techniek was de enige interventie die de coördinatie substantieel verbeterde over heterogene modellen heen, waarbij LLM's vaak in staat waren om menselijke prestaties te evenaren of te overtreffen in zowel Amsterdam als Nottingham. Dit suggereert dat het expliciet bijsturen van modellen naar cultureel relevante salientie de kloof tussen model en menselijk gedrag kan overbruggen.

5. Prestaties in Semi-Competitieve en Ruimtelijke Settings

• Onderhandelingstafel: LLM's (specifiek GPT-oss-120B) gedroegen zich vergelijkbaar met coöperatieve agenten, waarbij ze een hoge sociale welvaart bereikten en betwiste toewijzingen minimaliseerden. Grotere modelgroottes correleerden met betere coördinatie en payoffs.
• Zoek- en Reddingsmissies (SAR): Behavior-aware prompting verbeterde de voorspellingsnauwkeurigheid alleen wanneer de ware locatie inherent focal was (verbonden aan saliente terreinkenmerken). Bij niet-focale incidenten bood prompting geen voordeel en verslechterde het soms de prestaties, wat de conditionele aard van focal-point redeneren benadrukt.

Betekenis en Claims

Het artikel claimt de eerste grootschalige evaluatie te bieden van hoe focale punten ontstaan in LLM's, en biedt nieuwe inzichten in de latente concepten van salientie die binnen deze modellen zijn gecodeerd.

• Capaciteit: LLM's bezitten een opmerkelijk vermogen om te coördineren zonder communicatie, waarbij ze vaak menselijke prestaties evenaren of overtreffen in gestructureerde omgevingen.
• Beperking: LLM's missen de diepe culturele en perceptuele substantie van mensen, wat leidt tot systematische fouten in taken die een genuanceerde culturele salientie vereisen.
• Implicatie voor Implementatie: De auteurs waarschuwen ervoor om er niet vanuit te gaan dat LLM's dezelfde culturele contexten delen als mensen in coördinatiesituaties. Succes hangt af van het afstemmen van model-salientie op de taakstructuur.
• Praktisch Inzicht: Eenvoudige, "learning-free" prompts (met name "culture") kunnen de mens-AI en AI-AI coördinatie aanzienlijk verbeteren zonder dat daarvoor fine-tuning of reinforcement learning nodig is.

De studie concludeert dat tacit coördinatie in LLM's het beste begrepen kan worden als impliciete sociale en ruimtelijke modellering. De primaire uitdaging voor gemengde mens-AI systemen is niet louter het vergroten van de redeneerdiepte, maar het afstemmen van wat de agenten als salient ervaren met menselijke verwachtingen.