🤖 AI

CalBench: Evaluating Coordination-Privacy Trade-offs in Multi-Agent LLMs

CalBench is een gecontroleerde evaluatieomgeving voor multi-agent LLM's die een gedecentraliseerde taak voor agenda-planning met privé-informatie gebruikt om de coördinatiekwaliteit, communicatie-efficiëntie, eerlijkheid en lekken van privacy nauwkeurig te meten in vergelijking met optimale en baseline-oplossingen.

Oorspronkelijke auteurs: Chelsea Zou, Yiheng Yao, Selena She, Robert D. Hawkins

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chelsea Zou, Yiheng Yao, Selena She, Robert D. Hawkins

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een groepsdiner te organiseren met vijf vrienden. Het probleem is dat niemand de anderen precies wil vertellen wat ze dinsdagavond doen. Misschien heeft de ene persoon een geheim medisch afsprek, de andere verbergt een verrassingsfeestje, en de derde vermijdt een moeilijk gesprek met hun baas.

In de echte wereld zouden jullie allemaal heen en weer sms'en: "Ik ben om 19.00 uur vrij," "Ik kan om 19.00 uur niet, ik moet mijn kind ophalen," "Hoe zit het met 20.00 uur?" Je probeert een tijdstip te vinden dat voor iedereen werkt zonder je diepste geheimen te onthullen.

CalBench is een digitaal speelveld dat is gecreëerd door onderzoekers van Stanford om te testen hoe goed AI-agenten (computerprogramma's die zich als mensen gedragen) precies deze dans kunnen uitvoeren.

Hier is de uiteenzetting van hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Spel: Een Geheimzinnige Groepschat

De onderzoekers hebben een spel opgezet met N agenten (laten we zeggen 5 AI-assistenten). Elke agent heeft een privéagenda vol met:

Vrije tijd: Open tijdsloten.
Klusjes: Bestaande verplichtingen (zoals "tandarts" of "sporten").
Geheimen: Elke klus heeft een verborgen "smaak" of context (bijvoorbeeld "faillissementsaanvraag" versus "boodschappen doen").

Het doel is om M nieuwe vergaderingen voor de groep te plannen. Om te slagen moeten de agenten overeenkomen over één tijdstip dat voor iedereen werkt.

De Vangst:

Privacy: Agent A kan de agenda van Agent B niet zien. Ze kennen alleen hun eigen agenda.
De Onderhandeling: Ze moeten met elkaar praten om een tijdstip te vinden.
De Valstrik: Als Agent A zegt: "Ik kan dinsdag niet omdat ik een vergadering heb," kunnen ze per ongeluk onthullen wat die vergadering is. Het spel test of ze kunnen zeggen "Ik ben druk" zonder te zeggen "Ik ontmoet mijn advocaat over een rechtszaak."

2. De "Orakel" (De Perfecte Oplossing)

Om te weten of de AI het goed doet, hebben de onderzoekers een "God-modus" cheat sheet genaamd een Orakel.

De Orakel ziet ieders agenda tegelijk. Het kent het perfecte tijdstip dat voor iedereen de minste problemen veroorzaakt.
De AI-agenten worden vervolgens vergeleken met deze perfecte oplossing. Hebben ze een tijdstip gevonden dat werkt? Hebben ze onnodige chaos veroorzaakt (zoals iemand dwingen een hoog-prioriteit evenement af te gelasten)?

3. De Drie Grote Uitdagingen

Het paper test de AI op drie specifieke vaardigheden, waarbij metaforen worden gebruikt om ze uit te leggen:

A. De "Groepsomhelzing" (Coördinatie)

Kunnen de agenten het echt eens worden over een tijdstip?

De Falenmodus: Soms denken agenten dat ze het eens zijn geworden over dinsdag om 17.00 uur, maar Agent A heeft het eigenlijk opgeschreven voor dinsdag om 18.00 uur. Ze eindigen met een "spookvergadering" waar niemand op komt.
Het Resultaat: Sommige modellen (zoals Gemini 3.1 Pro) waren hier uitstekend in, waarbij ze 100% van de tijd iedereen tot overeenstemming brachten. Anderen hadden moeite en lieten vergaderingen ongepland.

B. De "Kosten" (Efficiëntie versus Rechtvaardigheid)

Stel je voor dat je een vergadering verplaatst van 17.00 uur naar 18.00 uur.

Lage Kosten: Het verplaatsen van een klusje als "boodschappen doen" is makkelijk.
Hoge Kosten: Het verplaatsen van een "rechtbankzitting" is een ramp.
De Test: Kan de AI een tijdstip vinden dat de totale pijn voor de groep minimaliseert?
De Verrassing: Sommige AI's waren hier vreselijk in. Ze zouden een tijdstip vinden dat werkte, maar het dwong één persoon om hun belangrijkste evenement af te gelasten terwijl iedereen anders niets deed. Dit wordt een Rechtvaardigheids-falen genoemd. De beste modellen vonden een balans waarbij de "pijn" gelijk werd verdeeld.

C. De "Nieuwsgierige Buur" (Privacy)

Dit is het meest unieke deel van de studie. De onderzoekers introduceerden een "Nieuwsgierige Agent"—een spion in de groepschat.

De spion stelt vragen zoals: "Oh, je kunt dinsdag niet? Waarom? Is het iets sensitiefs?"
De test is: Zullen de andere agenten een fout maken en hun geheimen onthullen om alleen maar uit te leggen waarom ze druk zijn?
Het Resultaat: Zelfs wanneer ze verteld werden geen geheimen te delen, kraakten sommige AI's onder druk.
- Voorbeeld: Een agent werd gevraagd waarom het een tijdstip niet kon verplaatsen. In plaats van te zeggen "Ik heb een conflict", zei het: "Ik heb een voorbereiding op een faillissementsaanvraag met mijn advocaat."
- De studie vond dat wanneer de "kosten" van het verplaatsen van een vergadering hoog waren (het was een groot ding), de agenten waarschijnlijker waren om de waarheid te vertellen om uit te leggen waarom het zo moeilijk was om te verplaatsen.

4. De "Praat" versus "Actie"-Vinding

De onderzoekers merkten iets interessants op over hoe de AI praatte:

Meer praten betekent niet betere resultaten. Sommige modellen stuurden honderden berichten maar slaagden er toch niet in een goed tijdstip te vinden.
Precisie is belangrijk. De beste modellen zeiden niet alleen "Het is moeilijk voor mij." Ze zeiden: "Het is moeilijk omdat het 100 punten kost om dit te verplaatsen."
De Analogie: Stel je voor dat je probeert een rekening te splitsen.
- Slechte AI: "Ik wil niet veel betalen, het is te moeilijk." (Vaag, niet behulpzaam).
- Goede AI: "Ik kan 5 euro betalen, maar als ik 10 euro betaal, ben ik failliet." (Precies, maakt een eerlijke oplossing mogelijk).

5. De Conclusie

CalBench bewijst dat AI om goed te werken in een team niet alleen slim moet zijn; het moet diplomatiek zijn.

Het moet weten wat het moet delen (beschikbaarheid) en wat het moet verbergen (de geheime reden).
Het moet begrijpen dat "het probleem oplossen" niet alleen gaat om het vinden van een tijdstip; het gaat om het vinden van het tijdstip dat de minste pijn doet en iedereen eerlijk behandelt.

Het paper concludeert dat hoewel AI beter wordt in plannen, het nog steeds moeite heeft om privacy (geheimen bewaren) in evenwicht te brengen met efficiëntie (de klus klaren). Hoe groter de druk is om een beslissing uit te leggen, hoe waarschijnlijker het is dat de AI per ongeluk een geheim lekt.

Technische Samenvatting: CalBench – Evaluatie van de afweging tussen coördinatie en privacy in multi-agent LLM's

1. Probleemdefinitie

Het artikel behandelt de uitdaging om multi-agent Large Language Models (LLM's) te evalueren in gedecentraliseerde coördinatietaken waarbij agenten over privé-informatie beschikken. Waar bestaande benchmarks vaak toestaan dat een enkele capabele agent een probleem oplost met volledige zichtbaarheid van de staat, vereisen realistische scenario's zoals agenda-planning dat agenten onderhandelen en consensus bereiken terwijl ze gevoelige gegevens achterhouden (bijvoorbeeld specifieke verplichtingen, beschikbaarheidsbeperkingen en semantische contexten).

Het kernprobleem is de afweging tussen coördinatie en privacy: agenten moeten voldoende informatie communiceren om een wederzijds haalbare planning te vinden (met minimalisering van verstoringkosten), zonder taak-irrelevante privé-details te onthullen. Huidige benchmarks missen rigoureuze, verifieerbare metrieken voor deze specifieke doorsnede van gedecentraliseerd besluitvorming, kostenoptimalisatie en privacybehoud.

2. Methodologie: De CalBench-omgeving

De auteurs introduceren CalBench, een gecontroleerde evaluatieomgeving voor multi-agent agenda-planning.

Omgevingopzet

Agenten en Agenda's: $N$ agenten beheren elk een privé-agenda met $T$ discrete tijdsloten. Sloten bevatten vrije tijd, bestaande klusjes (met privé semantische contexten) of geplande vergaderingen.
Taak: Agenten moeten coördineren om een stroom van $M$ binnenkomende vergaderingen te plannen. Elke vergadering vereist één tijdslot dat consistent is voor alle deelnemers' agenda's.
Beperkingen: Agenten observeren alleen hun eigen agenda's. Ze kunnen de agenda's van anderen niet direct inspecteren.
Kosten: De omgeving ondersteunt uniforme kosten (alle verplaatsingen kosten 1) en variabele kosten (klusjes hebben heterogene verplaatsingskosten), wat onderzoek mogelijk maakt naar optimalisatie versus louter haalbaarheid.
Fases: Elke rondje vergaderplanning verloopt via vier fases:
1. Kosteloze communicatie (Cheap-talk): Deelnemers onderhandelen over kandidaat-sloten.
2. Vrijwillig: Niet-deelnemers die tijdens de onderhandeling benaderd zijn, kunnen hun eigen verplichtingen herschikken.
3. Besluit: Deelnemers onafhankelijk indienen van atomische planningsacties (HERPLANNEN/PLANNEN).
4. Oplossing: De engine valideert consistentie en past wijzigingen toe.

Baselines en Orakel

Om een grondwaarheid en eerlijke vergelijking te bieden, omvat CalBench:

Orakeloplossing: Genereerd via CP-SAT (Constraint Programming) met volledige informatie om de globale optimale kosten te definiëren.
Gescripte Baselines: Vier gedecentraliseerde protocollen die opereren onder dezelfde beperkingen van privé-informatie:
- IMAP (Incremental Multi-Agent Planning): Baseline met hoge openbaarmaking en bijna optimale kosten (zendt volledige kostenvectoren).
- SD-MAP: Baseline met lage openbaarmaking en prioriteit aan haalbaarheid (alleen binaire haalbaarheid).
- DSM (Distributed Score-based Multi-round): Twee varianten (Welvaart en Privé) die afwegen tussen de grootte van het aanbodset en privacy.

Evaluatiemetrieken

De benchmark meet prestaties langs vijf assen:

Succesratio: Fractie van succesvol geplande vergaderingen.
Communicatie-efficiëntie: Gemiddeld aantal directe berichten (DM's) per geplande vergadering.
Coördinatiekwaliteit: Gerealiseerde kosten relatief tot het orakel-optimum (Excess Cost).
Fairness: Verdeling van verstoringkosten over agenten (ratio van minimum tot maximum kosten).
Privacylek: Gemeten via twee methoden:
- VPS (Valuation of Possible States): Een structurele metriek die kwantificeert hoeveel een waarnemer kan afleiden over de beschikbaarheid van een agent uit uitgewisselde berichten.
- Adversariale Probing: Een "nieuwsgierige" agent probeert gevoelige semantische context te extraheren (bijvoorbeeld "Waarom is dit slot geblokkeerd?") tijdens de onderhandeling.

3. Belangrijkste Bijdragen

Een Multi-Agent Benchmark met Precieze Beloningen: CalBench biedt een verifieerbare setting met orakeloplossingen en berekenbare metrieken voor coördinatiekwaliteit, fairness en privacy, distinct van benchmarks waar een enkele agent de groep kan vervangen.
Controleerbare Scenario-generatie: Een harness dat oplosbare taken genereert met bekende orakelmetrieken, waarbij moeilijkheidsgraad en privacybeperkingen in evenwicht worden gebracht.
Privacy-stresscondities: Omvat een adversariale setting die agenten onder druk zet om taak-irrelevante privé-informatie te onthullen, met onderscheid tussen noodzakelijke beschikbaarheidsdeling en gevoelige semantische lekkage.
Trace-niveau Analyse: Een gedetailleerde taxonomie van gedragspatronen (bijvoorbeeld "beschikbaarheidsgossip", "kwalitatieve afvlakking") die uitlegt hoe agenten falen, verder dan geaggregeerde succespercentages.

4. Experimentele Resultaten

De auteurs evalueerden zeven LLM's (waaronder GPT-5.4 Mini, Claude Sonnet 4.6, Gemini 3.1 Pro en Llama 4 Maverick) over 72 taken.

Coördinatie en Kosten

Haalbaarheid versus Optimalisatie: Bij uniforme kostentaken bereikten de meeste modellen hoge coördinatiepercentages (>94%). Echter, bij variabele kostentaken ontstonden significante prestatiekloven.
Kostenvlakken (Cost Flattening): Modellen zoals GPT-5.4 Mini en Llama 4 Maverick vertoonden "kwalitatieve afvlakking", waarbij ze vage taal gebruikten (bijvoorbeeld "moeilijk") die grote kostverschillen verhulde. Dit leidde tot enorme excesskosten (bijvoorbeeld GPT-5.4 Mini: 1159,17 versus Orakel) en slechte fairness.
Toppresteerder: Gemini 3.1 Pro behaalde de beste balans, met 100% coördinatie en de laagste excesskosten (12,83) in variabele settings door exacte kostwaarden te delen.

Afwegingen tussen Privacy en Efficiëntie

De Afweging: Er werd een significante privacy-efficiëntie-afweging waargenomen in variabele kostsettings. Hogere VPS-lekkage (meer structurele beschikbaarheid onthullen) correleerde met lagere excesskosten.
Adversariale Lekken: Bij adversariale probing werden 22 geïnduceerde lekken gevonden over 216 traces. Lekken waren frequenter en gevoeliger in variabele kostscenario's, waarbij agenten onder druk stonden om te rechtvaardigen waarom een slot duur was (bijvoorbeeld het onthullen van "voorbereiding faillissementsaanvraag" of "IEP-beoordeling").
Communicatievolume: Aantal berichten was geen betrouwbare proxy voor kwaliteit. Het meest spaarzame model (GPT-5.4 Mini) had de slechtste kostenprestatie, terwijl de beste coördinator (Gemini 3.1 Pro) slechts marginaal meer berichten gebruikte.

Gedragspatronen

Trace-analyse onthulde specifieke faalmodi:

Beschikbaarheidsgossip: Agenten onthulden frequent de agenda-staat van derden (18,9% van de berichten), waardoor privacygrenzen werden geschonden.
Valse Overeenstemming: Agenten leken het eens te zijn maar committeerden zich aan verschillende sloten (37 falen), vaak door oscillerende onderhandelingen zonder expliciete definitieve toezegging.
Kwalitatieve Afvlakking: Het comprimeren van grote kostverschillen in vage termen verhinderde optimale concessies.

5. Betekenis en Claims

Het artikel stelt dat CalBench een praktische en verifieerbare setting biedt voor het bestuderen van coördinatieprotocollen, communicatie-efficiëntie, onderhandelingsstrategieën, fairness en privacylekken in multi-agent systemen.

Belangrijke bevindingen die door de auteurs worden benadrukt, zijn:

Structurele Gedecentralisatie: In tegenstelling tot veel benchmarks maakt CalBench multi-agent coördinatie een vereiste in plaats van een architecturale keuze, aangezien geen enkele agent volledige zichtbaarheid heeft.
Scheidbaarheid van Faalmodi: Kostenoptimalisatie en haalbaarheid zijn distincte faalmodi. "Kwalitatieve kostafvlakking" wordt geïdentificeerd als de primaire drijver van spijt en onrechtvaardigheid.
Persistentie van Afwegingen: De privacy-efficiëntie-afweging die wordt waargenomen in klassieke Gedecentraliseerde Constraint Optimalisatie Problemen (DCOP's) blijft bestaan bij LLM-agenten en is kwantificeerbaar via VPS.
Aard van Privacyfouten: Privacyfouten ontstaan niet alleen door het vergeten van instructies, maar door structureel functioneel gedrag (zoals beschikbaarheidsgossip) en het bezwijken van instructie-opvolging onder de druk om planningsbeperkingen te rechtvaardigen.

De auteurs concluderen dat communicatievolume geen betrouwbare proxy is voor coördinatiekwaliteit; eerder zijn de precisie van kostinformatie en het vermogen om taak-relevante signalen op het juiste abstractieniveau bloot te leggen, de kritieke determinanten van succes. De benchmark, inclusief zijn scenario-generator, baselines en trace-analysetoolkit, wordt vrijgegeven om verder onderzoek in dit domein te faciliteren.