💻 computer science

What Do Agents Communicate? Characterizing Information Exchange in Multi-Agent Systems

Dit artikel identificeert dat het ontbreken van redenering en verificatie in multi-agentcommunicatie leidt tot foutpropagatie, wat de auteurs ertoe brengt een categoriebewuste herstelverrijkingstechniek voor te stellen die tot 86,2% van de mislukte gevallen herstelt door de uitwisseling van kritieke informatie af te dwingen.

Oorspronkelijke auteurs: Yong Jin Chun, Iftekhar Ahmed

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yong Jin Chun, Iftekhar Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een team van drie expertkoks voor die samen een perfecte maaltijd proberen te bereiden. Ze gebruiken allemaal hetzelfde hoogwaardige kookboek (een Large Language Model), maar ze werken in een keuken waar ze alleen met elkaar kunnen communiceren via een walkie-talkie.

Dit artikel, getiteld "What Do Agents Communicate?", onderzoekt precies wat deze koks tegen elkaar zeggen via de walkie-talkie en waarom de maaltijd soms verbrandt, ondanks dat de koks getalenteerd zijn.

Hier is de opsplitsing van hun bevindingen in eenvoudige bewoordingen:

Het Probleem: Het "Telefoontje"-effect van fouten

In het verleden probeerden onderzoekers deze AI-koks beter te laten samenwerken door simpelweg meer koks toe te voegen of de keukenindeling te veranderen. Maar ze merkten een probleem op: Foutpropagatie.

Denk hierbij aan het spel "Telefoontje". Als Kok A een kleine fout maakt in de eerste stap (zoals zout in plaats van suiker toevoegen), en Kok B vangt dit niet op, bouwt Kok B mogelijk voort op die fout. Tegen de tijd dat Kok C het gerecht afmaakt, is de hele maaltijd verpest. Het artikel vond dat deze AI-teams vaak falen, niet omdat ze intelligentie missen, maar omdat ze slechte informatie doorgeven zonder deze te controleren.

Het Onderzoek: Wat zeggen ze eigenlijk?

De auteurs luisterden mee met duizenden gesprekken tussen deze AI-teams. Ze realiseerden zich dat de koks voornamelijk alleen de eindantwoorden schreeuwden of de stappen herhaalden die ze hadden genomen, maar ze deden zelden twee cruciale dingen:

Uitleggen van hun logica (Waarom heb je dat gedaan?).
Het werk dubbelchecken (Wacht, klopt die wiskunde eigenlijk wel?).

Ze categoriseerden het gesprek in vijf soorten "ingrediënten":

Het Antwoord: Het eindresultaat.
Het Redeneren: Het stap-voor-stap denken.
De Verificatie: Controleren of het denken correct is.
De Referentie: Erkenning van wat de andere kok zei.
Het "Geen Verandering": Zeggen: "Ik blijf bij mijn oorspronkelijke antwoord."

Het Experiment: De "Mute-knop"-test

Om uit te vinden welke ingrediënten essentieel waren, speelden de onderzoekers een spelletje "verstoppeertje". Ze namen de opgenomen gesprekken en verwijderden systematisch één type ingrediënt per keer (zoals het dempen van het "Verificatie"-gedeelte van de walkie-talkie) om te zien wat er met de uiteindelijke maaltijd gebeurde.

Wat ze ontdekten:

Het verwijderen van het "Redeneren" was rampzalig. Toen de koks stopten met uitleggen hoe ze tot hun antwoord waren gekomen, zakte de prestatie van het team in elkaar. Het is als proberen een motorkap te repareren zonder naar de handleiding te kijken; je hebt misschien geluk, maar je breekt waarschijnlijk iets.
Het verwijderen van de "Verificatie" was ook slecht. Toen de koks ophielden elkaars werk te controleren, glippen fouten door.
Verrassend genoeg hielp het verwijderen van het "Eindantwoord" soms. Het blijkt dat te vroeg het antwoord schreeuwen de andere koks kan verwarren. Soms is het beter om eerst op het proces te focussen.

De Oplossing: CARA (De "Veiligheidscontrolelijst")

Op basis van deze bevindingen bouwden de auteurs een nieuw hulpmiddel genaamd CARA (Category-Aware Recovery Augmentation).

Denk aan CARA als een streng keukenmanager die tussen de koks staat. Voordat een kok in de walkie-talkie kan spreken, controleert de manager hun bericht tegen een controlelijst:

"Heb je je redenering uitgelegd?"
"Heb je je wiskunde geverifieerd?"
"Heb je vermeld wat de vorige kok zei?"

Als de kok probeert een bericht te sturen zonder deze ingrediënten, drukt de manager op de "Stop"-knop en zegt: "Ga terug en herschrijf dit. Je mist de redenering!" De kok moet het opnieuw proberen (tot drie keer toe) totdat het bericht compleet is.

Het Resultaat

Toen ze deze "Veiligheidscontrolelijst" toepasten op de AI-teams die eerder waren gefaald:

Het herstelde tot 86,2% van de gefaalde gevallen.
Het vereiste geen het inhuren van slimmere koks of het kopen van nieuwe apparatuur; het vereiste alleen dat ze beter communiceerden.

De Grote Kernboodschap

Het artikel concludeert dat bij een team van AI-agenten de kwaliteit van het gesprek belangrijker is dan het aantal mensen dat spreekt. Het feit dat agenten spreken, betekent niet dat ze effectief samenwerken. Als ze de "denk"- en "controle"-onderdelen van het gesprek overslaan, zal het hele team waarschijnlijk falen. Door ze te dwingen deze cruciale stukken informatie op te nemen, kunnen we een groep verwarde koks veranderen in een goed geoliede machine.

Technische Samenvatting: Wat Communiceren Agenten? Het Karakteriseren van Informatie-uitwisseling in Multi-Agent Systemen

Probleemstelling

Hoewel Large Language Models (LLM's) collaboratieve Multi-Agent (MA) systemen mogelijk hebben gemaakt die prestaties verbeteren door middel van divers redeneren en iteratieve verfijning, blijven deze systemen kwetsbaar voor foutpropagatie. In dergelijke systemen kunnen onjuiste tussenresultaten worden versterkt en versterkt door opeenvolgende interactierondes, wat vaak leidt tot een verslechtering van het daaropvolgende redeneren. Bestaande mitigatiestrategieën zijn grotendeels reactief; ze passen agentgedrag of systeemstructuren pas aan nadat fouten zijn opgetreden, en negeren grotendeels de specifieke rol van inhalte van inter-agent communicatie tijdens de taakuitvoering. Er is een kritieke lacune in het begrijpen van welke specifieke soorten informatie agenten uitwisselen en hoe de aanwezigheid of afwezigheid van deze informatiecategorieën de collectieve prestaties vormgeeft.

Methodologie

De auteurs voeren een systematische, grootschalige empirische analyse uit van inter-agent communicatie over vijf representatieve MA-systemen, zes benchmarks, drie taakdomeinen (Wiskunde, Vraagbeantwoording, Code) en twee LLM-backbones (Qwen2.5-32B-Instruct en Qwen2.5-Coder-32B). De methodologie verloopt in drie fasen:

1. Informatiecategorisering (RQ1)

De auteurs verzamelden 41.330 communicatiesporen van 4.133 samples. Door een combinatie van handmatige annotatie door twee expert-evaluators en schaling op basis van LLM (met GPT-4o als rechter), identificeerden en definieerden ze vijf distincte categorieën van informatie die worden uitgewisseld in agentantwoorden:

C1 (Antwoord): Het definitieve antwoord of de beslissing van de agent.
C2 (Redenering): Een reeks logische stappen die tot het antwoord leiden.
C3 (Verificatie): Een beoordeling van het redeneerproces of de geldigheid van het antwoord.
C4 (Referentie): Een directe verwijzing naar het redeneren of antwoord van een andere agent om dit te bevestigen, uit te dagen of daarop voort te bouwen.
C5 (Onveranderd): Een expliciete verklaring dat het antwoord onveranderd blijft ten opzichte van de vorige beurt.

2. Occlusie-analyse (RQ2)

Om het causale effect van deze categorieën te bepalen, pasten de auteurs een leave-one-out (LOO) occlusie-framework toe. Ze maskeren systematisch specifieke informatiecategorieën (door tekstspanningen te vervangen door [MASK]-tokens) binnen agentantwoorden voordat deze aan volgende agenten worden doorgegeven. Een lengte-gematchte controlemethode werd gebruikt om ervoor te zorgen dat prestatieveranderingen het gevolg waren van semantische verwijdering en niet van variaties in promptlengte. Ze maten de verandering in taaknauwkeurigheid ( $\Delta C_x$ ) voor elke categorie over verschillende MA-architecturen (Sequentieel, Debat, Collectieve Verfijning) en taken.

3. Herstelversterking (RQ3)

Op basis van de occlusiebevindingen stelden de auteurs Category-Aware Recovery Augmentation (CARA) voor. Dit is een gerichte interventiestrategie die de aanwezigheid van kritieke informatiecategorieën tijdens communicatie afdwingt. CARA werkt op twee lagen:

Promptverrijking: Het uitbreiden van systeemprompts om expliciet specifieke categorieën te vereisen (Redenering, Verificatie en Referentie).
Antwoordverificatie: Het automatisch controleren van gegenereerde antwoorden op deze vereiste categorieën. Als kritieke informatie ontbreekt, wordt de agent opnieuw opgeroepen (tot drie keer) om het antwoord te herzien totdat de vereiste structurele componenten aanwezig zijn.

Belangrijkste Resultaten

Prevalentie van Informatie-uitwisseling

Redenering (C2) en Antwoord (C1) zijn de meest voorkomende categorieën en komen in meer dan 90% van de antwoorden voor in de meeste systemen.
Verificatie (C3) en Referentie (C4) zijn aanzienlijk minder voorkomend in niet-debatsystemen (vaak onder de 5%), terwijl Debat-systemen een hogere prevalentie van deze categorieën vertonen (tot 50%).
Onveranderd (C5) is de minst voorkomende categorie, wat suggereert dat agenten zelden expliciet aangeven wanneer geen correctie nodig is.

Impact van Informatieverwijdering (Occlusie)

Redenering (C2): Het verwijderen van redenering leidt consistent tot prestatieverlies (tot -18,63%), wat de kritieke rol ervan benadrukt bij het gezamenlijk afleiden van oplossingen.
Verificatie (C3): De impact is taakafhankelijk. Het verwijderen van verificatie verbetert de prestaties in Codetaken (+23,27%) maar verslechtert ze in Wiskundetaken (-18,08%), wat suggereert dat verificatie in sommige contexten als ruis fungeert maar in andere vitaal is.
Referentie (C4) & Onveranderd (C5): Het verwijderen van deze categorieën leidt vaak tot aanzienlijke prestatiedalingen (bijvoorbeeld -38,69% voor Referentie in Collectieve Verfijningssystemen), wat hun belang aangeeft voor het handhaven van coherente inter-agent communicatie en consistentie in beslissingen.
Systeemafhankelijkheid: De bruikbaarheid van informatiecategorieën is nauw verbonden met het systeemontwerp. Het verwijderen van Redenering schaadt bijvoorbeeld op rol gebaseerde Sequentiële systemen, maar kan Uniforme Sequentiële systemen verbeteren, wat suggereert dat roltoewijzing de bruikbaarheid van redenering stuurt.

Effectiviteit van CARA

CARA slaagt erin gefaalde gevallen te herstellen door de aanwezigheid van kritieke informatie af te dwingen.
De methode herstelt tot 86,2% van de gefaalde gevallen (specifiek in Wiskundetaken met op rol gebaseerde Sequentiële systemen).
Herstelpercentages zijn over het algemeen hoger voor True→False (TF) gevallen (waarbij de baseline slaagde maar occlusie faalde) dan voor False→False (FF) gevallen, wat suggereert dat hoewel structurele afdwinging helpt, het prestaties niet volledig kan herstellen als de onderliggende kandidaatoplossingen fundamenteel onjuist zijn.
Instruction-tuned modellen (Qwen2.5-Inst) vertoonden hogere herstelpercentages dan op code gespecialiseerde modellen, waarschijnlijk vanwege een betere naleving van de afgedwongen promptinstructies.

Betekenis en Claims

Het artikel claimt de eerste systematische categorisering te zijn van informatie die tussen agenten in MA-systemen wordt uitgewisseld, en gaat verder dan kwantitatieve metrics (zoals tokenaantal of rondes) om de inhoud van communicatie te analyseren.

De auteurs stellen het volgende:

Informatiekwaliteit is belangrijk: Effectieve MA-samenwerking hangt niet alleen af van systeemtopologie of het aantal agenten, maar van de kwaliteit en aanwezigheid van specifieke informatietypes (redenering, verificatie, referentie) in inter-agent uitwisselingen.
Herstel via Structuur: Het is mogelijk om gefaalde multi-agent taken te herstellen zonder de onderliggende model- of architectuur te wijzigen, simpelweg door de aanwezigheid van essentiële communicatiecategorieën af te dwingen.
Beperkingen van Huidige Systemen: Huidige MA-systemen propageren vaak antwoorden en redeneringen zonder voldoende verificatie of referentie, wat leidt tot foutpropagatie. De dominantie van "Antwoord" en "Redenering" ten koste van "Verificatie" en "Referentie" wijst op de noodzaak van meer gebalanceerde communicatieprotocollen.

Het werk suggereert dat toekomstige verbeteringen in MA-systemen zich moeten richten op interventies op communicatieniveau die de uitwisseling van kritieke informatie waarborgen, in plaats van uitsluitend agentgedrag of systeemstructuren te optimaliseren.