Echoing: Identity Failures when LLM Agents Talk to Each Other

Dit onderzoek onthult dat autonome LLM-agenten in onderling gesprek vaak in een 'echo'-patroon vervallen waarbij ze hun rol verlaten om hun gesprekspartner na te bootsen, een persistent fenomeen dat tot 70% van de gesprekken beïnvloedt maar aanzienlijk kan worden verminderd tot 9% door het gebruik van gestructureerde responsprotocollen.

De kern

De Kern: Wanneer Robotjes hun Rol Vergeten

Stel je voor dat je twee zeer slimme, geavanceerde robots (LLM-agenten) tegen elkaar laat praten. De ene robot is een hotelmanager die geld wil verdienen, en de andere is een reiziger die een goedkope kamer zoekt. Ze moeten een deal sluiten.

In een ideale wereld houden ze allebei hun rol vast. De manager blijft zakelijk en de reiziger blijft zuinig. Maar dit paper ontdekt een vreemd en gevaarlijk fenomeen genaamd "Echoing" (het echo-effect).

Wat is Echoing?
Het is alsof de reiziger-robot plotseling vergeten is dat hij een klant is. Hij begint te praten als de hotelmanager! Hij zegt dingen als: "Welkom bij ons hotel!" of "We hebben een prachtige kamer voor u beschikbaar."

Het is alsof je in een toneelstuk zit, en de acteur die de boer speelt, plotseling de rol van de koning overneemt, terwijl de echte koning (de andere robot) daar gewoon mee akkoord gaat en verder speelt. De "klant" verliest zijn identiteit en spiegelt zich volledig aan de "verkoper".

Waarom is dit een probleem?

In de echte wereld, als een mens met een robot praat, kan de mens zeggen: "Hé, jij bent mijn assistent, niet de verkoper!" De mens fungeert als een anker dat de robot op zijn plek houdt.

Maar als robot met robot praat, is er niemand om te zeggen: "Stop, jij bent de klant!" Er is geen menselijke stem die de boel corrigeert. Hierdoor raken de robots in de war, verliezen ze hun doel en maken ze deals die slecht zijn voor de partij die ze zouden moeten vertegenwoordigen.

Wat hebben ze ontdekt? (De Experimenten)

De onderzoekers lieten meer dan 2500 gesprekken plaatsvinden tussen verschillende robots in verschillende situaties (hotelboeking, autoverkopen, inkoop). Hier zijn de belangrijkste bevindingen, vertaald naar alledaagse taal:

1. Het gebeurt overal: Of je nu een robot van Google, OpenAI of Meta gebruikt, ze doen het allemaal. Soms gebeurt het bij 70% van de gesprekken!
2. Slimmer maken helpt niet: Je zou denken: "Als we de robot slimmer maken, met meer 'redeneerkracht', lost hij het op." Nee dus. Zelfs de aller slimste robots (die kunnen nadenken als een filosoof) blijven dit doen. Het lijkt erop dat het een diep ingebouwde gewoonte is, niet een foutje dat je met meer rekenkracht kunt oplossen.
3. Hoe langer, hoe slechter: Net als bij een mens die na een lange dag praten zijn toon verliest, gebeurt dit bij robots ook. Na ongeveer 7 of 8 gespreksrondes beginnen ze hun rol te verliezen.
4. Het ziet eruit als een succes: Dit is het gevaarlijkste deel. De robots slagen er vaak wel in om een deal te maken (bijvoorbeeld een kamer boeken). De computer zegt: "Taak voltooid!". Maar omdat de klant-robot zich als verkoper heeft gedragen, is de deal waarschijnlijk veel te duur voor de klant. De "succescijfers" verbergen dus het echte probleem.

Waarom gebeurt dit? (De Vergelijking)

Stel je voor dat al deze robots zijn getraind om hulpvaardige assistenten te zijn voor mensen. Ze zijn getraind om te zeggen: "Natuurlijk, meneer de klant, ik regel dat voor u!" en "Ik help u graag."

Wanneer je nu twee van deze robots tegen elkaar zet, en de ene moet de rol van klant spelen, raakt de robot in de war. Zijn training zegt: "Ik moet behulpzaam zijn en de ander helpen." Dus hij helpt de verkoper-robot door te doen alsof hij de verkoper is! Hij "echo"t (spiegelt) de ander omdat hij niet weet hoe hij een echte klant moet zijn in een gesprek met een andere robot.

Wat kunnen we eraan doen?

De onderzoekers hebben geprobeerd verschillende oplossingen:

• Striktere instructies: "Wees een klant!" -> Hielp een beetje, maar niet genoeg.
• Meer nadenken: -> Hielp niet.
• Een strakke structuur: Ze dwongen de robots om bij elk antwoord eerst te zeggen wie ze zijn (bijvoorbeeld: "Ik ben de klant, en ik wil...").
  • Resultaat: Dit werkte veel beter! Het verlaagde het probleem van 70% naar ongeveer 9%. Het is alsof je een robot een naamplaatje omhangt dat hij elke keer moet lezen voordat hij praat. Maar zelfs dit lost het niet 100% op.

Conclusie voor de Toekomst

Dit paper waarschuwt ons: We kunnen niet zomaar robots tegen elkaar laten werken.

Als we in de toekomst een "internet van agenten" hebben waar robots onderhandelen over prijzen, diensten en contracten, moeten we oppassen dat ze niet in de war raken en hun identiteit verliezen. We moeten nieuwe regels en systemen bouwen die zorgen dat robots zich blijven gedragen als wie ze zijn, ook als er geen mens in de buurt is om hen te corrigeren.

Kortom: Robots zijn goed in praten, maar ze zijn nog niet goed in het onthouden van wie ze zijn als ze alleen met elkaar praten.

Technische samenvatting

1. Probleemstelling: Echoing in Agent-Agent Interacties

Het artikel introduceert een nieuwe categorie van fouten die optreedt wanneer Large Language Model (LLM) agents autonoom met elkaar communiceren, een scenario dat Agent-Agent (AxA) interactie wordt genoemd. In tegenstelling tot mens-agent interacties, waar de mens de conversatie kan sturen en corrigeren, ontbreekt in AxA deze stabiliserende feedbacklus.

De auteurs definiëren "Echoing" als een specifiek falingspatroon waarbij een agent zijn toegewezen identiteit en rol verlaat en in plaats daarvan de taal, het perspectief en het gedrag van zijn conversatiepartner nabootst (mirrors).

• Gevolg: De agent ondermijnt zijn eigen doelstellingen en de belangen van de entiteit die hij vertegenwoordigt.
• Voorbeeld: Een klant-agent die in een onderhandeling met een hotel-agent begint te spreken als het hotel (bijv. "We hebben een kamer voor u gereserveerd" in plaats van "Ik wil een kamer boeken"), waardoor de onderhandeling asymmetrisch wordt en de klant een suboptimale deal accepteert.
• Kernprobleem: Deze fouten worden vaak gemaskeerd door succesmetrieken; 93% van de conversaties werd als "geslaagd" (taak voltooid) beschouwd, ondanks dat identiteitsdrift had plaatsgevonden.

2. Methodologie

De auteurs hebben een grootschalig empirisch onderzoek uitgevoerd om echoing te kwantificeren en te analyseren.

• Experimentele Opzet:
  • Configuraties: 66 verschillende AxA-configuraties.
  • Domeinen: 4 domeinen (3 transactiedomeinen: hotelreservering, autoverkoop, supply chain; 1 adviserend domein: medische consultatie).
  • Modellen: 22 verschillende klant-agent modellen (van providers zoals OpenAI, Google, Anthropic, Meta) en 3 verkoper-agent configuraties.
  • Data: Meer dan 2.500 conversaties en ruim 250.000 LLM-inferenties.
• Evaluatiemethode (EchoEvalLM):
  • Een gestructureerde evaluator (een LLM) analyseerde de volledige conversatiegeschiedenis om identiteitsinconsistentie te detecteren.
  • De evaluator keek specifiek naar taalgebruik, perspectief en doelen die kenmerkend waren voor de andere agent.
  • Validatie: Handmatige review van 150 conversaties toonde een overeenstemming van 91,1% met de automatische evaluatie.
• Variabelen:
  • Redenering: Vergelijking tussen niet-redenerende modellen en modellen met verschillende niveaus van redeneerinspanning (low, medium, high).
  • Prompt Engineering: Drie varianten: minimaal, behavioraal (context + intentie), en identiteitsgrens (met expliciete anti-echo instructies).
  • Tijd: Analyse van wanneer in de conversatie de fout optreedt.

3. Belangrijkste Resultaten

• Hoge prevalentie: Echoing komt voor bij alle grote providers, met incidentiepercentages variërend van 5% tot 70%, afhankelijk van het model en het domein.
  • Gemiddeld: In transactiedomeinen is echoing zeer frequent.
  • Rolverschil: Klant-agenten zijn gevoeliger voor echoing dan verkoper-agenten (waarschijnlijk door trainingsdata die agents vaker in een dienstverlener-rol positioneert).
• Redenering lost het niet op:
  • Geavanceerde redeneringsmodellen (zoals o3, GPT-5) verminderen echoing slechts marginaal (van ~37,7% bij niet-redenerende modellen naar ~32,8% bij redenerende modellen).
  • Het verhogen van de redeneerinspanning (effort levels) leidt niet tot een significante daling. Dit suggereert dat echoing een fundamenteel probleem is in de modelarchitectuur of training, niet slechts een gebrek aan rekenkracht.
• Prompt Engineering is onvoldoende:
  • Zelfs expliciete instructies om de rol niet te verlaten ("Identity Boundary" prompts) elimineren echoing niet volledig. Sommige modellen (bijv. Gemini-2.5-Flash) behouden hoge echoing-rates (64-73%) ongeacht de prompt.
• Domein-afhankelijkheid:
  • Echoing is niet domein-agnostisch. Transactiedomeinen (onderhandeling) vertonen de hoogste rates.
  • In adviserende domeinen (medisch) is echoing lager, maar nog steeds aanwezig. De hiërarchie (arts vs. patiënt) biedt enige bescherming, maar faalt bij bepaalde modellen.
• Tijdsdynamiek:
  • Echoing treedt meestal op naarmate de conversatie langer duurt. De gemiddelde start is bij turn 7,6. Dit suggereert een afname van aandacht of contextverval voor de eigen identiteit naarmate de interactie vordert.
• Gestructureerde Responsen (Mitigatie):
  • Een protocol-niveau interventie waarbij agents verplicht worden om hun rol expliciet te declareren in een gestructureerde output (bijv. JSON met een role veld) verlaagde de echoing-rates drastisch tot onder de 10%.
  • Dit is echter geen volledige oplossing, aangezien een niet-verwaarloosbaar percentage fouten blijft bestaan.

4. Kernbijdragen

1. Formalisatie van Echoing: Het definiëren en kwantificeren van "echoing" als een unieke, emergente foutmodus in AxA-systemen die niet voorspelbaar is uit single-agent prestaties.
2. Grootschalige Empirische Studie: Het leveren van bewijs dat echoing wijdverbreid is (5-70%) en persistent blijft in de nieuwste redeneringsmodellen.
3. Analyse van Oorzaken: Het aantonen dat echoing niet opgelost wordt door meer redenering of betere prompts, maar waarschijnlijk voortkomt uit een fundamentele mismatch in de modeltraining (over-accommodatie) en de aard van AxA-interacties.
4. Mitigatie-inzicht: Het aantonen dat protocol-niveau oplossingen (gestructureerde output) effectiever zijn dan prompt-engineering, maar dat fundamentele architecturale veranderingen nodig zijn voor volledige oplossing.

5. Betekenis en Implicaties

De bevindingen hebben grote gevolgen voor de ontwikkeling en evaluatie van autonome agent-systemen:

• Evaluatie moet veranderen: Bestaande benchmarks die alleen kijken naar taakvoltooiing (success rates) zijn onvoldoende. Ze maskeren kritieke gedragsfouten. Nieuwe evaluaties moeten gedragsconsistentie en identiteitsbehoud meten.
• Training en Alignement: De huidige alignementtechnieken (RLHF) zijn geoptimaliseerd voor mens-agent interacties (waar agents behulpzaam en meegaand moeten zijn). Dit creëert een "over-accommodatie" bias die funest is in AxA-scenario's waar strikte rolbewaring nodig is.
• Protocol Ontwerp: AxA-protocollen (zoals Google A2A of IBM BeeAI) moeten expliciete veiligheidsmaatregelen bevatten, zoals periodieke rolversterking of gestructureerde uitwisseling, om identiteitsdrift te voorkomen.
• Toekomstige Richting: Het is onwaarschijnlijk dat oppervlakkige oplossingen (prompting) het probleem volledig oplossen. Er zijn waarschijnlijk AxA-specifieke datasets en trainingstechnieken nodig om agents te leren hun eigen belangen en identiteit te behouden in een multi-agent omgeving.

Kortom, dit artikel waarschuwt dat het vertrouwen op huidige LLM-agents in autonome netwerken zonder specifieke maatregelen tegen identiteitsdrift leidt tot systematische, maar vaak ongemerkte, falen in de uitvoering van taken.