💻 computer science

Bayesian Partner Modelling enables Adaptive Replanning for LLM Coordination

Het artikel introduceert BayesBeliefAgent, een hiërarchisch LLM-systeem dat Bayesiaanse partner tracking combineert met op tegenstrijdigheden gebaseerde herplanning om efficiënt aan te passen aan strategieverschuivingen van teamgenoten, wat onnodige herplanningen en de kloof tussen overtuiging en actie aanzienlijk vermindert in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Harsh Goel, Aditya Sai Ellendula, Vaishnav Tadiparthi, Ehsan Moradi Pari, Hossein Nourkhiz Mahjoub, Sandeep P. Chinchali

Gepubliceerd 2026-08-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harsh Goel, Aditya Sai Ellendula, Vaishnav Tadiparthi, Ehsan Moradi Pari, Hossein Nourkhiz Mahjoub, Sandeep P. Chinchali

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie is een belangrijke grens het leren hoe computers samen kunnen werken. Stel je twee mensen voor die proberen een tafel te bouwen; als één persoon plotseling besluit om het hout te schuren terwijl de ander nog aan het zagen is, loopt het project vast. Decennialang hebben onderzoekers geprobeerd computerprogramma's te laten coördineren, maar een specifiek soort falen is hardnekkig gebleven. Grote taalmodellen, de krachtige AI-systemen die verhalen kunnen schrijven of puzzels kunnen oplossen, zijn vaak uitstekend in het begrijpen van wat een partner bedoelt te doen. Ze kunnen naar de acties van een teamgenoot kijken en correct raden: "Ah, ze probeert groenten te snijden." Het weten wat een partner doet, betekent echter niet automatisch dat de AI weet wanneer hij zijn eigen huidige taak moet stoppen. Een AI kan correct beseffen dat zijn partner van plan is veranderd, maar toch nog tien minuten lang groenten blijven snijden omdat het te rigide is om zijn eigen koers te wijzigen. Deze kloof tussen het begrijpen van een partner en het daadwerkelijk aanpassen van het eigen gedrag is het centrale probleem dat onderzoekers proberen op te lossen.

Een team onderzoekers van de University of Texas at Austin en het Honda Research Institute heeft een nieuwe aanpak geïntroduceerd om deze ontkoppeling te herstellen. Ze bouwden een AI-agent genaamd BayesBeliefAgent, ontworpen om te werken in een gesimuleerde keukenomgeving waar twee koks samen maaltijden moeten bereiden. In deze scenario's moeten de AI en zijn onzichtbare partner taken coördineren zoals het snijden van uien, het koken van rijst of het opmaken van borden. De uitdaging is dat de strategie van de partner halverwege de taak kan verschuiven. De onderzoekers kwamen tot de conclusie dat het de AI simpelweg geven van een beter begrip van zijn partner niet genoeg was. In plaats daarvan gaven ze de AI een specifiek mechanisme om precies te beslissen wanneer hij zijn huidige actie moet stoppen en opnieuw moet beginnen. Het systeem observeert voortdurend de bewegingen van de partner en vergelijkt deze met wat de AI verwacht op basis van zijn huidige vermoeden over het plan van de partner. Wanneer de partner iets doet dat duidelijk in strijd is met dat vermoeden, onderbreekt de AI onmiddellijk zijn eigen werk en berekent een nieuw plan.

De belangrijkste innovatie is dat deze onderbreking alleen plaatsvindt wanneer dat nodig is. Veel bestaande methoden veranderen ofwel nooit hun plannen zodra ze begonnen zijn, of ze veranderen ze te vaak, waardoor tijd en energie worden verspild. Het nieuwe systeem gebruikt een statistische methode om de waarschijnlijke vaardigheid van de partner bij te houden. Het wacht tot het bewijs sterk en consistent is voordat het handelt. Als de partner een enkele vreemde beweging maakt die een fout zou kunnen zijn, negeert de AI dit. Maar als de acties van de partner er consequent op wijzen dat ze iets volkomen anders doen dan verwacht, stopt de AI zijn werk en vraagt om een nieuw plan. Deze aanpak voorkomt dat de AI in een lus terechtkomt waarbij hij het verkeerde doet terwijl hij weet dat het fout is.

De onderzoekers testten dit systeem in verschillende keukenopstellingen, inclusen open ruimtes en circulaire arrangementen, waarbij ze hun AI koppelden aan verschillende soorten partners met uiteenlopende voorkeuren voor hoe ze koken. Ze vergeleken hun nieuwe agent met andere methoden die ofwel op vaste intervallen opnieuw planten, ofwel telkens wanneer een specifieke gebeurtenis plaatsvindt, of die vertrouwden op een aparte AI-beoordelaar om te beslissen wanneer er van plan gewisseld moet worden. De resultaten toonden aan dat de nieuwe agent vergelijkbare of betere scores behaalde in termen van hoeveel maaltijden er succesvol werden geleverd, maar dat dit met veel minder onderbrekingen gebeurde. Terwijl andere methoden tientallen of zelfs honderden keren per spel moesten stoppen en hun plannen opnieuw moesten starten, moest de nieuwe agent doorgaans slechts een handvol keren opnieuw plannen. Deze efficiëntie kwam voort uit zijn vermogen om onderscheid te maken tussen ruis en een werkelijke verandering in strategie.

Cruciaal was dat de studie onthulde dat het hebben van een correct vermoeden over de rol van een partner niet hetzelfde is als goed coördineren. In een reeks tests hadden de nieuwe agent en een standaardagent bijna dezelfde nauwkeurigheid in het raden van de vaardigheid van de partner. Toch zette de standaardagent verouderde plannen langdurig voort nadat de partner al had veranderd, wat leidde tot een hoog percentage dubbel werk waarbij beide agenten probeerden dezelfde taak uit te voeren. De nieuwe agent gebruikte daarente daarentegen zijn correcte vermoeden om op het juiste moment een gedragsverandering te triggeren. Dit verminderde de "belief-action gap", een maatstaf voor hoe vaak een agent de waarheid kent maar er niet naar handelt. De studie suggereert dat voor AI echt samenwerking nodig is, het meer nodig heeft dan alleen een model van zijn partner; het heeft een betrouwbaar signaal nodig om te weten wanneer dat model verouderd is en wanneer er van koers gewisseld moet worden.

De onderzoekers testten ook of het systeem beter werkte als de informatie over de partner simpelweg als achtergrondcontext in het planningsproces werd gevoed, of als het werd gebruikt als een directe trigger om te stoppen en opnieuw te starten. Ze vonden dat het gebruiken van de informatie als een trigger veel effectiever was. Het simpelweg vertellen van de AI "je partner doet X" garandeerde niet dat het zijn plan zou wijzigen. Het systeem verbeterde pas wanneer de informatie werd gebruikt om de huidige actie actief te onderbreken. Dit onderscheid benadrukt dat de waarde van het begrijpen van een partner ligt in het vermogen om die kennis direct in actie om te zetten, in plaats van het alleen in het geheugen te houden.

Ondanks deze successen erkennen de onderzoekers beperkingen. Het systeem vertrouwt momenteel op een vaste lijst van vooraf gedefinieerde vaardigheden, zoals "snijden" of "koken", in plaats van nieuwe vaardigheden gaande de weg aan te leren. In omgevingen die zeer nauw met elkaar verbonden zijn waar de twee agenten in perfecte synchronisatie moeten bewegen, was het systeem minder effectief, wat suggereert dat het onderliggende plannende brein van de AI nog verbetering behoeft. Het team merkt op dat toekomstig werk zich moet richten op het automatisch leren van deze vaardigheden en op het omgaan met partners wiens strategieën nog sneller veranderen. Voor nu demonstreert het werk echter een duidelijke weg vooruit: door het begrijpen van een partner direct te koppelen aan de beslissing om te stoppen en opnieuw te beginnen, kunnen AI-agenten transformeren van louter observeren van hun teamgenoten naar echt met hen samenwerken.

Technische Samenvatting: Bayesiaanse Partner Modellering Maakt Adaptieve Herplanning Mogelijk voor LLM Coördinatie

Probleemstelling

Multi-agent Large Language Model (LLM) systemen worstelen vaak met samenwerking met nieuwe teamgenoten wier strategieën halverwege een taak veranderen. Hoewel agenten erin slagen de intentie van een partner te afleiden (een capaciteit die geassocieerd wordt met "Theory of Mind"), falen ze vaak in het vertalen van deze bijgewerkte overtuiging naar tijdige gedragsveranderingen. Specifiek blijven agenten vaak verouderde, meerstaps vaardigheden uitvoeren, zelfs nadat publieke bewijslast aangeeft dat een partner van strategie is gewisseld. Dit creëert een geloof–actie kloof (belief–action gap): de agent beschikt over een accuraat model van de huidige rol van de partner, maar faalt in het onderbreken van de eigen lopende uitvoering om een complementaire vaardigheid te selecteren. Bestaande methoden behandelen partner-tracking ofwel als passieve context (wat leidt tot trage reactietijden) of triggeren willekeurig herplanning (wat zorgt voor excessieve computationele churn).

Methodologie: BayesBeliefAgent

De auteurs introduceren BayesBeliefAgent, een hiërarchische LLM-coördinatieagent die ontworpen is om de kloof tussen partner-overtuiging en controle te overbruggen. Het systeem werkt via drie kernmechanismen:

1. Online Bayesiaanse Partner-Skill Overtuigingsupdate

De agent onderhoudt een recursieve posterieure overtuiging $b_t(\psi)$ over de actieve vaardigheid $\psi$ van de teamgenoot uit een eindige bibliotheek van vaardigheden $\Psi$ . Omdat de hoogwaardige beleidsregels (high-level policy) van de teamgenoot niet observeerbaar zijn, leidt de agent de vaardigheid af via Bayesiaanse inverse planning op basis van publiekelijk observeerbare primitieve acties.

Inference Window: De agent werkt de overtuigingen bij over een recent trajectsegment, waarbij wordt aangenomen dat de vaardigheid van de teamgenoot vast blijft binnen een venster van $k$ stappen.
Likelihood Approximatie: Omdat de werkelijke low-level controller van de teamgenoot onbekend is, benadert de agent de actie-waarschijnlijkheid (likelihood) met behulp van de eigen low-level actiecontroller $\pi^i_{low}$ om te voorspellen wat de partner zou doen als zij een specifieke vaardigheid $\psi$ zouden uitvoeren.
Prior Initialisatie: De prior-overtuiging wordt geïnitialiseerd met behulp van een gesmoothde telmethode gebaseerd op de geschiedenis van voltooide partner-vaardigheden binnen de huidige episode, waardoor de agent gedragspreferenties in de loop van de tijd kan leren.

2. Contradictie-Geconditioneerde Vaardigheidsinterruptie

In plaats van constant te herplannen, gebruikt de agent een gated interruptie-mechanisme. De agent evalueert de waarschijnlijkheid van de nieuw geobserveerde acties van de teamgenoot onder de huidige Maximum A Posteriori (MAP) vaardigheidsschatting.

Contradictie Signaal: Als de waarschijnlijkheid van de geobserveerde acties onder een drempelwaarde $\theta_{obs}$ valt, wordt een contradictie-signaal getriggerd.
Interruptie Gates: Om herplanning door ruis te voorkomen, vindt interruptie alleen plaats als:
1. Er een contradictie wordt gedetecteerd.
2. De MAP vaardigheidsschatting de laatste tijd stabiel is gebleven.
3. De vertrouwen van de huidige overtuiging (belief confidence) een drempelwaarde $\Gamma_{conf}$ overschrijdt.
4. De ego-agent zich midden in een vaardigheid bevindt en niet in een afkoelperiode (cooldown period) zit.

3. Selectieve Herplanning

Wanneer de interruptie-gates worden voldaan, stopt de agent de huidige vaardigheid en roept de high-level LLM-planner aan. De planner ontvangt de bijgewerkte posterieure overtuiging en de nieuwe MAP-schatting als coördinatiecontext om een complementaire vaardigheid te selecteren. Dit zorgt ervoor dat de agent alleen herplant wanneer het huidige plan aantoonbaar inconsistent is met het gedrag van de partner.

Belangrijkste Bijdragen

Methode: De introductie van BayesBeliefAgent, die likelihood-gebaseerde contradicties onder een huidige teammate-skill schatting gebruikt om selectief te onderbreken en te herplannen, in plaats van te vertrouwen op periodieke of gebeurtenisgestuurde triggers.
Diagnostiek: Een nieuw evaluatieprotocol dat de belief–action gap rate (het deel van de beslissingen waarbij de agent een correcte partner-inschatting heeft maar een niet-complementaire vaardigheid uitvoert), contradictie-geconditioneerd herstel, en herplan-efficiëntie definieert. Deze metrieken onthullen coördinatiefouten die geaggregeerde beloningsmetrieken vaak maskeren.
Bewijs: Empirische resultaten die aantonen dat posterieure-gated interruptie partner-overtuigingen omzet van passieve context naar actieve controlesignalen, wat de belief–action kloof aanzienlijk verkleint en de mate van dubbele vaardigheden vermindert.

Experimentele Resultaten

Het systeem werd geëvalueerd in Overcooked en Burrito omgevingen over drie lay-outs (Open, Ring, Forced Coordination) en drie groepen partners met diverse gedragspreferenties.

Coördinatieprestaties: BayesBeliefAgent presteerde beter dan LLM-gebaseerde baselines (ProAgent, Hypothetical Minds) in Open en Ring lay-outs, met name tegenover partners met duidelijke logistieke of sourcing-voorkeuren. Echter, RL-gebaseerde baselines (TALENTS, GAMMA) behaalden over het algemeen hogere ruwe beloningen, wat aangeeft dat de onderliggende LLM-planner een prestatie-bottleneck blijft.
Sluiten van de Belief–Action Kloof: Ondanks het bereiken van bijna identieke nauwkeurigheid in teammate-skill voorspelling vergeleken met de baseline ProAgent, verkleinde BayesBeliefAgent de belief–action kloof aanzienlijk (bijv. van 0,41 naar 0,20 in de Open lay-out) en verminderde het de duplicatie van vaardigheden.
Herplan-efficiëntie: De methode behaalde vergelijkbare beloningen als generieke herplanning-heuristieken (Periodic-10, Completion-triggered, LLM-judge), maar met aanzienlijk minder herplannen. Zo behaalde BayesBeliefAgent in de Open G1 setting gemiddeld 2,0 herplannen per episode, terwijl heuristieken tussen de 43 en 169 herplannen registreerden voor vergelijkbare prestaties.
Ablatie-studies: Experimenten bevestigden dat het gebruik van de posterieure overtuiging als een controlesignaal (het triggeren van interruptie) effectiever is dan het louter gebruiken als context in de planner-prompt. De directe koppeling van de overtuiging aan herplanning-beslissingen bleek de primaire drijfveer voor verbeterde coördinatie.

Betekenis en Claims

Het artikel betoogt dat effectieve multi-agent coördinatie meer vereist dan alleen accurate partner-modellering; het vereist een principieel mechanisme om te beslissen wanneer men moet handelen op basis van dat model. De auteurs stellen dat:

Geloof is onvoldoende zonder controle: Het correct afleiden van de intentie van een partner garandeert geen coördinatie als de agent er niet in slaagt een verouderd plan te onderbreken.
Selectieve herplanning is superieur aan frequente herplanning: Reageren op elke gedragsverandering veroorzaakt excessieve churn. Het detecteren van specifieke contradicties tegenover een stabiele overtuiging maakt efficiënte adaptatie mogelijk.
Het overbruggen van de ToM-kloof: Het werk adresseert de "literal–functional Theory of Mind" kloof door aan te tonen dat het bijwerken van overtuigingen direct gekoppeld moet worden aan controlesignalen om te voorkomen dat agenten redundante of conflicterende strategieën blijven uitvoeren.

De auteurs merken bescheiden beperkingen op, specifisch dat de methode leunt op een vaste, handmatig gespecificeerde bibliotheek van vaardigheden en minder effectief is in nauw gekoppelde omgevingen (Forced Coordination) waar de beperkingen van de onderliggende LLM-planner prominenter zijn. Zij identificeren het leren van de vaardigheidsruimte en het gezamenlijk aanpassen van zowel de overtuigingsschatting als de actie-selectie als noodzakelijke toekomstige richtingen.