💻 computer science

M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction

Dit artikel introduceert M2HRI, een multimodaal multi-agent framework dat op grote taalmodellen is gebaseerd om robots met unieke persoonlijkheden en langetermijngeheugen te voorzien, waardoor in een gebruikersstudie is aangetoond dat zowel individuele agenten als gecoördineerde samenwerking essentieel zijn voor persoonlijke en sociale mens-robotinteractie.

Oorspronkelijke auteurs: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een kamer komt met twee robots. In de oude wereld van robotica waren deze twee robots als identieke tweelingen: ze deden precies hetzelfde, hadden geen eigen karakter en vergeten alles wat je eerder tegen hen had gezegd. Als je tegen de ene robot praatte, reageerde de andere misschien ook, waardoor het een chaotisch gesprek werd waarin ze elkaar onderbraken.

Dit nieuwe onderzoek, genaamd M2HRI, probeert dit probleem op te lossen door robots te maken die meer lijken op echte mensen dan op machines.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Elke robot heeft een eigen persoonlijkheid (Het "Personage")

In het verleden waren robots als leeg schijfjes: ze konden alleen de opdracht uitvoeren die ze kregen.
Bij M2HRI krijgt elke robot een eigen "personage", net als in een film of een boek.

De Analogie: Stel je twee robots voor als twee verschillende vrienden. De ene is Sam, een beetje een dromer die dol is op rare hobby's en creatieve ideeën (hij is "Open"). De andere is Journey, een beetje nerveus en bezorgd, die graag alles ordelijk heeft (hij is "Zorgzaam").
Het Resultaat: Als je met ze praat, kun je duidelijk horen wie wie is. De ene robot is enthousiast en praat snel, de andere is rustig en nadenkend. De mensen in het onderzoek konden dit verschil heel goed voelen. Het maakt het gesprek interessanter, alsof je met twee verschillende mensen praat in plaats van met twee kopieën van dezelfde computer.

2. Robots met een goed geheugen (Het "Herinneringsboek")

Stel je voor dat je elke dag naar een vriend gaat, maar die vriend heeft amnesie. Hij vergeet direct wie je bent, wat je favoriete eten is, of dat je gisteren een slechte dag had. Dat is vervelend, toch?

De Analogie: De robots in dit onderzoek hebben een digitaal dagboek (lange-termijngeheugen). Als je tegen robot Sam zegt: "Ik hou van blauw en ik haat spinazie," onthoudt Sam dat. Als je de volgende dag terugkomt, zegt Sam: "Hoi! Wil je weer die blauwe trui aan? En geen spinazie vanavond?"
Het Resultaat: Zonder dit geheugen voelt het gesprek als met een vreemde die je net hebt ontmoet. Met het geheugen voelt het als een vriendschap. De robots lijken je echt te kennen en passen zich aan jouw voorkeuren aan.

3. Een regisseur die het gesprek leidt (De "Orkestleider")

Dit is misschien wel het belangrijkste deel. Stel je voor dat twee mensen tegelijkertijd beginnen te praten, elkaar onderbreken en allebei proberen het woord te nemen. Dat is ongemakkelijk en verwarrend.

De Analogie: In het oude systeem probeerden de robots zelf te beslissen wie er mocht praten, wat leidde tot ruzie. In het M2HRI-systeem is er een slimme regisseur (een centrale coördinator). Deze regisseur kijkt naar wat er gebeurt, luistert naar wat je zegt en kijkt naar de persoonlijkheid van de robots.
- Voorbeeld: Als je een creatieve vraag stelt, zegt de regisseur: "Sam, jij bent de creatieve, jij mag antwoorden!" Als je een praktische vraag stelt, zegt hij: "Journey, jij bent de ordelijke, jij mag antwoorden!"
Het Resultaat: De robots praten niet meer over elkaar heen. Ze wisselen elkaar netjes af, net als een goed georganiseerd gesprek tussen vrienden. Het voelt natuurlijk en vloeiend, in plaats van chaotisch.

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest met 105 mensen. De resultaten waren duidelijk:

Persoonlijkheid werkt: Mensen vonden het leuker om met robots te praten die een eigen karakter hadden. Ze konden de robots makkelijk uit elkaar houden.
Geheugen maakt het persoonlijk: Robots die zich dingen herinnerden, werden gezien als veel vriendelijker en attent.
Coördinatie is cruciaal: Zonder een regisseur werd het gesprek rommelig. Met een regisseur voelde het als een echte, goed georganiseerde interactie.

Kortom:
Dit onderzoek laat zien dat voor een goede samenwerking tussen mensen en robots, we niet alleen slimme machines nodig hebben, maar machines die uniek zijn (persoonlijkheid), onthouden (geheugen) en samenwerken (coördinatie). Het is het verschil tussen een groep identieke soldaten en een team vrienden die elkaar kennen en perfect op elkaar inspelen.

Probleemstelling

Bestaand onderzoek op het gebied van Multi-Robot Human-Robot Interaction (HRI) behandelt robots vaak als functioneel identieke entiteiten. Hierdoor wordt over het hoofd gezien hoe de individuele identiteit van een robot (zoals persoonlijkheid en interactiegeschiedenis) de perceptie van de gebruiker beïnvloedt. In complexe sociale omgevingen (zoals huizen of ziekenhuizen) is een enkele robot vaak ontoereikend; er is behoefte aan teams van robots. Echter, zonder individuele kenmerken en een coördinatiemechanisme dat rekening houdt met deze verschillen, gedragen robots zich als identieke machines die parallel werken. Dit leidt tot gebrekkige coördinatie, overlappende gesprekken en een gebrek aan gepersonaliseerde interactie. Het paper adresseert drie kernvragen:

Hoe beïnvloedt robotpersoonlijkheid de onderscheidbaarheid en betrokkenheid?
Hoe beïnvloedt langetermijngeheugen personalisatie en contextbewustzijn?
Hoe beïnvloedt coördinatie tussen agenten de interactiekwaliteit?

Methodologie: Het M2HRI Framework

De auteurs introduceren M2HRI, een multimodaal multi-agent framework gebaseerd op Large Language Models (LLM's) en Vision-Language Models (VLM's). Het systeem is ontworpen om zowel individuele agentidentiteit als gecoördineerde groepsdynamiek te balanceren.

1. Agent Architectuur
Elke robot-agent ( $a_i$ ) bestaat uit twee lagen: een identiteitsprofiel ( $\phi_i$ ) en een cognitieve lus ( $\Lambda_i$ ).

Identiteitsprofiel ( $\phi_i$ ):
- Geheugen ( $M_i$ ): Onderverdeeld in werkgeheugen (korte-termijn context), semantisch geheugen (feitelijke kennis) en episodisch geheugen (interactiegeschiedenis en voorkeuren). Elke agent heeft een privé-opslag voor unieke ervaringen.
- Persoonlijkheid ( $B_i$ ): Gemodelleerd via het Big Five-model (Openheid, Gewetensvolheid, Extraversie, Vriendelijkheid, Neuroticisme). Deze waarden worden vertaald naar natuurlijke taalbeschrijvingen die de redenering van de LLM sturen.
- Actiecapaciteiten ( $\Gamma_i$ ): De fysieke mogelijkheden van de robot.
Cognitieve Lus ( $\Lambda_i$ ):
- Perceptie: Een VLM verwerkt spraak en visuele input (camera) tot een semantische observatie.
- Planning: Een LLM genereert een beleidsplan (sequentie van acties zoals spreken, gebaren) gebaseerd op perceptie, geheugen, persoonlijkheid en context.
- Executie: De gemaakte plannen worden omgezet in fysiek gedrag op de robot (bijv. NAO-robots).

2. Gecentraliseerde Coördinatie
Om chaos te voorkomen, gebruikt M2HRI een centrale coördinator.

Elke agent stuurt zijn lokale observatie, context en persoonlijkheid naar de coördinator.
De coördinator (een LLM) berekent een "waarschijnlijkheidsscore" voor elke agent om te reageren, gebaseerd op wie het meest geschikt is in de huidige context.
Alleen agents boven een bepaalde drempelwaarde mogen reageren, wat overlappende gesprekken voorkomt en beurtelings spreken garandeert.

3. Experimenteel Ontwerp
Er werd een gecontroleerde gebruikersstudie uitgevoerd met 105 deelnemers. Deelnemers keken naar vooraf opgenomen video's van interacties tussen een mens en twee NAO-robots onder verschillende condities:

Persoonlijkheid: Verschillende combinaties van Big Five-traiten (hoog vs. laag).
Geheugen: Condities met en zonder langetermijngeheugen.
Coördinatie: Condities met en zonder centrale coördinatie.

Belangrijkste Resultaten

1. Persoonlijkheid (RQ1)

Onderscheidbaarheid: Gebruikers konden robots met verschillende persoonlijkheidstrekken (vooral Openheid en Neuroticisme) duidelijk van elkaar onderscheiden. Gewetensvolheid was minder goed waarneembaar in korte interacties.
Consistentie: Robots behielden hun persoonlijkheid consistent gedurende de interactie.
Betrokkenheid: Persoonlijkheid verhoogde de interactiebetrokkenheid, maar dit effect was sterker bij expressieve trekken (Openheid, Neuroticisme) dan bij rustigere trekken.
Herkenning: Deelnemers konden de bedoelde persoonlijkheidstrekken significant beter dan willekeurig herkennen (tot 93% nauwkeurigheid voor Openheid en Extraversie).

2. Geheugen (RQ2)

Het gebruik van langetermijngeheugen leidde tot een significante verbetering in de nauwkeurigheid van het herinneren van informatie en het tonen van bewustzijn van gebruikersvoorkeuren.
Hoewel de interactie ook natuurlijker werd, was het effect op "naturaliteit" kleiner dan op personalisatie. Dit suggereert dat korte-termijn context (werkgeheugen) voldoende is voor een vloeiend gesprek, maar langetermijngeheugen essentieel is voor echte personalisatie.

3. Coördinatie (RQ3)

Gecentraliseerde coördinatie had een kritieke impact op de kwaliteit van de interactie.
Het verminderde overlappende gesprekken (overlap) drastisch en verbeterde de conversatiestroom en de geschiktheid van de respons.
Zonder coördinatie reageerden robots vaak simultaan, wat als sociaal ongepast en chaotisch werd ervaren.

Bijdragen en Significantie

Technische Bijdragen:

M2HRI Framework: Een uniek systeem dat LLM's en VLM's integreert om zowel individuele agentidentiteit (persoonlijkheid + geheugen) als collectieve coördinatie te modelleren.
Architectuur: Een bewezen architectuur die de scheiding tussen identiteit (wat de agent is) en cognitie (hoe de agent werkt) mogelijk maakt, terwijl een centrale coördinator de sociale cohesie waarborgt.

Wetenschappelijke Significantie:

Identiteit is essentieel: Het paper bewijst dat robots in een team niet als identieke machines mogen worden behandeld. Individuatie via persoonlijkheid en geheugen is noodzakelijk voor een geloofwaardige sociale interactie.
Coördinatie is structureel noodzakelijk: Effectieve multi-agent HRI vereist meer dan alleen goede individuele agents; er is een gestructureerd coördinatiemechanisme nodig om sociale normen (zoals beurtelings spreken) te handhaven.
Complementariteit: De resultaten tonen aan dat individualiteit en coördinatie complementair zijn: individualiteit maakt de interactie persoonlijk en onderscheidend, terwijl coördinatie zorgt voor coherentie en sociale orde.

Conclusie:
M2HRI demonstreert dat de toekomst van sociale robotica in teams ligt in het combineren van gepersonaliseerde agentidentiteiten met intelligente coördinatie. Dit leidt tot robotten die niet alleen functioneel zijn, maar ook sociaal acceptabel, herkenbaar en betrouwbaar in menselijke omgevingen.