💻 computer science

PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction

In dit paper wordt PolySLGen voorgesteld, een online framework dat realistische, multimodale spreek- en luisterreacties genereert voor een deelnemer in polyadische interacties door gebruik te maken van pose-fusie en sociale aanwijzingen om de dynamiek van groepsgesprekken beter na te bootsen dan bestaande methoden.

Oorspronkelijke auteurs: Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een levendige groepsgesprek zit, zoals rond een tafel in een gezellig café of tijdens een spelletjeavond. Iedereen praat, lacht, gebaart en luistert. Nu, probeer een robot of een virtuele figuur (een "AI") die deelneemt aan dit gesprek.

Het probleem met de huidige robots is dat ze vaak als een stijve pop in de hoek staan. Als ze praten, bewegen ze niet goed. Als ze luisteren, doen ze niets. En als er drie of meer mensen tegelijk praten, raken ze volledig in de war. Ze weten niet wanneer ze moeten stoppen met praten en gaan luisteren, of hoe ze moeten reageren op iemand die naar hen kijkt.

PolySLGen is de oplossing voor dit probleem. Het is een slimme nieuwe manier om AI te leren reageren in een groep, alsof het een echte mens is. Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Groepsdynamiek" Detector

In een gesprek tussen twee mensen (een "dyade") is het makkelijk: A praat, B luistert. Maar in een groep van vijf mensen is het een chaos van signalen. Iemand kijkt naar jou, iemand anders gebaart, en een derde zegt iets grappigs.

De Analogie: Stel je voor dat PolySLGen een orkestleider is die niet alleen naar de solist luistert, maar naar iedereen in het orkest.
Hoe het werkt: De AI kijkt niet alleen naar wat er gezegd wordt, maar ook naar hoe iedereen zich beweegt. Als iemand in de groep naar jou kijkt, of als iemand anders stopt met praten, "voelt" de AI dit. Het heeft een speciaal zintuig (de Social Cue Encoder) dat merkt: "Ah, die persoon kijkt naar mij, ik moet misschien iets zeggen!"

2. De "Twee Hoeden" (Praten én Luisteren)

Vroeger konden AI's meestal alleen maar praten (en dan wel met een vast script) of alleen maar stilstaan als ze luisterden. Ze konden niet natuurlijk overgaan van het ene naar het andere.

De Analogie: Denk aan een jazzmusicus. Een goede jazzmusicus weet precies wanneer hij moet improviseren (praten) en wanneer hij moet luisteren naar de drummer om mee te swingen (luisteren).
Hoe het werkt: PolySLGen heeft een "speaking state score". Dit is een soort intuïtie. De AI zegt tegen zichzelf: "De kans dat ik nu moet praten is 80%." Als die kans laag is, gaat hij automatisch in een luistermodus, maar dan wel met een natuurlijk gebaar (bijvoorbeeld knikken of naar de spreker kijken), in plaats van als een standbeeld te staren.

3. De "Geheime Saamhorigheid" (Pose Fusion)

Als je een robot de bewegingen van vijf mensen tegelijk laat zien, wordt het brein van de robot overbelast. Het wordt een rommeltje.

De Analogie: Stel je voor dat je een chef-kok bent die een recept moet maken. Als je vijf verschillende koks tegelijk instructies geeft, word je gek. Maar als je een sous-chef hebt die alle instructies samenvat tot één helder bericht ("We moeten nu de saus roeren"), kun je perfect koken.
Hoe het werkt: PolySLGen heeft een "Pose Fusion" module. Deze neemt alle bewegingen van de groep en smelt ze samen tot één compacte "smaak" (een embedding). De AI hoeft niet naar 50 verschillende armen en benen te kijken, maar ziet één duidelijk beeld van wat de groep doet. Dit maakt het veel sneller en slimmer.

4. Waarom is dit belangrijk?

Tot nu toe waren robots goed in één-op-één gesprekken (zoals een chatbot). Maar in het echte leven praten we in groepen. Of het nu gaat om een robot die helpt in een klaslokaal, een virtuele assistent in een vergadering, of een game-figuur die meedoet aan een rolspel (zoals in de test met Dungeons & Dragons): ze moeten kunnen reageren op de hele groep, niet alleen op één persoon.

Samenvattend:
PolySLGen is als het toevoegen van sociale intelligentie aan een robot. Het leert de robot om:

Naar de hele groep te kijken, niet alleen naar één persoon.
Te voelen wanneer het zijn beurt is om te praten of te luisteren.
Zich natuurlijk te bewegen, alsof hij echt bij het gesprek hoort.

Het resultaat is een virtuele figuur die niet meer voelt als een computer die een script afleest, maar als een echte deelnemer aan het gesprek die je uitnodigt om mee te doen.

Probleemstelling

Bestaande methoden voor het genereren van reacties in mens-AI-interacties hebben drie belangrijke beperkingen die hen ongeschikt maken voor realistische sociale scenario's:

Beperkte interactie-dynamiek: De meeste modellen zijn ontworpen voor dyadische (twee-persoons) interacties en kunnen de complexe dynamiek van polyadische (meerdere personen) situaties niet modelleren.
Modale beperkingen: Veel systemen genereren alleen spraak of alleen beweging, of ze vereisen toekomstige context (offline), wat onmogelijk maakt voor online, causale reacties op basis van waarnemingen.
Gebrek aan non-verbale cues en beurtwisseling: Bestaande modellen negeren vaak non-verbale aanwijzingen (zoals lichaamshouding en blikrichting) en het vermogen om dynamisch te schakelen tussen spreken en luisteren, wat essentieel is voor natuurlijke conversatie.

Het doel is een systeem te creëren dat in real-time (online) zowel spraak als lichaamsgestiek genereert voor een doelwit-deelnemer in een groepssituatie, rekening houdend met de bewegingen en spraak van alle andere deelnemers.

Methodologie: PolySLGen

PolySLGen is een online framework dat de toekomstige reactie van een doelwit-deelnemer genereert op basis van waargenomen spraak en beweging van een groep. De architectuur bestaat uit de volgende kerncomponenten:

Invoer en Encodering:
- Spraak: Audio wordt omgezet naar tekst (via ASR) en een spraakstijl-embeddings (via StyleTTS 2) om prosodie en emotie te vangen.
- Beweging (Pose Fusion Module): Om de coherentie tussen meerdere deelnemers te behouden zonder de contextlengte van het LLM te overbelasten, wordt een Pose Fusion Module gebruikt. Deze module aggregeert de bewegingen van alle deelnemers (doelwit en anderen) in één compacte embedding. Dit gebeurt via een hiërarchische transformer met self-attention (voor intra-deelnemer dynamiek) en cross-attention (voor inter-deelnemer afhankelijkheden).
- Sociale Cues (Social Cue Encoder): Een speciale encoder analyseert de koporiëntatie van niet-doelwit-deelnemers om te bepalen hoeveel aandacht ze naar het doelwit richten. Dit wordt berekend als een cosine-afstand tussen de koporiëntatie en de relatieve positievector.
Kernmodel (LLM):
- Een voorgeïnstalleerde Large Language Model (LLM), specifiek Llama3-8B, fungeert als de ruggengraat voor redenering.
- De module gebruikt LoRA (Low-Rank Adaptation) om het model te fine-tunen op de multimodale taken zonder de volledige LLM opnieuw te trainen.
- De LLM ontvangt de geëncodeerde tekst, spraakstijl, gefuseerde beweging en sociale cues als input.
Output Generatie:
- Multimodale Reactie: Het model genereert simultaan tekst, spraakstijl en 3D-lichaamsbeweging (handen en lichaam).
- Sprekende Status Score: Een cruciale component is de voorspelling van een "speaking state score" ( $r$ ). Dit is een zachte indicator (geen harde schakeling) die aangeeft of het doelwit moet spreken of luisteren. Dit stelt het systeem in staat om natuurlijk te schakelen tussen deze toestanden.
- Decoders: Specifieke decoders (MLP's) mappingen de LLM-uitvoer terug naar de oorspronkelijke modaliteiten (tekst, audio-stijl, beweging).

Belangrijkste Bijdragen

Eerste Online Polyadisch Framework: Het is het eerste systeem dat online, multimodale reacties (zowel spreken als luisteren) genereert in een polyadische setting.
Dynamische Beurtwisseling: Door de expliciete voorspelling van de sprekkende status, kan het systeem dynamisch schakelen tussen spreken en luisteren, in plaats van een standaard "luister"-animatie te gebruiken.
Groepsdynamiek Modellering: De unieke combinatie van een Pose Fusion module en een Social Cue Encoder stelt het model in staat om complexe, onderlinge afhankelijkheden in een groep te begrijpen, wat essentieel is voor realistische interacties.
Robuustheid: Het systeem kan omgaan met ontbrekende deelnemers (bijvoorbeeld door sensoruitval), wat het geschikt maakt voor real-world toepassingen.

Resultaten

Het model is getest op het DnD Group Gesture dataset (een tabletop rollenspel met 5 deelnemers) en vergeleken met state-of-the-art baselines zoals SOLAMI, ConvoFusion en LM-L2L.

Kwaliteit van Beweging: PolySLGen presteert significant beter dan alle baselines op metrics zoals MPJPE (Mean Per Joint Position Error) en FID (Fréchet Inception Distance), wat aangeeft dat de gegenereerde bewegingen nauwkeuriger en diverser zijn.
Spraak en Alignement: Het model behaalt de beste scores op BERTScore (semantische relevantie) en BeatAlign (synchronisatie tussen spraak en beweging).
Voorspelling Spreken/Luisteren: Met een AP (Area under Precision-Recall curve) van 0.67 overtreft PolySLGen de baselines (die rond de 0.50 liggen, wat neerkomt op willekeur) in het voorspellen van wanneer een deelnemer moet spreken.
User Study: Menselijke beoordelaars vonden de reacties van PolySLGen natuurlijker, met name op het gebied van bewegingscontinuïteit en coherentie, vergeleken met de concurrent SOLAMI.
Ablatie Studies: De studies bevestigen dat zowel de Pose Fusion module als de Social Cue Encoder essentieel zijn; het verwijderen van deze componenten leidt tot een aanzienlijke daling in prestaties.

Betekenis en Toekomst

PolySLGen zet een nieuwe standaard voor de ontwikkeling van Embodied AI (geëmbodeerde kunstmatige intelligentie) in groepsomgevingen. Het bewijst dat het mogelijk is om real-time, contextbewuste en multimodale reacties te genereren die rekening houden met de complexe sociale dynamiek van meerdere personen.

Dit werk is van groot belang voor toepassingen zoals:

Robotica: Robots die natuurlijk kunnen communiceren in groepen (bijv. in onderwijs of zorg).
Virtuele Agenten: Realistische NPC's in games of virtuele werelden.
Sociale AI: Systemen die kunnen deelnemen aan groepsdiscussies zonder de conversatie te verstoren.

De auteurs merken op dat de huidige inferentie nog niet volledig real-time is (ongeveer 5 FPS op een A100 GPU), voornamelijk door de LLM-berekeningen, maar dat dit een veelbelovende richting is voor toekomstige optimalisaties.