🤖 AI

MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild

MuVAP is een causaal multimodaal framework dat sprekersbewuste beurtnamevoorspelling in meervoudige interacties mogelijk maakt met behulp van uitsluitend monauraal audio en een enkel camerabeeld door Role-Relative Projection te introduceren om sprekersmodellering te vereenvoudigen en de Audio-Visual Conversation Corpus te gebruiken om onbewerkte trainingsdata te bieden.

Oorspronkelijke auteurs: Haotian Qi, Gabriel Skantze

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haotian Qi, Gabriel Skantze

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je aan een eettafel zit met drie vrienden. Je luistert niet alleen naar woorden; je observeert gezichten, wacht op een pauze en merkt op wie naar voren leunt om te spreken. Het is een complexe dans waarbij iedereen precies weet wanneer hij moet praten en wanneer hij moet luisteren, vaak zonder een woord te zeggen.

Stel je nu voor dat je een robot probeert te leren om deel te nemen aan dat diner. Dat is de uitdaging waar dit artikel een antwoord op biedt.

Het Probleem: Robots zijn slecht in "eettafel"-gesprekken

De meeste robots die ontworpen zijn om met mensen te praten, zijn als mensen die slechts één oor hebben en geen ogen. Ze vertrouwen op microfoonarrays (veel microfoons gerangschikt in een cirkel) om te horen wie er spreekt, of ze hebben meerdere camera's nodig om iedereen te zien.

Maar in de echte wereld heeft een robot meestal slechts één camera en één microfoon. Als drie mensen door elkaar praten, raakt een standaardrobot in de war. Hij kan niet onderscheid maken tussen wie wie is, dus kan hij niet voorspellen wie er als volgende gaat spreken. Het is alsoft te raden wie de bal zal vangen in een spelletje vangen en gooien waarbij je de spelers niet kunt zien, alleen het geluid hoort.

De Oplossing: MuVAP (De "Sociale Radar")

De auteurs introduceren MuVAP (Multimodal Multiparty Voice Activity Projection). Denk aan MuVAP als een "sociale radar" die horen en zien combineert om de stroom van een gesprek te voorspellen.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Wie" en de "Wanneer"

De "Wanneer" (Voice Activity): Net zoals een mens luistert naar het ritme van de spraak, luistert MuVAP naar het audiofragment om te raden wanneer iemand bijna stopt met praten of begint te praten.
De "Wie" (Face Tracking): Dit is het magische deel. MuVAP gebruikt de enkele camera om gezichten te volgen. Het ziet niet alleen "een gezicht"; het houdt specifieke mensen vast (zoals "Rood Shirt", "Groen Shirt", "Geel Shirt"). Vervolgens koppelt het het geluid dat uit de microfoon komt aan die specifieke gezichten.
- Analogie: Stel je een dirigent voor in een orkest. De dirigent (MuVAP) hoort de muziek (audio) maar kijkt ook naar de muzikanten (gezichten). Als de violist (Gezicht A) stopt met spelen, weet de dirigent dat het geluid nu van de fluitist (Gezicht B) komt, zelfs als ze allemaal in dezelfde kamer spelen.

2. De "Role-Relative" Truc (Het vereenvoudigen van de chaos)
Het voorspellen van wie er als volgende spreekt in een groep van 3, 4 of 5 mensen is wiskundigdan erg ingewikkeld. Het is alsof je elke mogelijke permutatie van een spelletje stoelendans probeert te voorspellen.

De Oude Manier: Probeer elke persoon individueel tegenover elke andere persoon te modelleren. Dit wordt te snel te ingewikkeld.
MuVAP's Manier (Role-Relative Projection): In plaats van iedereen individueel te volgen, vereenvoudigt MuVAP de wereld in twee rollen: "De Persoon die het Woord Heeft" (momenteel aan het praten) en "De Persoon die Waarschijnlijk het Woord Zal Overnemen" (op het punt om te gaan praten).
- Analogie: In een drukke kamer hoef je niet ieders naam te weten om te weten wie er als volgende spreekt. Je hoeft alleen maar te weten wie er momenteel praat en wie er uitziet alsof hij op het punt staat te onderbreken. MuVAP negeert de rest van de menigte en focust alleen op deze "Huidig vs. Volgende" dynamiek. Hierdoor kan het systeem werken met een willekeurig aantal mensen zonder dat het opnieuw getraind hoeft te worden.

3. De Nieuwe "Trainingsgrond" (AVCC Dataset)
Om deze robot te leren, realiseerden de auteurs zich dat bestaande data defect was.

Het Probleen met Oude Data: Veel videodatasets zijn als bewerkte films. Ze bevatten "jump cuts" (plotselinge montages) die natuurlijke pauzes en stiltes verwijderen. Als je een robot traint op bewerkte video's, leert hij dat gesprekken in een vacuüm plaatsvinden, wat niet waar is.
De Oplossing (AVCC): De auteurs verzamelden 31 uur aan onbewerkte, ruwe video van het internet (zoals Twitch-streams of YouTube-vlogs) waar mensen gewoon natuurlijk chatten.
- Analogie: In plaats van een bestuurder te leren rijden met een videogame met perfect bewerkte circuits, hebben ze de bestuurder geleerd met echte, rommelige verkeersbeelden met kuilen, plotselinge stops en onvoorspelbare bestuurders. Dit maakt de robot klaar voor de echte wereld.

Wat hebben ze gevonden?

Ze hebben MuVAP getest op twee hoofdtaken:

Shift-Hold Predictie: Kan de robot vertellen of de huidige spreker op het punt staat te stoppen (Shift) of door te gaan (Hold)?
Next Speaker Predictie: Kan de robot raden welke specifieke persoon als volgende gaat spreken?

De Resultaten:

MuVAP versloeg de standaard "domme" baselines (zoals het raden van het meest voorkomende antwoord of willekeurig gokken).
Het werkte goed, zelfs met slechts één microfoon en één camera.
Het ging effectief om met groepen van 2 en 3 personen.
Belangrijk inzicht: De visuele informatie (het zien van de gezichten) was cruciaal. Zonder deze informatie raakte de robot in de war wanneer stemmen over elkaar heen liepen. De visuele tracks fungeerden als een anker, waardoor de audiosignalen correct gesorteerd konden worden.

De Kernboodschap

Dit artikel presenteert een systeem waarmee een robot kan deelnemen aan een gesprek in een chaotische, echte omgeving met behulp van standaard hardware (één camera, één microfoon). Door de complexe wiskunde van groepsdynamica te vereenvoudigen tot een focus op "Huidig vs. Volgende" en te trainen op ruwe, onbewerkte menselijke interacties, kan MuVAP de beurtwisseling natuurlijker voorspellen dan eerdere modellen.

De auteurs zijn van plan om dit van een computersimulatie naar een fysieke robot te brengen om te zien hoe het omgaat met realtime gesprekken met mensen.

Technische Samenvatting: MuVAP

Probleemstelling

Huidige modellen voor meervoudige beurtwisseling (multiparty turn-taking) kampen met aanzienlijke beperkingen in realistische mens-robotinteractie (HRI)-scenario's. Traditionele benaderingen vertrouwen vaak op complexe microfoonarrays, multi-camera-opstellingen of multi-kanaals audio-inputs om sprekers te isoleren, wat onpraktisch is in ongecontroleerde omgevingen. Bovendien lijden bestaande Voice Activity Projection (VAP)-modellen, hoewel effectief voor dyadische (twee-persoons) interacties, onder combinatorische complexiteit wanneer ze worden geschaald naar meervoudige settings; de labelruimte groeit exponentieel met het aantal sprekers ( $N$ ), waardoor ze ongeschikt zijn voor dynamische groepsgroottes. Daarnaast bevatten bestaande datasets die gebruikt worden voor Active Speaker Detection (ASD) vaak redactionele knipjes (jump cuts) die de causale temporele stroom verstoren die vereist is voor het trainen van voorspellende beurtwisselingsmodellen.

Methodologie

De auteurs stellen MuVAP (Multimodal Multiparty Voice Activity Projection) voor, een causaal framework ontworpen om de dynamiek van beurtwisseling te voorspellen met behruik van enkel een enkele monofone audiostroom en een enkele camerabeelden. De architectuur bestaat uit drie primaire componenten:

Role-Relative Projection: Om het schaalbaarheidsprobleem van meervoudige modellering aan te pakken, introduceren de auteurs een nieuwe abstractie die elke $N$ -sprekersinteractie in kaart brengt op een vaste "Current vs. Next" floor-holder staat. In plaats van alle mogelijke sprekerpermutaties te modelleren, identificeert het systeem de spreker met de hoogste historische activiteit als de "Current Holder" en de spreker met de hoogste toekomstige activiteit als de "Next Holder". Dit reduceert de variabele $N$ -sprekersstaat naar een vaste paar-representatie, waardoor de labelruimte wordt gecomprimeerd van exponentieel naar een beheersbare grootte (136 unieke staten voor een 8-bit vector).
Causale Multimodale Architectie:
- VAP Backbone: Extraheert prosodische en linguïstische kenmerken uit ruwe audio met behulp van een Contrastive Predictive Coding (CPC) encoder en een causale Transformer.
- Causale ASD Backbone: Een aangepaste TalkNet-architectuur die wordt voorgetraind op meerdere datasets om robuuste visuele embeddings te genereren voor spreker-separatie. Het maakt gebruik van causale convoluties en cross-attention om akoestische signalen te koppelen aan specifieke gezichtstracks zonder afhankelijk te zijn van toekomstige frames.
- Fusie Module: Het model fuseert globale audio-embeddings ( $Z_{VAP}$ ) met individuele spreker visuele embeddings ( $Z_{ASD}$ ) via een Frame Transformer en een Temporal Transformer. Het produceert twee outputs: GlobalVAP (GVAP) voor het voorspellen van de globale shift/hold-staat en SpeakerVAP (SVAP) voor het voorspellen van specifieke sprekeractiviteit.
Trainingsstrategie: Het model maakt gebruik van een modulaire trainingsaanpak:
- Fisher Corpus (1960u): Voor het leren van akoestische beurtwisselingssignalen (VAP).
- MSDWild, WASD, AVA-AS (140u+): Voor het voortrainen van de ASD-module.
- AVCC (31u): Voor het optimaliseren van temporele dynamiek op ongeëditeerde, continue meervoudige sequenties.

Belangrijkste Bijdragen

MuVAP Framework: Een causaal, multimodaal model dat spreker-bewuste beurtwisselingsvoorspelling mogelijk maakt vanuit een enkele audio-kanaal en enkele camerabeelden, waardoor de noodzaak voor microfoonarrays of multi-view geometrie wordt geëlimineerd.
Role-Relative Projection: Een nieuwe methode om de complexiteit van meervoudige interacties aan te pakken door groepsdynamiek te abstraheren naar een vaste "Current vs. Next" staat, waardoor het model kan generaliseren naar willekeurige groepsgroottes zonder hertraining.
Audio-Visual Conversation Corpus (AVCC): De introductie van een nieuwe 31-urige dataset van ongeëditeerde, single-camera meervoudige gesprekken. In tegen tegenstelling tot bestaande datasets (bijv. MSDWild), behoudt AVCC de natuurlijke conversationele flow, inclusief wederzijdse stiltes, overlappingen en pre-turn cues, die essentieel zijn voor causale beurtwisselingsmodellering.
Hiërarchische Voorspelling: Een dual-task benadering waarbij GVAP fungeert als een "sociale dirigent" om globale beurttransities te voorspellen, die vervolgens de SVAP conditioneren om de specifieke volgende spreker te identificeren.

Resultaten

Evaluaties werden uitgevoerd op de AVCC-dataset voor twee taken: Shift-Hold Prediction (binaire classificatie van of een beurt verschuift of wordt vastgehouden) en Next Speaker Prediction (NSP) (het identificeren van de volgende spreker).

Shift-Hold Prediction: MuVAP presteerde beter dan sterke baselines, inclusioneel een unimodale VAP-model en een niet-gefuseerde MLP-baseline. In 2-sprekerssettings behaalde MuVAP een Macro-F1 van 0.696 (Silent) en 0.641 (Active), vergeleken met respectievelijk 0.672 en 0.622 voor het unimodale VAP-model. De resultaten geven aan dat visuele grounding aanzienlijk helpt bij het ontwarren van overlappende akoestische signalen.
Next Speaker Prediction: MuVAP behaalde een nauwkeurigheid van 0.637 (2-sprekers, Silent) en 0.477 (3-sprekers, Silent), waarmee het de MLP-baseline versloeg. De prestaties verbeterden verder wanneer voorspellingen werden geconditioneerd op GVAP-outputs en eerdere sprekeridentificatie.
Role-Relative Validatie: Experimenten op de Fisher-corpus toonden aan dat de Role-Relative Projection (met gebruik van mono audio) een Macro-F1 van 0.778 bereikte, slechts iets lager dan de spreker-gebaseerde projectie met gebruik van stereo audio (0.799), wat de levensvatbaarheid van de aanpak voor single-channel inputs valideert.

Betekenis en Claims

Het artikel claimt dat MuVAP een belangrijke stap vormt naar het inzetten van responsieve conversationele agenten in realistische sociale omgevingen met behulp van standaard consumentenhardware (enkele microfoon en camera). Door aan te tonen dat visuele grounding via ASD-tracks effectief kan dienen als vervanging voor ruimtelijke audio-separatie, pakt het framework een kritieke bottleneck in HRI aan. De auteurs benadrukken dat hun aanpak de menselijke sociale aandacht nabootst door zich te concentreren op de huidige en volgende floor-holders, waardoor de combinatorische explosie van gezamenlijke modellering wordt omzeild.

De introductie van de AVCC-dataset wordt benadrukt als een cruciale bijdrage, aangezien het de eerste grootschalige, ongeëditeerde bron biedt voor het trainen van causale beurtwisselingsmodellen in de praktijk, waarbij de beperkingen van geëditeerde datasets die de temporele continuïteit verbreken, worden overwonnen. De auteurs concluderen dat het combineren van schaalbare staat-reductie (Role-Relative Projection) met audiovisuele grounding een robuust pad biedt voor meervoudige interactievoorspelling, hoewel zij opmerken dat toekomstig werk nodig is om de schaalbaarheid op grotere groepen en diverse talen te valideren.