Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders

Technische Samenvatting: Multimodale Voice Activity Projection voor Beurtwisseling in Sociale Robots

Probleemstelling
Effectieve Mens-Robot Interactie (HRI), met name in rollen als sociale bemiddelaar waarbij een robot mens-mens dialoog faciliteert, vereist nauwkeurige voorspelling van beurtwisseling (turn-taking). Huidige systemen vertrouwen vaak op reactieve, heuristische regels gebaseerd op stilte-duur (bijv. het detecteren van een End-of-Turn na ~700 ms). Deze benaderingen falen in het vatten van de voorspellende aard van menselijke conversatie, waarbij sprekers overgangsrelevante plaatsen (Transition-Relevant Places, TRPs) anticiperen en responsen coördineren met minimale vertraging (Floor Transfer Offset). Bovendien missen bestaande Spoken Dialogue Systems (SDS) vaak multimodale perceptie, wat leidt tot fouten zoals het reageren op achtergrondspraak of het verkeerd identificeren van de actieve spreker. Hoewel Voice Activity Projection (VAP) een robuust kader heeft opgeleverd voor het voorspellen van toekomstige stemactiviteit (VA) in dyadische interacties, blijven de meeste implementaties audio-only of vertrouwen ze op generieke multimodale encoders die een gebrek hebben aan taakspecifieke afstemming met spraakdynamiek.

Methodologie
De auteurs stellen een Multimodale Voice Activity Projection (MM-VAP) framework voor die de oorspronkelijke audio-only VAP-formulering uitbreidt naar gesynchroniseerde audio-visuele inputs. Het kerndoel is om de toekomstige VA van twee sprekers over een temporele horizon ($\Delta t$) te projecteren door hun relationele dynamiek te modelleren.

• Architectuur: Het model maakt gebruik van een transformer-gebaseerde architectuur met vijf stadia: preprocessing, backbone encoding, inter-speaker attention, prediction heads en post-processing.
  • Backbones: In plaats van generieke encoders gebruikt het systeem pretrained audio-visuele backbones die specifiek zijn geoptimaliseerd voor spraakgerelateerde taken: TalkNet (voor Active Speaker Detection) en WhisperFlamingo (voor Audio-Visual Speech Recognition). Deze backbones leveren latente representaties die inherent zijn afgestemd op spraakactiviteit en de audio-visuele temporele coördinatie behouden.
  • Adaptatie (LoRA): Om deze grote pretrained modellen efficiënt aan te passen aan de specifieke beurtwisselingstaak zonder volledige fine-tuning, gebruiken de auteurs Low-Rank Adaptation (LoRA). Deze strategie bevriest de originele gewichten ($W^0$) en introduceert trainbare low-rank matrices ($A$ en $B$) om de gewichtsaanpassingen ($\Delta W$) te benaderen, waardoor het model kan specialiseren terwijl de computationele efficiëntie behouden blijft.
  • Inter-Speaker Attention: Na onafhankelijke encoding van de audio-visuele stroom van elke spreker, modelleert een cross-attention mechanisme de interactie tussen sprekers, waarbij de voorspelling van de toekomstige staat van de ene spreker wordt geconditioneerd op de huidige multimodale staat van de andere.
• Output en Inferentie: Het model projecteert een venster van 2 seconden in de toekomst, verdeeld in vier temporele bins per spreker, wat resulteert in een gezamenlijke 256-toestandsruimte ($2^{2 \times 4}$). Beurtwisselingsgebeurtenissen (Shift, Hold, Backchannel, etc.) worden op een zero-shot manier afgeleid door de waarschijnlijkheden van specifieke microtoestanden te aggregeren, waardoor de noodzaak voor handmatige annotaties van beurtwisselingen tijdens de training wordt geëlimineerd.
• Loss Function: Om de disbalans van zeldzame dialoogtoestanden aan te pakken en semantische consistentie te waarborgen, wordt een semantische consistentie loss ($L_{sem}$) toegevoegd aan de standaard cross-entropy losses. Deze term moedigt het model aan om massaverdeling toe te kennen aan alle microtoestanden die dezelfde semantische dialoogtoestand delen (bijv. "Spreker 1 actief"), wat de trainingsstabiliteit en de afstemming met event-inferentie verbetert.

Belangrijkste Bijdragen

1. MM-VAP Architectuur: Een audio-visueel framework dat VA-gerelateerde pretrained encoders integreert, waardoor hun natuurlijke representatieve en fusievermogens behouden blijven voor verbeterde voice activity projection.
2. Parameter-efficiënte Adaptatie: De toepassing van LoRA om grote, op spraakactiviteit gerichte multimodale encoders te specialiseren voor de beurtwisselingstaak, waarbij de computationele kosten van volledige fine-tuning worden vermeden.
3. Mediator-georiënteerde Evaluatie: De eerste toepassing van MM-VAP in een robotica-context, waarbij specifiek de effectiviteit wordt geëvalueerd voor voorspellende beurtwisseling in de Haru sociale bemiddelaar-setting.
4. Semantische Regularisatie: De introductie van een semantische consistentie loss om de 256-toestandsoutputruimte te regulariseren volgens hogere-orde dialoogpatronen.

Resultaten
Experimenten werden uitgevoerd op de NoXi en NoXi+J corpora (meertalige dyadische interacties) en de Haru EDR corpus (mediator-georiënteerde interacties).

• Prestaties: De voorgestelde MM-VAP modellen (gebruikmakend van TalkNet en WhisperFlamingo met LoRA) presteerden consequent beter dan non-pretrained baselines (CPC + 3DResNet) en vorige state-of-the-art methoden over meerdere talen (Engels, Duits, Frans, Japans, Chinees).
• Specifieke Metrieken: De modellen vertoonden significante verbeteringen in Shift prediction (S-pred) en Shift/Hold (S/H) gebeurtenissen. Zo behaalde WhisperFlamingo op de NoXi+J dataset een S-pred F1-score van 0,97 voor Engels en Duits, terwijl TalkNet 0,94 behaalde voor Duits.
• Meertalige Robuustheid: De aanpak demonstreerde sterke generalisatie over talen, waarbij gezamenlijke meertalige training competitieve resultaten opleverde die vergelijkbaar zijn met taal-specifieke implementaties.
• Robotica Validatie: Op de Haru EDR dataset behaalden de modellen een hoge nauwkeurigheid (bijv. 0,92 voor Hold en Shift gebeurtenissen met WhisperFlamingo), wat de geschiktheid van de aanpak valideert voor het beheren van de conversatieflow in bemiddelingsscenario's.

Significantie en Claims
Het artikel claimt dat de combinatie van gespecialiseerde, op spraakactiviteit gerelateerde pretrained encoders en LoRA-adaptatie een effectiever framework biedt voor multimodale VAP dan het gebruik van generieke encoders of handmatig ontworpen features. De auteurs stellen dat deze aanpak succesvol de voorspellende dynamiek overdraagt die vereist is voor beurtwisseling, met name ten gunste van de mediation-georiënteerde HRI waar de robot de vloerwisselingen moet anticiperen in plaats van enkel te reageren op stilte. Hoewel de studie beperkt is tot offline evaluatie en de computationele uitdagingen van real-time implementatie met grote encoders erkent, suggereren de resultaten dat deze richting een sterk potentieel heeft voor het verbeteren van sociaal robotgedrag in mens-mens communicatiesettings. Dit werk positioneert MM-VAP als een levensvatbare stap naar vloeiend, voorspellend en multimodaal beheer van beurtwisseling in sociale robotica.