Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues

Technische Samenvatting: De 15%-grens doorbreken

Probleemstelling
Service-robots in retailomgevingen maken steeds vaker gebruik van gekaskadeerde spraakpipelines (Spraak-naar-Tekst, Large Language Models, Tekst-naar-Spraak) om klantinteracties te faciliteren. Deze audio-gebaseerde systemen houden echter geen rekening met het aanzienlijke deel van de interacties die worden geïnitieerd of gestuurd door nonverbale gedragingen, zoals naderen, zwaaien, wijzen of het tonen van voorwerpen. In echte implementatiesen leidt deze beperking tot gemiste kansen voor betrokkenheid, omdat de robot niet kan reageren op de intentie van de gebruiker die uitsluitend via visuele signalen wordt overgebracht. Hoewel Vision-Language Models (VLM's) een gedetailleerd begrip van gedrag bieden, maakt hun hoge computationele latentie ze ongeschikt voor real-time interactie met meerdere personen, waarbij de reactievertraging onder één seconde moet blijven.

Methodologie
De auteurs stellen een datagestuurd framework voor dat real-time herkenning van nonverbale signalen integreert met LLM-gebaseerde uitinggeneratie. De methodologie verloopt in drie fasen:

1. Dataverzameling en Analyse:

   • Een teleoperated humanoïde robot (Sota) werd zes dagen lang ingezet in een Japanse drogisterij (32 operationele uren).
   • Operators controleerden de spraak, gebaren en oogbewegingen van de robot via een remote interface, met stemconversie om aan het uiterlijk van de robot te voldoen.
   • Vanuit 2.178 opgenomen robot-uitspraken identificeerden de auteurs dat 15,3% (334 uitspraken) werden getriggerd door nonverbale gedragingen van de gebruiker in plaats van door gesproken input.
   • Een annotatieproces categoriseerde deze triggers in 21 gedragstypen en koppelde deze aan vijf dialoogintenties (bijv. Sociaal & Groet, Taakgerelateerde info, Betrokkenheidsuitnodiging).
   • Op basis van frequentie en servicerelevantie werden negen belangrijke gedragingen geselecteerd voor herkenning: Genaderd, Weggelopen, Gebruiker–gebruiker interactie, Genikt, Getoond voorwerp, In de robot gekeken, Bezittingen aangeraakt, Gewezen en Gezwaaid.

2. Real-time Herkenning van Nonverbale Signalen:

   • Een lichtgewicht, multi-person, multi-label herkenningsarchitectuur werd ontwikkeld om videoclips in real-time te verwerken.
   • Architectuur: Het systeem gebruikt een voorgetrainde Vision Transformer (V-JEPA2) als feature extractor voor de videoscene. Voor elke gevolgde persoon wordt een sequentie van bounding boxes verwerkt door een MLP om positionele features te extraheren.
   • Fusie: Scène-features en positionele features worden gefuseerd via een elementgewijze (Hadamard) product. Een attentive pooler (Cross-Attention) aggregeert deze gefuseerde features tot een persoon-specifieke representatie.
   • Classificatie: Een finale MLP-classifier geeft logits uit voor de negen doelgedragingen. Het model wordt getraind met binary cross-entropy loss en class weighting om de data-imbalans op te vangen.
   • Prestaties: De herkenner bereikt een micro-gemiddelde F1-score van 0,80 en werkt met ongeveer 8 FPS, wat voldoet aan de real-time beperking (>1 FPS) die vereist is voor natuurlijke interactie.

3. Proactief Dialoogframework:

   • Het systeem maakt gebruik van een gekaskeerde pipeline waarbij de nonverbale herkenner parallel loopt met het dialoogsysteem.
   • Gerekende gedragingen worden gecodeerd als prompt-tokens (bijv. [waved], [showed items]) en worden toegevoegd aan de dialooggeschiedenis die naar de LLM (Gemini 2.5 Flash) wordt gevoed.
   • Voor het specifieke geval van "Getoond voorwerp" wordt optioneel een VLM geactiveerd om het object te identificeren en contextbewuste opmerkingen te genereren.
   • Dit stelt de LLM in staat om proactieve reacties te genereren die geconditioneerd zijn op visuele signalen, zonder afhankelijk te zijn van handmatige regels voor elk scenario.

Belangrijkste Resultaten

• Data-inzicht: De studie kwantificeert dat nonverbale triggers verantwoordelijk zijn voor een niet verwaarloosbaar deel van 15,3% van de robot-uitspraken in een retailomgeving, wat de noodzaak van multimodale input valideert.
• Herkenningsnauwkeurigheid: Het voorgestelde model bereikt een hoge nauwkeurigheid voor gedragingen met een duidelijke beweging (bijv. Genaderd: 0,90 F1, Getoond voorwerp: 0,88 F1). Hoewel zeldzamere gedragingen zoals Gebruiker–gebruiker interactie (0,47 F1) en Gewezen (0,62 F1) uitdagend zijn, behoudt het systeem een robuuste micro-gemiddelde F1 van 0,80.
• Offline Evaluatie: In offline experimenten met ground-truth tracks bereikte het systeem een overeenkomst van 49,1% met de intenties van de teleoperator over alle categorieën heen. De prestaties waren het hoogst voor Sociaal & Groet (69% nauwkeurigheid), gedreven door frequente signalen zoals naderen en zwaaien. De nauwkeurigheid was lager voor Taakgerelateerde info & instructies vanwege de zeldzaamheid van het triggerende gedrag (Bezittingen aangeraakt) en het gebrek aan specifieke omgevingscontext in de minimale prompt.
• Online Prototype: Een real-time prototype is succesvol geïmplementeerd op standaard hardware (RTX 3080), waarmee de haalbaarheid van de volledige pipeline (detectie, tracking, herkenning en generatie) in een live omgeving is aangetoond.

Betekenis en Claims
Het artikel claimt een praktisch, inzetbaar framework te bieden om de kloof tussen audio-gebaseerde dialoogsystemen en de multimodale realiteit van mens-robotinteractie te overbruggen. De primaire bijdragen zijn:

1. Empirische Validatie: Het levert echt bewijs dat een aanzienlijk deel van de service-interacties wordt gedreven door nonverbale signalen, wat de voldoendeheid van huidige spraak-gecentreerde pipelines uitdaagt.
2. Systeemontwerp: Het demonstreert dat een lichtgewicht, real-time herkenningsmodel effectief kan worden geïntegreerd met LLM's om proactieve, contextbewuste reacties te genereren zonder de latentie van zware foundation models.
3. Ontwerprichtlijnen: De analyse van de correlatie tussen specifieke nonverbale gedragingen en dialoogintenties biedt concrete richtlijnen voor het prioriteren van welke signalen gedetecteerd moeten worden bij toekomstige retail-robotimplementaties.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat de huidige evaluatie primair offline en intentie-gebaseerd is, en dat generalisatie naar verschillende winkel lay-outs en drukte-niveaus verder onderzoek vereist. Zij benadrukken dat het systeem momenteel frequente sociale signalen goed afhandelt, maar moeite heeft met zeldzame, taakspecifieke instructies die gedetailleerde omgevingskennis vereisen.