A Framework for Low-Latency, LLM-driven Multimodal Interaction on the Pepper Robot

Titel: Een Framework voor Laag-Latentie, LLM-gedreven Multimodale Interactie op de Pepper Robot

1. Het Probleem

Ondanks recente vooruitgang in het integreren van Large Language Models (LLM's) in sociale robotica, blijven er twee fundamentele beperkingen bestaan in bestaande implementaties (zoals op de Pepper-robot):

• Hoge Latentie en Verlies van Paralinguïstiek: Bestaande systemen gebruiken vaak een cascade-architectuur: Spraak-naar-tekst (STT) → LLM → Tekst-naar-spraak (TTS). Deze opeenvolgende verwerkingsstappen leiden tot cumulatieve vertragingen (vaak 3,84 tot 8,96 seconden), wat vloeiende real-time conversatie onmogelijk maakt. Bovendien gaat bij de conversie van audio naar tekst en terug cruciale paralinguïstische informatie verloren, zoals intonatie, prosodie en emotionele nuances.
• Beperkte Agente Controle en Multimodale Perceptie: De meeste implementaties benutten de LLM niet volledig als een "agente planner". Er ontbreekt vaak een mechanisme om abstracte taalcommando's om te zetten in concrete robotacties (zoals navigatie of blikcontrole) en om diverse sensorfeedback (visie, aanraking, systeemstatus) in real-time te integreren voor een echt embodied AI-gedrag.

2. Methodologie

De auteurs presenteren een open-source Android-framework dat deze beperkingen adresseert door twee kerninnovaties te implementeren:

• End-to-End Speech-to-Speech (S2S) Modellen:

  • In plaats van de traditionele STT-LLM-TTS-pijplijn, integreert het framework directe S2S-modellen van diverse providers (OpenAI, Azure, x.ai, Google).
  • Deze modellen verwerken audio direct, waardoor de latentie drastisch wordt verlaagd en paralinguïstische cues (zoals de toon van de gebruiker) behouden blijven. De robot past hierdoor automatisch zijn eigen intonatie, toon en tempo aan aan de inhoud.
  • Om echo-problemen op de Pepper-robot (die geen echo-onderdrukking heeft) te omzeilen, wordt de microfoon tijdens het spreken van de robot tijdelijk gedempt. Gebruikers kunnen echter de conversatie direct onderbreken door op het scherm te tikken.

• Uitgebreide Function Calling (Agente Planning):

  • De LLM fungeert als een centrale planner die autonome beslissingen neemt over welke tools (functies) er moeten worden aangeroepen.
  • Een "Tool Library" omvat functies voor navigatie, blikcontrole (gaze), tablet-interactie, visuele analyse, en interactieve games.
  • Het systeem is multimodaal: de LLM ontvangt contextuele input van visuele sensoren (camera), haptische sensoren (aanraking op hoofd/handen) en systeemstatussen. Bijvoorbeeld: als een beweging wordt geblokkeerd, triggert dit automatisch een visuele analyse om de oorzaak te begrijpen.

• Architectuur en Portabiliteit:

  • Het framework is volledig native gebouwd voor Android (Kotlin, API level 35) en draait zowel op de Pepper-robot (via QiSDK) als op standaard Android-smartphones/tablets.
  • Het gebruikt een "Dual Build-Flavor" systeem: hardware-specifieke code (zoals bewegingscontrole) wordt geabstraheerd, zodat dezelfde logica op een telefoon of robot werkt. Dit ontkoppelt de ontwikkeling van de dure robothardware.

3. Belangrijkste Bijdragen

• Open-Source Framework: Een volledig open-source implementatie (MIT-licentie) die de HRI-gemeenschap een praktisch, uitbreidbaar platform biedt.
• Laag-Latentie S2S Integratie: Een bewezen architectuur die conversatievertraging minimaliseert en emotionele nuance behoudt door het gebruik van end-to-end spraakmodellen.
• Agente Robotcontrole: Een robuust systeem voor "Function Calling" dat de LLM in staat stelt complexe taken te plannen en multimodale feedback te integreren voor contextbewust gedrag.
• Ontkoppeling van Hardware: De mogelijkheid om de interactielogica te ontwikkelen en te testen op standaard Android-apparaten, wat de toegankelijkheid voor onderzoekers vergroot, vooral gezien de onzekerheid rondom de toekomstige ondersteuning van de Pepper-robot (na de liquidatie van Aldebaran).

4. Resultaten en Prestaties

• Snelheid: Het framework elimineert de cumulatieve vertraging van cascade-systemen, wat leidt tot een veel vloeiendere, real-time dialoog die binnen de acceptabele grenzen voor natuurlijke conversatie (1-2 seconden) valt.
• Functionaliteit: Het systeem demonstreert succesvol complexe multi-stap taken, zoals het vragen naar wat er aan het plafond te zien is (wat leidt tot het omhoog kijken van de robot, het maken van een foto en het analyseren daarvan door de LLM).
• Flexibiliteit: Onderzoekers kunnen runtime instellingen aanpassen, waaronder het wisselen tussen verschillende S2S-providers, het kiezen van talen en het configureren van perceptieregels (bijv. reacties op herkende gezichten).
• Implementatie: De code is modulair opgebouwd met gebruik van moderne Kotlin-functies (coroutines, Hilt voor dependency injection) en is volledig gedocumenteerd.

5. Betekenis en Impact

Dit werk is van groot belang voor de Human-Robot Interaction (HRI) gemeenschap om de volgende redenen:

• Toekomstbestendigheid: Het biedt een oplossing voor de onzekerheid rondom de Pepper-robot door een framework te bieden dat werkt op de bestaande Android-hardware maar ook op moderne Android-apparaten, waardoor onderzoek niet afhankelijk is van verouderde SDK's of specifieke robotmodellen.
• Versnelling van Embodied AI: Het stelt onderzoekers in staat om geavanceerde LLM-capaciteiten (zoals agentisch plannen en multimodale grounding) sneller te testen en te implementeren in sociale robotica.
• Kwaliteit van Interactie: Door paralinguïstische cues te behouden en de latentie te verlagen, wordt de interactie menselijker en empathischer, wat essentieel is voor toepassingen zoals zorg en begeleiding van ouderen (waarop dit framework is gebaseerd, gezien een eerder veldonderzoek).

Kortom, dit paper levert een praktische blauwdruk voor de volgende generatie sociale robots: sneller, intelligenter, en beter in staat om de fysieke wereld te begrijpen en erop te reageren.