Multimodal Rapport Estimation in Real-World HRI
Deze studie toont aan dat multimodale fusie van zero-shot LLM's (specifiek Gemini 2.5 Flash) met vooraf getrainde audio- en visuele modellen (HuBERT en V-JEPA) effectief de door derden beoordeelde rapport in real-world HRI-omgevingen schat, waarbij de individuele modellen wordt overtroffen en de noodzaak wordt benadrukt om rekening te houden met contextuele variabiliteit zoals interactieduur en groepsgrootte.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de bruisende wereld van mens-robotinteractie zoeken onderzoekers al lang naar een manier om de onzichtbare draad te meten die een persoon met een machine verbindt. Deze verbinding, vaak rapport genoemd, is geen statische persoonlijkheidskenmerk maar een dynamisch gevoel dat ontstaat wanneer twee partijen op elkaar letten, hun acties coördineren en een gevoel van warmte delen. Hoewel wetenschappers deze band succesvol hebben bestudeerd in stille, gecontroleerde laboratoria waar elke variabele wordt beheerd, is de echte wereld veel chaotischer. In een drukke winkel of op een openbaar plein wandelen mensen in hun eigen tempo in en uit gesprekken, groepen vrienden kunnen tegelijkertijd rond een robot verzamelen, en niemand wordt gedwongen te blijven. De centrale vraag voor de moderne robotica is of de instrumenten die worden gebruikt om verbinding in het lab te meten, nog steeds kunnen werken wanneer de omgeving ongecontroleerd is en de deelnemers vrij zijn om te vertrekken wanneer zij willen.
Om dit te beantwoorden, plaatste een team van onderzoekers een sociale robot in een Japanse drogisterij, een omgeving waar klanten vrij kunnen naderen zonder voorafgaande instructie. Gedurende zes dagen nam de robot, een klein tafelmodel genaamd Sota, deel aan informele gesprekken met bezoekers, terwijl een menselijke operator de spraak en gebaren op afstand stuurde. Het team legde 62 van deze interacties vast, waarbij video en audio opnamen maakten van mensen die varieerden van solitaire shoppers tot kleine groepjes vrienden. Vervolgens vroegen ze drie onafhankelijke menselijke beoordelaars om de opnames te bekijken en de kwaliteit van de relatie tussen elke persoon en de robot te beoordelen met behulp van een gestandaardiseerde schaal. Deze schaal mat hoe attent en gecoördineerd de interactie aanvoelde, wat een betrouwbare score gaf van de bereikte rapport in elk moment.
Met deze real-world data in handen, testten de onderzoekers of computers konden leren om deze menselijke beoordelingen automatisch te voorspellen. Ze vergeleken twee verschillende benaderingen. De eerste benadering gebruikte gespecialiseerde computermodellen die getraind waren op enorme hoeveelheden tekst-, audio- en videodata om specifieke kenmerken uit de opnames te extraheren. De tweede benadering maakte gebruik van krachtige, algemene AI-systemen die bekend staan als large language models. Deze systemen kregen de gesprekstranscripten en, in sommige gevallen, de audio- en videobestanden, en kregen de opdracht om als een derde partij te fungeren die de rapport zelf beoordeelt, net zoals de menselijke experts hadden gedaan.
De resultaten onthulden een verrassende kracht in de algemene kunstmatige intelligentie. Wanneer ze alleen werden voorzien van de tekst van het gesprek, presteerde een van deze grote modellen uitzonderlijk goed; het legde de nuances van de interactie beter vast dan de gespecialiseerde modellen die alleen op audio- of visuele data vertrouwden. De tekstversie van dit model was in staat om de rapportscores met een hoge mate van nauwkeurigheid te voorspellen, wat suggereert dat de woorden die mensen gebruiken en de flow van hun gesprek de meest significante aanwijzingen dragen over hun verbinding met de robot. De gespecialiseerde modellen waren echter niet nutteloos. De onderzoekers ontdekten dat hoewel het tekstgebaseerde model sterk was, het bepaalde details miste die de audio- en visuele modellen wel konden opvangen. Wanneer de onderzoekers de voorspellingen van het tekstgebaseerde model combineerden met die van de audio- en visuele modellen, was het resultaat het meest nauwkeurige systeem van allemaal. Deze gecombineerde aanpak presteerde beter dan elke enkele methode, wat aangeeft dat de verschillende soorten data complementaire inzichten bieden in plaats van concurrerende.
De studie benadrukte ook hoe de lengte van een interactie en het aantal betrokken mensen de mogelijkheid om rapport te meten beïnvloedde. In de gecontroleerde omgeving van een laboratorium zijn interacties vaak lang en betreft het slechts twee personen. In de drogisterij waren interacties kort, met een gemiddelde van net iets meer dan 54 seconden, en betrokken ze vaak meerdere mensen die aansloten. De onderzoekers vonden dat de gespecialiseerde modellen meer moeite hadden naarmate het aantal deelnemers toenam, waarschijnlijk omdat de complexe dynamiek van een groepsgesprek het moeilijker maakte om individuele signalen te isoleren. In contrast hiermee bleef het algemene AI-model robuust en behield het zijn hoge nauwkeurigheid, zelfs wanneer drie mensen tegelijkertijd met de robot praatten. Dit suggereert dat deze geavanceerde systemen beter in staat zijn om de chaotische, meerpersoonsnatuur van real-world ontmoetingen aan te kunnen dan de traditionele methoden die in het lab zijn ontwikkeld.
Uiteindelijk toont het werk aan dat het inschatten van de kwaliteit van mens-robotrelaties in de echte wereld mogelijk is, maar dat dit een andere strategie vereist dan in het verleden het geval was. De bevindingen suggereren dat vertrouwen op enkel gespecialiseerde modellen die getraind zijn voor specifieke taken, niet voldoende kan zijn wanneer gebruikers vrij zijn om betrokken te raken of zich terug te trekken. In plaats daarvan biedt een hybride aanpak, die het brede begrip van algemene kunstmatige intelligentie benut en dit aanvult met specifieke audio- en visuele signalen, de meest betrouwbare weg vooruit. Dit inzicht is cruciaal voor de toekomst van sociale robots, omdat het wijst naar systemen die werkelijk kunnen adapteren aan de onvoorspelbare en gevarieerde aard van het menselijk leven in publieke ruimtes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.