Multimodal Rapport Estimation in Real-World HRI
Diese Studie zeigt, dass die multimodale Fusion von Zero-Shot-LLMs (speziell Gemini 2.5 Flash) mit vortrainierten Audio- und Visuellen Modellen (HuBERT und V-JEPA) effektiv das von Dritten bewertete Rapport in realen HRI-Settings schätzt, wobei sie einzelne Modelle übertrifft und die Notwendigkeit hervorhebt, kontextuelle Variabilität wie Interaktionsdauer und Gruppengröße zu berücksichtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der geschäftigen Welt der Mensch-Roboter-Interaktion suchen Forscher schon lange nach einem Weg, den unsichtbaren Faden zu messen, der einen Menschen mit einer Maschine verbindet. Diese Verbindung, die oft als Rapport bezeichnet wird, ist kein statisches Persönlichkeitsmerkmal, sondern ein dynamisches Gefühl, das entsteht, wenn zwei Parteien einander Aufmerksamkeit schenken, ihre Handlungen koordinieren und ein Gefühl von Wärme teilen. Während Wissenschaftler diese Bindung erfolgreich in ruhigen, kontrollierten Laboratorien untersucht haben, in denen jede Variable kontrolliert wird, ist die reale Welt weita-viel ungeordneter. In einem belebten Geschäft oder auf einem öffentlichen Platz kommen Menschen in ihrem eigenen Tempo in Gespräche hinein und aus ihnen heraus, Gruppen von Freunden können sich gleichzeitig um einen Roboter versammeln, und niemand ist gezwungen zu bleiben. Die zentrale Frage für die moderne Robotik ist, ob die Werkzeuge, die zur Messung von Verbindung im Labor verwendet werden, noch funktionieren, wenn die Umgebung unkontrolliert ist und die Teilnehmer frei entscheiden können, wann immer sie möchten zu gehen.
Um dies zu beantworten, stellte ein Forschungsteam einen sozialen Roboter in einer japanischen Drogerie auf, einem Ort, an dem Kunden ohne vorherige Anweisung frei herantreten konnten. Über sechs Tage hinweg interagierte der Roboter, eine kleine Tischfigur namens Sota, in lockeren Gesprächen mit Besuchern, während ein menschlicher Operator dessen Sprache und Gestik aus der Ferne steuerte. Das Team zeichnete 62 dieser Interaktionen auf und hielt dabei Video- und Audioaufnahmen von Menschen fest, die von einsamen Shoppern bis hin zu kleinen Gruppen von Freunden reichten. Anschließend baten sie drei unabhängige menschliche Richter, die Aufnahmen anzusehen und die Qualität der Beziehung zwischen jeder Person und dem Roboter anhand einer standardisierten Skala zu bewerten. Diese Skala maß, wie aufmerksam und koordiniert die Interaktion empfunden wurde, und lieferte so einen zuverlässigen Wert für den erreichten Rapport in jedem Moment.
Mit diesen realen Daten in der Hand testeten die Forscher, ob Computer lernen könnten, diese menschlichen Bewertungen automatisch vorherzusagen. Sie verglichen zwei verschiedene Ansätze. Der erste Ansatz nutzte spezialisierte Computermodelle, die auf riesigen Mengen an Text-, Audio- und Videodaten trainiert wurden, um spezifische Merkmale aus den Aufzeichnungen zu extrahieren. Der zweite Ansatz nutzte leistungsstarke, universell einsetzbare KI-Systeme, die als Large Language Models bekannt sind. Diesen Systemen wurden die Gesprächstranskripte und in einigen Fällen auch die Audio- und Videodateien gegeben, wobei sie die Aufgabe erhielten, als unparteiische Richter zu fungieren und den Rapport selbst zu bewerten, genau wie die menschlichen Experten es getan hatten.
Die Ergebnisse zeigten eine überraschende Stärke der universell einsetzbaren künstlichen Intelligenz. Wenn man ihnen lediglich den Text des Gesprächs zur Verfügung stellte, schnitt eines dieser großen Modelle außergewöhnlich gut ab und erfasste die Nuancen der Interaktion besser als die spezialisierten Modelle, die sich allein auf Audio- oder visuelle Daten stützten. Die textbasierte Version dieses Modells war in der Lage, die Rapport-Werte mit einem hohen Grad an Genauigkeit vorherzusagen, was darauf hindeutet, dass die Worte, die Menschen verwenden, und der Fluss ihres Gesprächs die bedeutendsten Hinweise auf ihre Verbindung zum Roboter liefern. Dennoch waren die spezialisierten Modelle nicht nutzlos. Die Forscher fanden heraus, dass das textbasierte Modell zwar stark war, aber bestimmte Details übersah, die die Audio- und die visuellen Modelle erfassen konnten. Als die Forscher die Vorhersagen des textbasierten Modells mit denen der Audio- und visuellen Modelle kombinierten, war das Ergebnis das genaueste System von allen. Dieser kombinierte Ansatz übertraf jede einzelne Methode, was darauf hindeutet, dass die verschiedenen Arten von Daten komplementäre Erkenntnisse liefern, statt miteinander zu konkurrieren.
Die Studie verdeutlichte auch, wie die Länge einer Interaktion und die Anzahl der beteiligten Personen die Fähigkeit zur Messung des Rapports beeinflussten. In der kontrollierten Umgebung eines Labors sind Interaktionen oft lang und involvieren nur zwei Personen. In der Drogerie waren die Interaktionen kurz, dauerten im Durchschnitt etwas mehr als 54 Sekunden und involvierten oft mehrere Personen, die sich anschlossen. Die Forscher stellten fest, dass die spezialisierten Modelle stärker Schwierigkeiten bekamen, wenn die Anzahl der Teilnehmer zunahm, wahrscheinlich weil die komplexen Dynamiken eines Gruppengesprächs es schwieriger machten, individuelle Signale zu isolieren. Im Gegensatz dazu blieb das universell einsetzbare KI-Modell robust und behielt seine hohe Genauigkeit bei, selbst wenn drei Personen gleichzeitig mit dem Roboter sprachen. Dies deutet darauf hin, dass diese fortschrittlichen Systeme besser in der Lage sind, die chaotische, Mehrpersonen-Natur von Begegnungen in der realen Welt zu bewältigen als die traditionellen Methoden, die im Labor entwickelt wurden.
Letztendlich zeigt die Arbeit, dass die Schätzung der Qualität menschlicher Beziehungen in der realen Welt möglich ist, aber eine andere Strategie erfordert, als dies in der Vergangenheit der Fall war. Die Ergebnisse legen nahe, dass es nicht ausreicht, sich allein auf spezialisierte Modelle zu verlassen, die für spezifische Aufgaben trainiert wurden, wenn Nutzer frei entscheiden können, sich zu engagieren oder sich zurückzuziehen. Stattdessen bietet ein hybrider Ansatz, der das breite Verständnis allgemeiner künstlicher Intelligenz nutzt und durch spezifische Audio- und visuelle Reize ergänzt, den zuverlässigsten Weg nach vorn. Diese Erkenntnis ist entscheidend für die Zukunft sozialer Roboter, da sie auf Systeme hinweist, die in der Lage sind, sich wahrhaft an die unvorhersehbare und vielfältige Natur des menschlichen Lebens in öffentlichen Räumen anzupassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.