Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Dieses Paper stellt AffectLoop vor, ein multimodales empathisches sozialrobotergestütztes System, das den affektiven Kreislauf schließt, indem es dynamisch sowohl die emotionalen Zustände des Sprechers als auch des Zuhörers verfolgt, um kongruente verbale und körperliche Reaktionen zu erzeugen, was laut einer Pilotstudie die Nutzerzufriedenheit und die Erholung von Belastungszuständen im Vergleich zu rein textbasierten Baselines signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Menschliche Verbindung beruht auf mehr als nur dem Austausch von Worten. Wenn wir mit jemandem sprechen, lesen wir ständig dessen Gesicht, hören auf den Tonfall der Stimme und spüren den Rhythmus des Gesprächs. Wir bringen auch unsere eigene Stimmung in die Interaktion ein, die sich verändert und wandelt, während wir zuhören und reagieren. Dieser dynamische Fluss von Emotionen ist das, was ein Gespräch lebendig wirken lässt. Seit Jahrzehnten versuchen Forscher, Maschinen beizubringen, diese Komplexität zu verstehen, indem sie Systeme entwickeln, die erkennen können, ob eine Person traurig oder glücklich ist. Die meisten dieser digitalen Zuhörer operieren jedoch wie eine Einbahnstraße: Sie registrieren die Emotion eines Nutzers und bieten eine vorprogrammierte Antwort an, wobei sie ignorieren, dass auch die Reaktion des Zuhörers die emotionale Landschaft des Gesprächs verändert. Sie verpassen die Schleife, in der zwei Menschen sich gegenseitig in Echtzeit beeinflussen.
Ein Team von Forschern hat nun einen Roboter entwickelt, der versucht, diese Lücke zu schließen. In einer Studie, die auf dem Asia Pacific Signal and Information Processing Association Annual Summit 2026 vorgestellt wurde, stellten sie ein System namens AFFECTLOOP vor, das darauf ausgelegt ist, einem sozialen Roboter zu helfen, nicht nur zu verstehen, was eine Person sagt, sondern auch, wie sich der emotionale Austausch zwischen ihnen entwickelt. Die Forscher statteten einen kleinen, programmierbaren Roboter namens Misty II mit der Fähigkeit aus, die Stimme und die Gesichtsausdrücke des Sprechers zu verfolgen und gleichzeitig seinen eigenen internen emotionalen Zustand zu überwachen. Indem sie diesen dualen Informationsstrom in ein großes Sprachmodell einspeisen, generiert der Roboter Antworten, die nicht nur empathisch, sondern auch physisch expressiv sind, wodurch ein kontinuierlicher Zyklus emotionaler Verbindung entsteht.
Die Kernidee hinter AFFECTLOOP ist, dass wahre Empathie eine Einbahnstraße erfordert – bzw. eine Wechselwirkung braucht. In einem typischen Gespräch sind die Emotionen eines Menschen nicht statisch; sie verschieben sich von Moment zu Moment, basierend darauf, was gesagt wird und wie die andere Person reagiert. Die Forscher fanden heraus, dass bestehende Robotersysteme Emotionen oft als ein einzelnes Etikett behandeln, das an einem Satz haftet, und dabei die subtilen Dynamiken verpassen, wie sich Gefühle im Laufe der Zeit verändern. Um dies zu beheben, unterteilt ihr System die Interaktion in zwei parallele Spuren. Zuerst analysiert es den menschlichen Sprecher, indem Software verwendet wird, um dessen Stimme in ein Texttranskript und dessen Gesichtsbewegungen in eine Serie von emotionalen Signalen umzuwandeln. Es verfolgt die Stimmung des Sprechers, während sie steigt und fällt, und notiert Veränderungen in dessen Energie und emotionaler Intensität. Zweitens führt das System ein fortlaufendes Protokoll des eigenen Zustands des Roboters. Es berechnet den emotionalen Tonfall der Worte, die es aussprechen möchte, sowie die Gefühle, die durch seine physischen Bewegungen, wie etwa Kopfnicken oder Gesten, vermittelt werden.
Diese beiden Datenströme werden kombiniert, um den nächsten Schritt des Roboters zu steuern. Der Roboter reagiert nicht einfach nur auf den Menschen; er berücksichtigt, wie seine eigenen vorangegangenen Handlungen und seine aktuelle Stimmung in das laufende Gespräch passen. Diese Information wird an eine künstliche Intelligenz-Engine weitergeleitet, die als das Gehirn des Roboters fungiert. Die Engine ist angewiesen, als aufmerksamer Zuhörer zu agieren, indem sie eine kurze, gesprochene Antwort generiert, die dem emotionalen Kontext entspricht. Entscheidend ist, dass die Engine auch eine physische Aktion für den Roboter festlegt, um sicherzustellen, dass seine Körpersprache mit seinen Worten übereinstimmt. Wenn zum Beispiel ein Mensch eine traurige Geschichte teilt und der Roboter eine Verschiebung hin zu Bestürzung erkennt, könnte er einen sanften verbalen Trost generieren und gleichzeitig den Kopf senken oder seinen Blick mildern. Sobald der Robot spricht und sich bewegt, bewertet das System die Situation sofort neu, aktualisiert seinen eigenen emotionalen Zustand, um das Geschehene widerzuspiegeln, und wartet dann auf den nächsten Einsatz des Menschen. Dies schafft eine geschlossene Schleife, in der die Reaktion des Roboters Teil der emotionalen Dynamik wird, genau wie es in einem Gespräch zwischen Menschen der Fall wäre.
Um zu testen, ob dieser Ansatz tatsächlich funktionierte, führten die Forscher eine kleine Studie mit fünf Teilnehmern durch. Jede Person verbrachte fünf Minuten mit dem Roboter in zwei verschiedenen Szenarien. Im ersten Szenario nutzte der Roboter ein Standardsystem, das nur auf die Worte des Menschen blickte, um eine Antwort zu generieren, wobei der eigene emotionale Zustand des Roboters und der dynamische Fluss des Gesprächs ignoriert wurden. Im zweiten Szenario nutzte der Roboter das neue AFFECTLOOP-System. Im Anschluss bewerteten die Teilnehmer ihre Erfahrung anhand mehrerer Faktoren, darunter wie natürlich sich das Gespräch anfühlte, wie gut der Roboter zuzuhören schien und wie unterstützend die Antworten des Roboters waren.
Die Ergebnisse deuteten darauf an, dass das neue System einen spürbaren Unterschied machte. Die Teilnehmer bewerteten den AFFECTLOOP-Roboter insgesamt besser, wobei die signifikanteste Verbesserung darin lag, wie unterstützend und empathisch die Antworten des Roboters empfunden wurden. Die Menschen fühlten sich durch den Roboter mehr ermutigt und gelobt, wenn dieser das Closed-Loop-System verwendete. Sie berichteten auch, dass sie sich nach dem Gespräch besser fühlten, wobei ihr Stressniveau effektiver abzusinken schien als beim Standardsystem. Die Forscher analysierten zudem die Protokolle der Interaktionen, um zu sehen, was unter der Oberfläche geschah. Sie fanden heraus, dass der Roboter unter Verwendung von AFFECTLOOP besser darin war, seine emotionalen Veränderungen auf den Menschen abzustimmen. Wenn sich die Stimmung des Menschen in eine bestimmte Richtung bewegte, neigte die Reaktion des Roboters dazu, diesem Pfad enger zu folgen, anstatt nur zufällig zu reagieren. Darüber hinaus zeigten die Daten, dass Menschen, die das Gespräch mit einem negativen Gefühl begannen, nach dem Gespräch mit dem AFFECTLOOP-Roboter eher in einen weniger negativen Zustand übergingen.
Obwohl die Studie nur eine geringe Anzahl von Teilnehmern umfasste und als vorläufiger Test dient, weisen die Ergebnisse auf eine vielversprechende Richtung für die soziale Robotik hin. Die Forscher schlagen vor, dass Roboter, indem sie sowohl die wechselnden Emotionen des Sprechers als auch den eigenen affektiven Zustand explizit modellieren, über einfache textbasierte Antworten hinausgehen können, um eine wahrhaftigere, verkörperte Form der Empathie zu schaffen. Das System führte nicht dazu, dass der Roboter in jeder Hinsicht menschlicher wirkte; in einigen Messungen schnitt das Standardsystem immer noch etwas besser bei der wahrgenommenen Natürlichkeit ab. Die klaren Gewinne bei der emotionalen Unterstützung und der Nutzerzufriedenheit zeigen jedoch, dass das Schließen der affektiven Schleife dazu beiträgt, dass sich der Roboter wie ein unterstützender Begleiter anfühlt. Diese Arbeit demonstriert, dass ein Roboter, um wirklich mit einem Menschen in Verbindung zu treten, nicht nur der anderen Person zuhören muss, sondern auch ein Bewusstsein für seinen eigenen Platz im emotionalen Tanz des Gesprächs haben muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.