LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
Dieses Paper schlägt eine Taxonomie für verbale-nonverbale Diskrepanzen auf Basis von Ekmans Framework vor, untersucht den Einsatz von Large Language Models zur Auswahl kontextuell angemessener inkongruenter Verhaltensweisen für virtuelle Menschen und validiert deren Effektivität bei der Erzielung intendierter Beobachtereffekte durch eine Studie mit menschlichen Probanden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den stillen Zwischenräumen des gesprochenen Wortes vollzieht die menschliche Kommunikation oft ihre komplexeste Arbeit. Wenn wir sprechen, übertragen wir nicht nur Informationen; wir projizieren unsere Gefühle, unseren sozialen Status und unsere verborgenen Absichten durch unsere Gesichter, unsere Augen und unsere Körperhaltung. Diese stillen Signale, bekannt als nonverbale Verhaltensweisen, können das verstärken, was wir sagen, aber sie können es auch widersprechen. Eine Person kann „Mir geht es gut“ sagen, während sich ihr Gesicht vor Sorge zusammenzieht, oder ein Kompliment mit einem Tonfall anbieten, der Spott suggeriert. Diese Fähigkeit, den Körper den Mund verraten zu lassen oder wahre Gefühle hinter einem höflichen Lächeln zu maskieren, ist ein grundlegender Teil dessen, wie Menschen Beziehungen navigieren, Konflikte bewältigen und Vertrauen signalisieren. Jahrzehntelang haben Forscher versucht, Computern beizubringen, diese Komplexität nachzuahmen, indem sie virtuelle Agenten erschufen, die sich wie Menschen bewegen und gestikulieren können. Die meisten dieser digitalen Charaktere waren jedoch auf eine einfache Regel beschränkt: Wenn die Worte glücklich sind, soll das Gesicht glücklich sein. Sie haben Schwierigkeiten zu verstehen, dass es manchmal das Ehrlichste ist, was ein Mensch tun kann: das eine zu sagen, während der Körper etwas anderes sagt.
Ein Team von Forschern der Northeastern University setzte sich zum Ziel, diese Einschränkung zu ändern. Sie wollten sehen, ob sie einem virtuellen Menschen beibringen könnten, diese subtilen, widersprüchlichen Verhaltensweisen automatisch zu erzeugen, indem sie eine Art künstlicher Intelligenz nutzen, die als Large Language Model bekannt ist. Diese Modelle sind leistungsstarke Systeme, die auf riesigen Mengen von Text trainiert wurden und in der Lage sind, Kontext und Nuancen zu verstehen. Die Forscher stellten eine spezifische Frage: Wenn sie dem Computer ein Gespräch und eine Beschreibung der Situation gaben, könnte er herausfinden, wann der Sprecher unglücklich aussehen sollte, während er etwas Nettes sagt, oder freundlich aussehen sollte, während er schlechte Nachrichten überbringt? Sie wollten nicht bloß, dass der Computer rät; sie wollten sehen, ob der Computer diese Entscheidungen so treffen konnte, dass sie für menschliche Beobachter echt wirkten.
Um dies zu testen, erstellte das Team zunächst eine Karte der verschiedenen Arten und Weisen, wie Menschen ihre Worte und ihre Handlungen nicht in Einklang bringen. Sie identifizierten vier Hauptgründe, warum eine Person dies tun könnte. Manchmal ist es Ironie, bei der ein Sprecher Lob verwendet, um jemanden zu beleidigen oder Kritik, um Zuneigung zu zeigen. Ein anderes Mal geht es um das Wahren des Gesichts, wobei eine Person eine harte Kritik mit einem warmen Lächeln abmildert, um Gefühle nicht zu verletzen, oder ein höfliches Lächeln erzwingt, um die eigene Wut zu verbergen. Es gibt auch Täuschung, bei der eine Person versucht, ein geheimes Gefühl zu verbergen, und Emotionsregulation, bei der jemand versucht, ein Gefühl zu unterdrücken, das in ihm hochkocht. Unter Verwendung dieser Kategorien entwarfen die Forscher acht spezifische Szenarien, wie etwa einen Junior-Mitarbeiter, der mit seinem Chef spricht, der gerade sein Arbeitspensum erhöht hat, oder eine Mutter, die ihrer Tochter im Teenageralter Feedback gibt.
Die Forscher testeten dann drei verschiedene Wege, den Computer anzuweisen, das Verhalten zu generieren. In der ersten Methode gaben sie dem Computer nur den gesprochenen Satz. In der zweiten Methode fügten sie die Historie des Gesprächs hinzu, die zu diesem Satz führte. In der dritten und detailliertesten Methode lieferten sie die Gesprächshistorie plus eine schriftliche Beschreibung der Beziehung zwischen den Sprechern und des sozialen Rahmens. Der Computer, angetrieben von einem Modell namens Claude, wurde aufgefordert, zu entscheiden, was das Gesicht und die Augen des Charakters für jeden Satz tun sollten. Die Ergebnisse waren eindeutig: Wenn der Computer nur die Worte erhielt, ließ er den Charakter meist glücklich aussehen, wenn die Worte glücklich waren, und traurig, wenn die Worte traurig waren. Aber wenn die Forscher den vollen Kontext bereitstellten – die Machtdynamik, die Historie und den sozialen Druck – begann der Computer, Verhaltensweisen zu wählen, die den Worten widersprachen. In dem Szenario, in dem ein Junior-Mitarbeiter einer fordernden Chefin zustimmen musste, die seine Arbeitslast erhöht hatte, wählte der Computer ein Lächeln, das klein und beherrscht war, begleitet von einem kurzen Wegsehen und einem Zusammenziehen der Lippen. Er verstand, dass der Mitarbeiter „Ja“ sagte, während er „Nein“ fühlte.
Um zu sehen, ob diese computergenerierten Entscheidungen tatsächlich funktionierten, verwandelten die Forscher die digitalen Anweisungen in Videoclips eines virtuellen Menschen und zeigten diese Menschen. In der ersten Studie baten sie die Teilnehmer, Paare von Videos anzusehen und zu entscheiden, welcher Sprecher eine positivere Einstellung hatte. Wenn der virtuelle Mensch etwas Positives sagte, aber negativ aussah, bewerteten die Menschen die Einstellung konsistent als weniger positiv, als wenn der Mensch glücklich aussah. Wenn der Mensch etwas Negatives sagte, aber warm lächelte, bewerteten die Menschen die Einstellung als positiver, als wenn der Mensch wütend aussah. Die zweite Studie ging tiefer und fragte die Menschen, die spezifischen Emotionen zu bewerten, die sie sahen. Die Ergebnisse zeigten, dass die vom Computer gewählten nonverbalen Signale mächtig genug waren, um die Wahrnehmung der Menschen bezüglich der Emotionen des Sprechers zu verschieben. Wenn der Computer ein Stirnrunzeln passend zu einem glücklichen Satz wählte, berichteten die Menschen, dass sie das Gefühl hatten, der Sprecher sei tatsächlich wütend oder sarkastisch. Wenn der Computer ein warmes Lächeln passend zu einem traurigen Satz wählte, berichteten die Menschen von Mitgefühl statt von Wut.
Die Studie bestätigt, dass die Bereitstellung des vollen sozialen Kontextes für eine künstliche Intelligenz es ermöglicht, nonverbale Verhaltensweisen zu generieren, die weitaus menschlicher sind als solche, die nur auf Worten basieren. Der Computer wiederholte nicht einfach die Emotion des Satzes; er interpretierte die Situation und entschied, dass ein Widerspruch die ehrlichste Antwort war. Während die Forscher anmerkten, dass ihr System noch Arbeit benötigt, um Gestik und Tonfall zu handhaben, und dass die Videos kurz waren, ist die Kernerkenntnis bedeutsam. Sie legt nahe, dass virtuelle Menschen, um wirklich überzeugend zu sein – insbesondere in Rollen wie der Ausbildung von Therapeuten oder in Verhandlungen –, in der Lage sein müssen, ihre Körper eine andere Geschichte erzählen zu lassen als ihre Münder. Der Computer lernte, dass die Wahrheit manchmal nicht in den Worten liegt, sondern in der Stille zwischen ihnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.