Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue
Diese Arbeit untersucht, wie Gestik und Sprache gemeinsam referenzielle Informationen in videomediierten Dialogen unter variierenden Sichtbarkeitsbedingungen vermitteln, wobei sie zeigt, dass die Gestik allein prädiktiv ist, die multimodale Fusion am vorteilhaftesten ist, wenn die Sprache mehrdeutig ist, und die Sichtbarkeit des Partners sowohl die Gestikproduktion als auch das interaktionale Entrainment beeinflusst.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du versuchst zu erraten, welches geheime Objekt dein Freund gerade denkt, aber du kannst nur seine Stimme hören. Manchmal sagt er: „Es ist das mit der spitzen Ecke“, was ziemlich vage ist. Aber wenn du ihn auch sehen könntest, würde er vielleicht in die Luft zeigen oder mit den Fingern wackeln, um die Form zu zeigen. Das ist die Magie der menschlichen Konversation: Wir benutzen nicht nur Worte; wir nutzen unsere ganzen Körper, um die Lücken zu füllen. Wissenschaftler, die untersuchen, wie Computer Sprache verstehen (ein Feld namens Natural Language Processing), sind sehr gut darin gewesen, Transkripte dessen zu lesen, was Menschen sagen, aber sie haben oft Schwierigkeiten, die unordentlichen, unausgesprochenen Teile eines Gesprächs zu verstehen, wie etwa Handgesten. Die große Frage ist: Kann ein Computer lernen, diese Handbewegungen zu „lesen“, um herauszufinden, worüber jemand spricht, besonders wenn die Worte allein nicht eindeutig genug sind? Und spielt es eine Rolle, ob der Computer die Person, die die Gesten macht, „sehen“ kann oder sie nur hört?
Diese Arbeit taucht genau in dieses Geheimnis ein, indem sie ein digitales Spiel aufbaut. Die Forscher kreierten ein Szenario, in dem zwei Personen eines von 16 seltsamen, außerirdisch anmutenden Formen (genannt „Fribbles“) identifizieren mussten, die keinen echten Namen haben. Sie mussten die richtige Form beschreiben und aus einer Auswahl auswählen. Das Team testete dies in drei verschiedenen „Sichtbarkeits“-Einstellungen: Szenarien, in denen die Partner sich nur hören konnten, in denen sie sich von einer Seite aus sehen konnten, und in denen sie sich voll und ganz sehen konnten. Sie bauten Computermodelle, die als der Ratende fungierten, indem sie den Modellen entweder nur die gesprochenen Worte, nur die skelettartigen Bewegungen der Hände oder eine Mischung aus beidem zuführten.
Dies ist das, was sie herausfanden: Die Handgesten allein waren tatsächlich überraschend gut darin, das richtige Objekt zu erraten. Die Computermodelle konnten das korrekte Fribble allein durch das Beobachten der Handbewegungen in etwa 20 % der Fälle richtig erkennen, was viel besser ist als reines Raten (was nur in 5,9 % der Fälle richtig liegen würde). Die Worte waren jedoch immer noch der Star der Show und lagen in etwa 46,5 % der Fälle richtig. Die wahre Magie geschah, wenn der Computer beide kombinierte. Die Handgesten lieferten nicht nur ein kleines bisschen Hilfe; sie fungierten wie ein Sicherheitsnetz. Wenn der Computer durch die Worte verwirrt war und nicht wusste, was er raten sollte, lieferten die Handbewegungen den zusätzlichen Hinweis, der nötig war, um das Rätsel zu lösen.
Die Forscher entdeckten auch, dass die „Sichtbarkeit“ der Partner beeinflusste, wie die Menschen handelten. Wenn die Partner einander sehen konnten, verwendeten sie mehr Gesten, und diese Gesten waren mit mehr nützlichen Informationen angereichert. Aber wenn sie einander nicht sehen konnten, wurden die Gesten eher zu beruhigenden Bewegungen und weniger hilfreich für den Computer, um das Objekt zu erraten. Interessanterweise wurden die Partner im Laufe des Spiels immer besser darin, die Objekte mit Worten zu beschreiben, aber ihre Handgesten wurden über die Zeit nicht besser oder spezifischer.
Schließlich probierte das Team einen ausgeklügelten Trick aus, um dem Computer zu helfen, Gesten besser zu verstehen. Sie brachten dem Modell bei, die Form einer Handbewegung gedanklich mit dem Bild des Objekts, das sie beschreibt, „abzugleichen“. Dies machte die Handgesten allein nicht besser, aber es machte die Kombination aus Worten und Gesten sogar noch schärfer und steigerte die Erfolgsquote um einige weitere Prozentpunkte. Kurz gesagt deutet die Arbeit darauf hin, dass Computer zwar gut darin werden zuzuhören, aber sie müssen noch lernen, uns beim Bewegen zuzusehen, um wirklich zu verstehen, was wir meinen, besonders wenn unsere Worte ein wenig unpräzise werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.