How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks

Stellen Sie sich vor, Sie versuchen, einen Roboter zu bauen, der einen Raum „lesen“ kann. Er soll wissen, wann Menschen gestresst sind, wann jemand ein Gespräch dominiert oder wann jemand Schwierigkeiten hat, nachzudenken. Um dies zu erreichen, untersuchen Wissenschaftler, wie Menschen sprechen, welche Laute sie machen und welche Wörter sie wählen. Dieses Feld wird als multimodale Analyse bezeichnet, was nur eine schicke Art und Weise ist zu sagen: „viele verschiedene Hinweise gleichzeitig betrachten“. Die große Frage ist: Sind diese Hinweise zuverlässig? Wenn ein Roboter lernt, Stress anhand eines bestimmten Typs von Puzzlespiel zu erkennen, funktioniert das dann immer noch, wenn die Menschen sich nur über ihr Wochenende unterhalten? Oder wird der Roboter einfach verwirrt, weil er das Falsche gelernt hat? Dies ist das Rätsel, vor dem Forscher stehen, wenn sie versuchen, Computern beizubringen, menschliche Konversationen zu verstehen. Sie müssen wissen, ob die Signale, die sie verwenden, echte Indikatoren dafür sind, wie wir uns fühlen, oder ob es sich nur um zufällige Muster handelt, die zufällig wie Stress aussehen.

In dieser Arbeit tritt eine Forscherin namens Tahiya Chowdhury als Detektivin auf, die diese Hinweise untersucht. Sie stellt einen dreiteiligen Test auf, um zu sehen, welche Signale am vertrauenswürdigsten sind. Sie betrachtet drei Dinge: Genauigkeit (sagt der Hinweis das Richtige voraus?), Generalisierbarkeit (funktioniert er in verschiedenen Situationen?) und Zuverlässigkeit (ist der Hinweis konsistent oder ändert er sich je nach Sprecher?). Sie testet diese Hinweise an 53 Paaren (Dyaden), die gemeinsam über Zoom an neun verschiedenen Aufgaben arbeiten, die von der Lösung von Kartenpuzzles bis zum Erzählen von Witzen reichen.

Hier ist, was sie herausfand, und es stellt sich als eine Geschichte mit einer Wendung heraus.

Zuerst untersuchte sie Wörter (linguistische Merkmale). Diese waren die „Star-Athleten“ der Gruppe, wenn es um die Genauigkeit ging. Wenn das Ziel war, zu erraten, wie viel mentale Anstrengung eine Person aufwand, waren die gewählten Wörter der beste Prädiktor. Es ist, als könnte ein Detektiv die Stimmung eines Verdächtigen allein durch das Zuhören auf seinen Wortschatz erraten. Diese Wörter waren jedoch schrecklich darin, „Reisende“ zu sein. Als die Forscherin sie auf eine neue Art von Aufgabe testete, stürzte die Genauigkeit ab. Es stellte sich heraus, dass die Wörter gar nicht „Stress“ maßen, sondern nur das spezifische Vokabular, das für dieses eine spezielle Spiel nötig war. Wenn man jemanden bat, ein Kartenpuzzle zu lösen, benutzte er Kartenwörter; wenn man ihn bat, einen Witz zu erzählen, benutzte er Witzwörter. Der Roboter dachte, er messe Stress, aber er hatte eigentlich nur das Wörterbuch für diesen speziellen Tag auswendig gelernt.

Als Nächstes untersuchte sie Laute (akustische Merkmale). Lange Zeit glaubten Wissenschaftler, dass die Tonhöhe der Stimme oder die Lautstärke des Sprechens solide Anzeichen dafür seien, wie hart das Gehirn arbeitet. Es ist, als würde man annehmen, dass ein Automotor immer höher dreht, wenn der Fahrer gestresst ist. Aber als Chowdhury ihre Tests durchführte, fand sie eine massive Illusion. Bevor sie die Daten an die jeweilige Person anpasste, sahen die Laute zuverlässig aus. Doch in dem Moment, als sie die Daten „normalisierte“ – was im Wesentlichen bedeutet: „Wenn dieselbe Person eine andere Aufgabe ausführt, würde sich der Laut verändern?“ –, verschwand die Zuverlässigkeit. Die Laute maßen tatsächlich die einzigartige Stimmbox und den Sprechstil der Person, nicht ihr Stresslevel. Es war, als würde ein Detektiv erkennen, dass der „Hinweis“ nur die Körpergröße des Verdächtigen ist, die sich nicht ändert, egal ob er glücklich oder traurig ist. Sobeder sie das „Wer“ entfernte, verschwand das „Wie“.

Schließlich untersuchte sie die Interaktion (Interaktionsmerkmale). Dies sind Hinweise darauf, wie Menschen abwechseln, wer wen unterbricht und wer das Gespräch kontrolliert. Diese Hinweise waren die ehrlichsten. Sie änderten sich nicht, wenn sie die Identität des Sprechers berücksichtigten, da sie über die Beziehung zwischen zwei Menschen handeln und nicht über die Menschen selbst. Während sie für sich genommen nicht die genauesten Vorhersagen über Stress waren, waren sie die einzigen, die über verschiedene Aufgaben hinweg konsistent blieben. Ein spezifischer Interaktionshinweis stach hervor: Redefluss-Dominanz (floor dominance). Dies ist ein Maß dafür, wer das „Redefluss-Recht“ (das Recht zu sprechen) hält. Die Studie fand heraus, dass, wenn eine Person in einem Paar das Gespräch dominierte, die andere Person signifikant wahrscheinlicher eine höhere mentale Last trug. Es ist wie eine Wippe: Wenn eine Person stark auf ihrem Ende drückt (viel redet), ist die andere Person wahrscheinlich damit beschäftigt, die geistige Arbeit aufrechtzuerhalten.

Die Arbeit versuchte auch, „konversationelle Macht“ vorherzusagen (wer sich mächtig oder machtlos fühlt), aber hier versagte der Roboter vollständig. Unabhängig davon, welche Hinweise verwendet wurden, konnte der Computer nur so oft richtig geraten, als würde er eine Münze werfen. Dies deutet darauf an, dass der Versuch, Macht anhand einer Zusammenfassung einer ganzen Aufgabe vorherzusagen, zu unscharf ist; die echten Dynamiken der Macht sind zu subtil und ändern sich zu schnell, um von diesen breiten Messungen erfasst zu werden.

Was ist also die Lehre daraus, um einen Roboter zu bauen, der uns versteht? Die Arbeit legt nahe, dass wir aufhören müssen, den „einfachen“ Hinweisen zu vertrauen. Wir können den Worten der Menschen nicht einfach vertrauen, weil sie sich mit dem Thema ändern. Wir können den Klängen ihrer Stimmen nicht einfach vertrauen, weil sie sich mit der Person ändern. Das zuverlässigste Signal kommt davon, wie Menschen miteinander interagieren – insbesondere, wer spricht und wer zuhört. Wenn wir Systeme bauen wollen, die in der realen Welt funktionieren, in der sich Aufgaben ändern und unterschiedliche Menschen auftauchen, müssen wir uns auf diese Interaktionsmuster konzentrieren und sicherstellen, dass wir nicht versehentlich die Person messen, sondern ihren Geisteszustand. Die Studie kommt zu dem Schluss, dass wir, bevor wir irgendein Signal vertrauen können, prüfen müssen, ob es den „Identitätstest“ besteht und ob es in neuen Situationen funktioniert, sonst bauen wir nur Roboter, die sehr gut darin sind, zu erraten, wer spricht, aber nicht, was sie fühlen.