Modeling turn-taking with distant viewing: investigating silence thresholds in human and AI-generated discourse
Diese Studie untersucht Schweigeschwellen in menschlicher und KI-generierter Diskurse durch die Analyse und den Vergleich von Pausenlängen über dreißig US-Sitcoms und einundfünfzig synthetische Podcasts hinweg, wobei Variationen basierend auf dem Geschlecht der Sprecher und den Produktionseinstellungen untersucht werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind auf einer belebten Party, auf der alle miteinander plaudern. Sie kennen den Rhythmus eines guten Gesprächs: Jemand hört auf zu reden, es gibt eine winzige, fast unsichtbare Pause, und dann springt jemand anderes ein. Es geschieht so schnell, dass man es kaum bemerkt. Wissenschaftler, die untersuchen, wie Menschen sprechen, nennen dies „Turn-Taking“ (Sprecherwechsel). Sie haben Jahrzehnte damit verbracht, diese winzigen Pausen zu messen, um zu verstehen, wie Menschen ihre Sprache koordinieren, ohne sich gegenseitig ins Wort zu fallen. Normalerweise hören sie einfach dem Audio zu, wie ein Radiol listener, der versucht herauszufinden, wer gerade spricht. Aber was, wenn die „Stille“, die man hört, gar nicht das Pausieren der Sprecher ist? Was, wenn die Stille eigentlich das Ergebnis davon ist, dass der Regie eines Films die „Cut“-Taste drückt oder ein Computerprogramm entscheidet, die Stimmen zu wechseln? Dies ist die Frage, die sich ein Forscherteam stellte. Sie wollten sehen, ob die winzigen Lücken zwischen Sprechern in Fernsehserien und KI-generierten Podcasts wirklich etwas mit den Menschen zu tun haben, die sprechen, oder ob sie nur das Resultat dessen sind, wie das Audio und das Video zusammen geschnitten wurden.
Die Forscher Taylor Arnold, Nicolas Baller Ballier und Artem Saloev beschlossen, Detektivarbeit mit zwei sehr unterschiedlichen Arten von Audio zu spielen. Zuerst betrachteten sie dreißig klassische amerikanische Sitcoms (wie Friends oder The Office), die von Menschen gemacht, geskriptet und stark bearbeitet sind. Zweitens analysierten sie einundfünfzig synthetische Podcasts, die mit einem KI-Tool namens Google NotebookLM erstellt wurden, bei denen Computerstimmen miteinander chatten. Sie verwendeten ein spezielles Computerprogramm, um dem Audio zuzuhören und die exakte Länge der Stille zwischen dem Aufhören eines Sprechers und dem Beginn des nächsten zu messen. Aber sie hörten dort nicht auf. Für die Fernsehserien beobachteten sie auch das Video. Sie suchten nach „Shot Cuts“ – dem Moment, in dem die Kamera zu einer anderen Ansicht wechselt, wie zum Beispiel wenn die Kamera vom Gesicht einer Person zum Gesicht ihres Freundes springt.
Hier ist, was sie fanden, und es ist ein wenig wie eine Wendung in einem Krimi. Als sie die Fernsehserien untersuchten, entdeckten sie, dass die „Stille“ zwischen den Sprechern nicht nur davon abhing, dass die Schauspieler auf ihren Einsatz warteten. Ein riesiger Teil dieser Stille war tatsächlich das Werk des Editors. Wenn die Stille genau in dem Moment auftrat, in dem die Kamera zu einer neuen Einstellung schnitt, war die Pause viel länger – im Durchschnitt etwa 711 Millisekunden (ein wenig weniger als eine Sekunde). Aber wenn die Stille auftrat, während die Kamera noch auf dieselbe Szene starrte (eine „Mid-Shot“-Lücke), war sie viel kürzer, etwa 424 Millisekunden. Das ist ein Unterschied von 287 Millisekunden, was im Bereich der Konversation eine massive Spanne ist. Es stellt sich heraus, dass der „Rhythmus“ einer Fernsehserie oft durch den Editor bestimmt wird, der den Film schneidet, und nicht dadurch, dass die Schauspieler entscheiden, wann sie sprechen. Der Kameraschnitt fügt ein „Atemholen“ an Stille hinzu, das das Computerprogramm fälschlicherweise als Pause der Sprecher interpretiert.
Die KI-Podcasts erzählten eine andere Geschichte. Die computergenerierten Gespräche hatten viel kürzere Pausen, wobei geschlechtsspezifische Übergänge (wie der Wechsel einer weiblichen Stimme zu einer männlichen Stimme) etwa 287 bis 310 Millisekunden dauerten. Diese Lücken waren einheitlich und mechanisch und ließen die Vielfalt vermissen, die in menschlichen Sendungen zu finden ist. Die KI hatte keinen Editor, der das Video schnitt, und sie hatte kein Studienpublikum, das lachte, also wechselte sie die Stimmen einfach so schnell wie möglich. Sie imitierte nicht die natürliche, ausgehandelte Zeitplanung von Menschen; stattdessen flachte sie das Gespräch in eine schnelle, robotische Übergabe ab.
Die Studie legt nahe, dass man, wenn man nur dem Audio einer Fernsehserie zuhört, möglicherweise einen falschen Eindruck davon bekommt, wie Menschen tatsächlich sprechen. Man könnte denken, die Sprecher würden lange Pausen machen, während in Wirklichkeit der Editor nur die Kamera geschnitten hat. Die Forscher weisen darauf hin, dass ihre Studie Grenzen hat: Weder die Fernsehserien noch die KI-Podcasts wiesen viel „Überlappung“ auf (wo Menschen gleichzeitig sprechen), was ein wesentlicher Bestandteil der echten, chaotischen menschlichen Konversation ist. Aber die wichtigste Erkenntnis ist klar: In bearbeiteten Medien ist die „Stille“, die man hört, oft ein Produkt der Kamera und des Editors, nicht der Sprecher. Um wirklich zu verstehen, wie Menschen beim Reden den Nächsten an der Reihe lassen, müssen wir ungeskriptete, spontane Gespräche betrachten, in denen die Kamera nicht den Rhythmus für uns vorgibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.