INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

Stellen Sie sich vor, Sie versuchen, eine bestimmte Nadel im Heuhaufen zu finden, aber die Nadel ändert ihre Form, je nachdem, wie Sie danach fragen. Wenn Sie nach einer glänzenden Nadel fragen, erhalten Sie eine andere als wenn Sie nach einer roten fragen oder nach einer, die in der Nähe eines lauten Geräusches verloren ging. Jahrzehntelang wurden Computer immer besser darin, Informationen zu finden, aber sie haben sich hauptsächlich auf ein starres System des Abgleichs verlassen. Wenn Sie nach einem Wort suchen, sucht der Computer nach genau diesem Wort. Wenn Sie nach einem Klang suchen, sucht er nach einem Klang, der exakt wie Ihre Suche klingt. Das funktioniert gut, wenn man genau weiß, wonach man sucht, aber es versagt, wenn die Bedürfnisse komplexer werden. In der realen Welt wollen Menschen nicht nur eine Aufnahme finden, die gleich klingt; sie wollen vielleicht eine Aufnahme finden, bei der der Sprecher wütend klingt, oder bei der das Hintergrundgeräusch das Geräusch von Regen ist, oder bei der die Person, die spricht, dieselbe ist, die bereits in einem vorherigen Clip gesprochen hat. Die Herausforderung für Wissenschaftler bestand darin, Computer zu lehren, diese wechselhaften, menschenähnlichen Anweisungen zu verstehen, anstatt nur statische Muster abzugleichen.

Ein Forschungsteam der National Taiwan University hat einen bedeutenden Schritt zur Lösung dieses Problems unternommen, indem es ein neues Testfeld namens INSPIRE geschaffen hat. Dies ist kein neues Computerprogramm, das alles behebt, sondern vielmehr ein sorgfältig konstruierter Benchmark, der dazu dient, zu sehen, wie gut die aktuelle Technologie mit diesen flexiblen Anweisungen umgehen kann. Die Forscher bauten eine riesige Bibliothek mit Sprachaufnahmen und koppelten diese mit tausenden von natürlichen Sprachbefehlen. Diese Befehle reichen von einfachen Anfragen, wie „Finde den nächsten Teil dieses Gesprächs“, bis hin zu komplexen, vielschichtigen Forderungen, wie „Finde eine Aufnahme derselben Person, die traurig spricht, während im Hintergrund Schritte zu hören sind“. Das Ziel war es zu sehen, ob bestehende Systeme der künstlichen Intelligenz in der Lage sind, einer gesprochenen Frage und einer schriftlichen Anweisung zuzusehen und dann genau den Audioclip aufzuspüren, der dieser spezifischen Beschreibung entspricht.

Die Forscher testeten vier verschiedene Arten von Computersystemen, um zu sehen, wie sie abschnitten. Die erste Gruppe bestand aus großen Audio-Sprachmodellen, also fortschrittlichen Systemen, die darauf trainiert sind, sowohl Klang als auch Text zu verstehen. Die zweite Gruppe nutte eine „kaskadierte Pipeline“, eine Methode, bei der der Computer zuerst das gesprochene Audio in geschriebenen Text und Bildunterschriften umwandelt und dann mit Standard-Textsuchwerkzeugen nach diesem Text sucht. Die dritte Gruppe stützte sich auf selbstüberwachte Sprachmodelle, die lernen, Klangmuster direkt zu verstehen, ohne sie in Text umzuwandeln. Die letzte Gruppe verwendete kontrastive Modelle, die versuchen, Text und Audio miteinander zu verknüpfen. Das Team maß, wie oft jedes System den korrekten Audioclip aus tausenden falschen Optionen erfolgreich fand.

Die Ergebnisse zeigten eine klare und überraschende Spaltung in der Art und Weise, wie diese Maschinen denken. Die Systeme, die Sprache zuerst in Text umwandeln, waren exzellent darin, Clips basierend auf dem zu finden, was tatsächlich gesagt wurde. Wenn die Anweisung lautete, einen bestimmten Satz oder eine Fortsetzung eines Gesprächs zu finden, schnitten diese textbasierten Methoden sehr gut ab. Sie hatten jedoch enorme Schwierigkeiten, wenn die Anweisung darüber handelte, wie der Klang erzeugt wurde. Wenn sie angewiesen wurden, einen Clip basierend auf der Identität des Sprechers, seinem emotionalen Tonfall oder dem Hintergrundgeräusch zu finden, schnitten diese textbasierten Systeme nicht besser ab als durch bloßes Raten. Sie konnten den Unterschied zwischen einer glücklichen und einer traurigen Stimme, sobald der Klang in Worte umgewandelt wurde, schlichtweg nicht „hören“.

Auf der anderen Seite zeigten die Systeme, die direkt auf die Schallwellen hörten, ohne sie in Text umzuwandeln, die gegenteilige Stärke. Sie waren viel besser darin, die Stimme des Sprechers, den Stil seiner Rede und die Umgebungsgeräusche zu erkennen. Aber dieselben Systeme scheiterten, wenn die Anweisung erforderte, die Bedeutung der Wörter zu verstehen oder einen komplexen, mehrteiligen Befehl zu befolgen. Sie konnten die Stimme hören, aber sie konnten der Anweisung nicht folgen, eine spezifische Stimme zu finden, die etwas Bestimmtes auf eine bestimmte Weise sagt. Selbst die fortschrittlichsten Audio-Sprachmodelle, von denen man erwartete, dass sie diese Lücke schließen würden, konnten dies nicht leisten. Sie schnitten bei einigen Aufgaben vernünftig ab, kamen aber zu kurz, wenn die Aufgabe ein tiefes Verständnis sowohl des Klangs als als auch der Anweisung gleichzeitig erforderte.

Die Studie untersuchte auch, was passiert, wenn der Computer mit einem „Referenz“-Datensatz perfekter Metadaten gegeben wird, wie etwa dem Wissen darüber, wer genau der Sprecher ist oder was das Hintergrundgeräusch ist, anstatt dies aus dem Audio herausfinden zu müssen. Selbst mit dieser perfekten Information konnten die textbasierten Systeme die richtigen Clips nicht zuverlässig finden, wenn die Anweisungen komplexe Kombinationen von Merkmalen beinhalteten. Dies deutet darauf hin, dass das Problem nicht nur darin besteht, dass die Computer schlecht hören, sondern dass ihre aktuelle Architektur nicht darauf ausgelegt ist, Anweisungen zu verarbeiten, die verschiedene Arten von Informationen mischen. Die Forscher fanden heraus, dass keine der getesteten Methoden robust genug war, um alle verschiedenen Arten zu bewältigen, auf die ein Mensch nach einem Klang suchen könnte.

Letztendlich kommt das Paper zu dem Schluss, dass sich das Fachgebiet an einem Scheideweg befindet. Die aktuellen Werkzeuge sind zu spezialisiert: Einige sind großartig darin, das Transkript zu lesen, sind aber taub für den Tonfall, während andere großartig darin sind, den Tonfall zu hören, aber analphabetisch in Bezug auf die Anweisungen sind. Die Forscher argumentieren, dass die nächste Generation der Technologie ein vereinheitlichtes System sein muss – eines, das einen Klang hören, eine komplexe Anweisung lesen und verstehen kann, dass die Antwort in der Kombination aus beidem liegt. Bis ein solches System gebaut ist, bleibt die Fähigkeit, eine Bibliothek von Stimmen mit der gleichen natürlichen Leichtigkeit und Präzision zu durchsuchen, mit der wir nach Text suchen, außer Reichweite. Die Arbeit bietet keine endgültige Lösung, aber sie kartografiert das Gelände deutlich und zeigt auf, wo die aktuelle Technologie versagt und wohin die Zukunft der Sprachsuche gehen muss.