Schall ist ein ständiger Begleiter, ein Strom von Informationen, der uns sagt, wo wir sind und was um uns herum geschieht. Das Schreien eines Babys signalisiert ein Bedürfnis, das Zerbrechen von Glas warnt vor Gefahr und das Summen einer Stadt definiert einen spezifischen Ort. Menschen haben ein Leben lang gelernt, diese auditiven Hinweise zu sortieren und die Art eines Ereignisses oder die Art einer Umgebung allein durch das Zuhören abzuleiten. Doch die schiere Vielfalt der Klänge, ihre überlappende Natur und die Art und Weise, wie Lärm sie überlagern kann, machen diese Aufgabe für Maschinen unglaublich schwierig. Seit Jahrzehnten versuchen Wissenschaftler, Computer dazu zu bringen, dasselbe zu tun, aber die meisten erfolgreichen Methoden stützten sich auf eine schwere Last: riesige Bibliotheken mit vorbeschrifteter Audioaufnahme. Diese Systeme werden von Menschen trainiert, die tausende von Aufnahmen mit Namen wie „schreiendes Baby“ oder „Glas zerbrechen“ versehen – ein Prozess, der langsam, teuer ist und oft versagt, wenn der Computer auf einen Klang stößt, den er noch nie gelernt hat zu erkennen. Die Herausforderung bestand darin, ein System zu bauen, das der Welt zuhören kann, ohne ein Wörterbuch zu besitzen, indem es seltene Ereignisse identifiziert und die Hintergrundszene versteht, ohne dass ein Mensch darauf zeigen und sagen muss: „Das ist es.“

Forscher an der Universität Hongkong haben einen neuen Ansatz entwickelt, der versucht, dieses Problem zu lösen, indem er einen Computer lehrt, zuzuhören und zu schlussfolgern, ähnlich der menschlichen Intuition, jedoch ohne die Notwendigkeit von vorbeschrifteten Trainingsdaten. Ihre Methode, die in einer kürzlich veröffentlichten Studie beschrieben wird, kombiniert zwei leistungsstarke Werkzeuge der künstlichen Intelligenz, um ein System zu schaffen, das Klänge klassifizieren und Umgebungen aus rohen, unbeschrifteten Audioaufnahmen identifizieren kann. Anstatt spezifische Klangmuster auswendig zu lernen, zerlegt das System eine Aufnahme zunächst in ihre kleinsten Bestandteile und identifiziert dabei distinkte Klänge wie ein Weinen, ein Krachen oder einen Schuss. Es nutzt dann eine sprachbasierte Denkmaschine, um sich die Liste der gefundenen Klänge anzusehen und den Kontext abzuleiten. Wenn das System ein Baby weinen und einen Zug rollen hört, sieht es nicht nur zwei separate Geräusche; es nutzt sein Verständnis darüber, wie diese Klänge miteinander in Beziehung stehen, um zu schlussfolgern, dass die Szene wahrscheinlich ein Bahnhof ist. Diese Fähigkeit, die Verbindung zwischen einzelnen Klängen und der breiteren Umgebung herzustellen, ermöglicht es dem System, auf eine „blinde“ Weise zu arbeiten und Sinn aus Audioaufnahmen zu ziehen, die es zuvor noch nie gesehen hat.

Der Kern dieses neuen Frameworks ist ein zweistufiger Prozess, der die Aufgabe des Hörens von der Aufgabe des Verstehens trennt. Der erste Schritt beinhaltet ein spezialisiertes Modell, das darauf ausgelegt ist, dem Audio zuzuhören und die einzelnen im Mix verborgenen Klänge zu extrahieren. In einer typischen Aufnahme überlagern und vermischen sich Klänge, was es schwierig macht, festzustellen, wo einer endet und ein anderer beginnt. Das System der Forscher nutzt eine Technik, die das Audio wie ein Puzzle behandelt, Teile des Klangs maskiert und versucht vorherzusagen, was basierend auf dem umgebenden Kontext dorthin gehört. Dies ermöglicht es ihm, spezifische Ereignisse wie einen Schuss oder das Zerbrechen von Glas zu isolieren, selbst wenn sie unter Schichten von Hintergrundgeräuschen begraben sind. Entscheidend ist, dass das System intelligent genug ist, die Dauer anzupassen, die es für jeden Typ von Klang zu hören braucht. Es weiß, dass ein Babyweinen mehrere Sekunden dauern kann, während ein Schuss in einem Augenblick vorbei ist, und es passt seine Analyse an die natürliche Dauer des jeweiligen Ereignisses an. Diese Flexibilität hilft ihm, die Fehler zu vermeiden, die starre Systeme machen, wenn sie versuchen, jeden Klang in dasselbe feste Zeitfenster zu pressen.

Sobald das System die Klänge isoliert und eine Liste dessen erstellt hat, was es zu gehört haben glaubt, geht es zum zweiten Schritt über: dem Verständnis der Szene. Hier setzt das System ein Sprachmodell ein – eine Art künstliche Intelligenz, die auf riesigen Mengen an Text trainiert wurde –, um die Liste der Klänge zu interpretieren. Es behandelt die identifizierten Klänge wie Wörter in einem Satz und nutzt sein Wissen darüber, wie diese Wörter normalerweise zusammen auftreten, um die Umgebung zu erschließen. Wenn die Liste „Kaffeemaschine“, „Klirren von Tassen“ und „Murmeln von Stimmen“ enthält, erkennt das Sprachmodell dieses Muster und schließt daraus, dass die Umgebung ein Café ist. Dieser Schritt ist es, der dem System seine Fäh Fähigkeit zur Generalisierung verleiht; es muss kein Bild eines Cafés gesehen haben, um zu wissen, wie eines klingt. Es versteht schlichtweg die Beziehung zwischen den Klängen. Die Forscher testeten diesen Ansatz mit einem Datensatz, der Aufnahmen seltener Ereignisse wie Babygeschrei, Glaszerbrechen und Schüsse enthielt, gemischt in fünfzehn verschiedene Umgebungen, die von belebten Stadtzentren bis hin zu ruhigen Wäldern reichten.

Die Ergebnisse dieses Experiments waren beeindruckend. Als das System gebeten wurde, die seltenen Ereignisse zu identifizieren, erreichte es eine Erfolgsquote von 96 % bei der Erkennung eines weinenden Babys, 98 % beim Glaszerbrechen und 91 % bei Schüssen. Diese Zahlen sind signifikant, da das System nicht auf diese spezifischen Beispiele trainiert wurde; es hat gelernt, sie eigenständig zu erkennen. Noch beeindruckender war seine Leistung bei der Identifizierung der Umgebung. Als das System gefragt wurde, die Umgebung einer Aufnahme zu erraten, enthielten die Top-Fünf-Tipps des Systems in 95 % der Fälle die richtige Antwort, und sein einziger bester Tipp war in 8% der Fälle korrekt. Dies ist eine bemerkenswerte Leistung für ein System, das ohne jegliche beschriftete Daten arbeitet und viele traditionelle Methoden übertrifft, die auf umfangreiche menschliche Aufsicht angewiesen sind. Die Forscher testeten das System auch unter schwierigen Bedingungen, indem sie starke Störgeräusche in die Aufnahmen einführten, um Umgebungen zu simulieren, in denen das Signal schwach ist. Selbst als der Lärm zehnmal lauter war als der Klang des Ereignisses selbst, behielt das System eine hohe Genauigkeit bei und identifizierte Ereignisse und Szenen mit nur einem leichten Leistungsabfall korrekt. Diese Resilienz deutet darauf hin, dass das System nicht auf saubere, perfekte Audioaufnahmen angewiesen ist, sondern in der chaotischen Realität der echten Welt navigieren kann.

Die Studie untersuchte auch, wie sich diese Methode bei der Anwendung auf verschiedene Arten von Audio bewährt, einschließlich Aufnahmen aus realen häuslichen Umgebungen und urbanen Szenen in verschiedenen europäischen Städten. Das System funktionierte weiterhin gut, identifizierte Ereignisse wie Geschirrspülvorgänge oder Mixergeräusche in einem Haushalt korrekt und unterschied zwischen einer belebten Straße und einem ruhigen Park in einer Stadt. Diese Konsistenz über verschiedene Datensätze hinweg zeigt, dass der Ansatz nicht nur eine Methode ist, die bei einer spezifischen Art von Daten funktioniert, sondern eine robuste Methode zum Verständnis von Schall im Allgemeinen. Die Forscher merkten an, dass das System zwar eine beträchtliche Menge an Computerarbeitsspeicher benötigt, um lange Aufnahmen zu verarbeiten, es aber auf Standardhardware laufen kann und nach der Installation keine ständige Internetverbindung benötigt. Diese Portabilität öffnet die Tür für praktische Anwendungen in Bereichen, in denen menschliche Aufsicht unmöglich oder zu kostspielig ist, wie etwa bei der Überwachung von Industriemaschinen auf frühe Anzeichen eines Ausfalls, der Analyse von Tatorten oder der Verwaltung von Stadtverkehr und Sicherheit.

Was diese Arbeit besonders bemerkenswert macht, ist die Art und Weise, wie sie das Paradigma der akustischen Klassifizierung verschiebt. Jahrelang wurde das Feld von überwachtem Lernen dominiert, bei dem der Computer mit tausenden Beispielen gefütert wird, an denen die Antworten bereits hängen. Die neue Methode beweist, dass ein Computer lernen kann zu hören und zu schlussfolgern, ohne diese Antworten zu besitzen, indem er die Beziehungen zwischen Klängen und die Logik der Sprache nutzt, um die Lücken zu füllen. Es legt nahe, dass der Schlüssel zum Verständnis von Schall nicht nur in der Erkennung von Mustern liegt, sondern im Verständnis des Kontextes, in dem diese Muster auftreten. Durch die Kombination eines Schalltrennungswerkzeugs mit einer sprachbasierten Denkmaschine haben die Forscher ein System geschaffen, das in der Lage ist, einem chaotischen Mix aus Lärm zuzusehen und die Geschichte darin zu finden. Während noch Arbeit geleistet werden muss, um das System schneller und effizienter zu machen, zeigen die Ergebnisse einen klaren Weg für Maschinen auf, die der Welt um sie herum wirklich zuhören können, indem sie das Seltene und das Gemeinsame mit einem Grad an Unabhängigkeit identifizieren, der zuvor unerreichbar war.