A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

Stellen Sie sich vor, Sie betreten einen überfüllten Raum, in dem ein Dutzend verschiedener Musikinstrumente gleichzeitig spielen. Für das menschliche Ohr ist das Ergebnis eine einzige, verworrene Wand aus Klang. Wenn Sie diesen Lärm mit einem einzigen Mikrofon aufnehmen würden, würde die Aufnahme jede Note, jeden Rhythmus und jedes Instrument enthalten, vermischt zu einem ununterscheidbaren Strom. Jahrzehntelang haben Wissenschaftler mit einer spezifischen Herausforderung gekämpft: Wie man diese einzelne, chaotische Aufnahme nimmt und die einzelnen Instrumente herauszieht – die Violine vom Schlagzeug oder das Klavier von der Flöte isoliert – ohne sie jemals zuvor allein gehört zu haben. Dies ist das Problem der Quellengentrennung von Schall (Sound Source Separation). Während Computer bei dieser Aufgabe bereits sehr gut sind, wenn sie das Video der Aufführung sehen können, verlassen sich die meisten bestehenden Methoden auf komplexe All-in-One-Systeme, die schwer auf neue oder seltene Instrumente anzupassen sind.

Ein Forscherteam der Yazd University im Iran hat einen anderen Ansatz vorgeschlagen, der das Problem in zwei distinkte Schritte unterteilt, um realitätsnahe Videos, einschließlich solcher mit traditionellen persischen Musikinstrumenten, besser handhaben zu können. Ihre Arbeit, die in einer kürzlich veröffentlichten Studie präsentiert wurde, konzentriert sich darauf, ein System zu schaffen, das zuerst das Video „sieht“, um zu identifizieren, welche Instrumente vorhanden sind und wo sie sich befinden, und dann diese visuellen Informationen nutzt, um den Prozess der Audiotrennung zu leiten. Anstatt zu versuchen, die visuellen und akustischen Rätsel gleichzeitig mit einem einzigen massiven Gehirn zu lösen, verwendet ihre Methode einen spezialisierten visuellen Detektor, der einem separaten Audio-Prozessor genau sagt, worauf er hören soll. Dieses modulare Design ermöglicht es dem System, flexibler und effektiver zu sein, insbesondere für Instrumente, die in Standard-Trainingsdaten selten vorkommen.

Die Forscher begannen damit, ein visuelles Erkennungssystem unter Verwendung eines Modells namens YOLOv8 aufzubauen, einem Werkzeug, das darauf ausgelegt ist, Objekte in Bildern schnell und präzise zu erkennen. Sie trainierten dieses Modell auf einer Sammlung von 358 annotierten Bildern, die zwölf verschiedene Arten von Musikinstrumenten zeigen – eine Mischung aus internationalen Klassikern wie der Gitarre und dem Klavier sowie traditionellen persischen Instrumenten wie der Daf, Kamancheh und Santur. Das Ziel war es, dem Computer beizubringen, diese Instrumente in Videobildern zu entdecken, indem er ein Kästchen um sie zieht und sie benennt. Da der Datensatz relativ klein war, nutzte das Team eine Technik namens Transfer Learning, die es ermöglicht, ein Modell, das auf einer riesigen Bibliothek allgemeiner Objekte trainiert wurde, für diese spezifischen Musikwerkzeuge fein abzustimmen. Beim Testen auf neuen Videobildern identifizierte das System die Instrumente mit einer Präzision von 75,1 Prozent, was bedeutet, dass es meist korrekt war, wenn es behauptete, ein bestimmtes Instrument gesehen zu zu haben. Es schaffte es zudem, etwa 59 Prozent aller tatsächlich in den Szenen vorhandenen Instrumente zu finden.

Sobald das visuelle System identifiziert hat, welche Instrumente spielen, beginnt der zweite Teil des Prozesses. Die Forscher entwickelten ein separates Audio-Verarbeitungsnetzwerk für jede der zwölf Instrumententypen. Das bedeutet: Wenn der visuelle Detektor eine Gitarre und eine Trommel erkennt, versucht das System nicht, diese Sounds von Grund auf neu zu erraten. Stattdessen aktiviert es das spezifische „Gitarren“-Netzwerk und das spezifische „Trommel“-Netzwerk. Jedes dieser Netzwerke ist darauf ausgelegt, die gemischte Audioaufnahme zu analysieren, die in eine visuelle Karte der Schallfrequenzen über die Zeit, bekannt als Spektrogramm, umgewandelt wurde. Die Aufgabe des Netzwerks besteht darin, einen digitalen Filter oder eine Maske zu erstellen, die die Teile des Klangs hervorhebt, die zu seinem spezifischen Instrument gehören, und den Rest stummschaltet.

Die Forscher testeten dieses zweistufige System an 422 realen Videoclips. Sie fanden heraus, dass das System durch die Nutzung der visuellen Detektion zur Steuerung der Audiotrennung die Klänge der verschiedenen Instrumente effektiv isolieren konnte. Im Durchschnitt war die Qualität der Trennung stark; das System erreichte einen Wert, der eine klare Unterscheidung zwischen dem Zielsound und dem Hintergrundrauschen anzeigt. Für einige Instrumente, wie die Klarinette und die Gitarre, war die Trennung außergewöhnlich sauber, während andere mit komplexeren oder überlappenden Frequenzen eine größere Herausforderung darstellten. Die Studie verglich ihre Methode auch mit anderen fortschrittlichen Techniken und stellte fest, dass ihr Ansatz überlegene Ergebnisse bei der Reduzierung von Interferenzen durch andere Instrumente erzielte, mit einer durchschnittlichen Trennungsgüte von 8,75 Dezibel.

Eine zentrale Erkenntnis dieser Forschung ist, dass die visuelle Information als kraftvoller Wegweiser fungiert, der die Möglichkeiten für das Audiosystem einschränkt. Durch das Wissen darüber, welche Instrumente exakt in der Szene sind, muss das System nicht raten oder nach allen möglichen Kombinationen von Klängen suchen. Dies ist besonders wertvoll für persische Musikinstrumente, die in globalen Datensätzen oft unterrepräsentiert sind und von Standardmodellen schwerer erkannt werden. Die Studie zeigt, dass ein modulares System, in dem visuelle Detektion und Audiotrennung Hand in Hand arbeiten, aber dennoch distinkt bleiben, eine praktische und effektive Methode ist, um komplexe musikalische Darbietungen zu entwirren. Obwohl das System derzeit ein separates Modell für jeden Instrumententyp benötigt und noch nicht in der Lage ist, ein völlig neues, bisher unbekanntes Instrument zu lernen zu trennen, zeigen die Ergebnisse einen klaren Weg nach vorn, um das Verständnis und die Isolierung von Schall durch Maschinen in der realen Welt zu verbessern.