Vibrato Matching for Modulation Control and Blending in Sound Mixtures
Dieses Paper stellt einen Vibrato-Matching-Algorithmus vor, der Vibratomuster zwischen Signalen unterdrückt und anschließend überträgt, um Schallquellen zu vermischen und die Wahrnehmung mehrerer Quellen zu reduzieren, wodurch dadurch auch die Leistung von Quellentrennungssystemen verschlechtert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des Klangs sind unsere Ohren bemerkenswert geschickt darin, herauszufiltern, wer was spielt, selbst wenn mehrere Instrumente dieselbe Note gleichzeitig spielen. Diese Fähigkeit beruht maßgeblich auf einer subtilen musikalischen Technik namens Vibrato, einem leichten, schnellen Schwanken von Tonhöhe und Lautstärke, das Musiker natürlich zu gehaltenen Noten hinzufügen. Während dieses Schwanken oft dazu verwendet wird, Emotionen auszudrücken, dient es auch einer praktischen Funktion für das Gehirn: Da kein zwei Musiker ihre Noten exakt auf die gleiche Weise schwingen lassen, fungieren diese winzigen Unterschiede als einzigartige Fingerabdrücke. Wenn ein Zuhörer zwei Violinen zusammen spielen hört, nutzt sein Gehirn diese unterschiedlichen Schwankungen, um die beiden Stimmen zu trennen und sie als zwei verschiedene Quellen statt als eine einzige wahrzunehmen. Dieses Prinzip ist so zuverlässig, dass auch Computerprogramme, die darauf ausgelegt sind, gemischte Audiosignale zu trennen, auf diese Unterschiede zurückgreifen, um das Durcheinander zu entwirren.
Ein Forscher an der University of California, San Diego, hat nun eine Methode entwickelt, um diese Unterschiede gezielt zu löschen, indem er einem Computer beibringt, zwei verschiedene Schallquellen so klingen zu lassen, als würden sie in perfektem Gleichklang schwingen. Indem er die Aufnahme eines Instruments nahm, deren natürliches Schwanken entfernte, und dann das exakte Schwingungsmuster eines zweiten Instruments sorgfältig darüber „malte“, erschuf der Forscher ein System, das zwei unterschiedliche Klänge zu einer einzigen, nahtlosen Einheit verschmelzen lassen kann. Die Studie zeigt, dass bei dieser Abstimmung die Fähigkeit von Computer-Algorithmen, zwei separate Quellen zu identifizieren, signifikant sinkt. Obwohl noch keine Hörtests durchgeführt wurden, um zu bestätigen, dass die Verwendung von Vibrato-Matching bei Unisono-Signalen die Fähigkeit eines menschlichen Zuhörers zur Wahrnehmung mehrerer Quellen verringert, deutet die Tatsache, dass von ähnlichen Hörtests inspirierte Algorithmen zur Quellentrennung eine reduzierte Kapazität zur Trennung zeigen, darauf hin, dass eine ähnliche Verschlechterung auch beim menschlichen Hörer auftreten könnte. Die Arbeit legt nahe, dass Toningenieure durch die Kontrolle dieser subtilen Modulationen Hybridinstrumente erschaffen oder die Präsenz mehrerer Spieler in einem Mix verbergen können, indem sie ein natürliches Unterscheidungsmerkmal in ein Werkzeug zum Verschmelzen verwandeln.
Der Prozess beginnt mit einem Zielklang, wie etwa einer Aufnahme eines Sängers, und einem Quellklang, wie etwa einer Aufnahme eines Saxofons. Der erste Schritt umfasst eine digitale Säuberung der Zielaufnahme. Der Computer analysiert die Stimme des Sängers, um das natürliche Schwanken in Tonhöhe und Lautstärke zu finden, und glättet sie dann so weit, bis die Stimme vollkommen stabil ist und das natürliche Vibrato vollständig entfernt wurde. Sobald das Zielsignal von seiner ursprünglichen Bewegung befreit ist, wendet sich das System an das Quellsignal, um dessen spezifisches Schwingungsmuster zu erlernen. Es kopiert nicht einfach die allgemeine Form des Klangs; stattdessen zerlegt es die Quelle in ihre einzelnen Musiktöne und das Hintergrundrauschen, das zwischen ihnen liegt. Für jeden dieser Töne berechnet das System exakt, wie die Lautstärke ansteigt und abfällt, und für das Hintergrundrauschen bildet es ab, wie sich die Energie über verschiedene Frequenien verschiebt.
Mit diesen detaillierten Mustern in der Hand wendet das System sie auf das stabile Zielsignal an. Es nimmt die glatte, ungeschwankte Stimme und beginnt sie zu modulieren, indem es die spezifischen Lautstärkeschwankungen und Tonhöhenverschiebungen hinzufügt, die zum Saxofon gehörten. Entscheidend ist, dass dies keine Einheitsanwendung ist. Das System wendet für jeden musikalischen Ton innerhalb der Stimme ein einzigartiges Lautstärkeschwanken an, genau wie ein echtes Saxofon es tun würde, und es wendet zudem ein separates, komplexes Schwanken auf das Hintergrundrauschen der Stimme an. Diese Liebe zum Detail stellt sicher, dass das Ergebnis natürlich klingt und nicht roboterhaft. Das Endergebnis ist eine Stimme, die den ursprünglichen Ton und die Tonhöhe des Sängers beibehält, sich aber mit der exakten rhythmischen und dynamischen Persönlichkeit des Saxofons bewegt.
Die Forscher testeten diese Methode, indem sie zwei verschiedene Gesangsaufnahmen miteinander mischten. In der ursprünglichen Mischung, in der die Sänger unterschiedliche natürliche Schwingungsmuster hatten, war der Klang rau und ungleichmäßig, und ein Computerprogramm konnte die beiden Stimmen leicht trennen, da ihre Bewegungen unterscheidbar waren. Als die Forscher jedoch ihren Algorithmus verwendeten, um die Sänger exakt auf die gleiche Weise schwingen zu lassen, änderte sich das Ergebnis dramatisch. Der gemischte Klang wurde glatt und einheitlich und klang wie ein einziger Sänger, der zweimal mit perfekter Konsistenz aufgenommen wurde. Als dasselbe Computerprogramm versuchte, die Stimmen zu trennen, scheiterte es in dieser neuen, angepassten Mischung vollständig und war nicht in der Lage, zwischen den beiden Quellen zu unterscheiden. Die visuelle Darstellung des Klangs zeigte, wie die beiden Stimmen zu einer einzigen, soliden Linie verschmolzen, die von einer einzelnen Performance ununterscheidbar war.
Dieser Effekt blieb auch bestehen, wenn die Forscher Instrumente mischten, die sehr unterschiedlich sind, wie etwa eine Fagott und ein Bass-Oboe. Vor dem Matching-Prozess konnte der Computer die beiden Instrumente aufgrund ihrer unterschiedlichen Schwingungsmuster trennen. Nachdem der Algorithmus sie gezwungen hatte, dasselbe Vibrato zu teilen, schlug die Trennung fehl, und die beiden Instrumente klangen wie eine einzige, verschmolzene Einheit. Die Studie legt nahe, dass, obwohl andere Faktoren wie die Klangfarbe immer noch eine Rolle dabei spielen, wie wir Schall hören, das Abgleichen dieser spezifischen Schwingungsmuster ein mächtiges Werkzeug ist, um die Präsenz mehrerer Quellen zu verschleiern. Die Forscher schlagen vor, dass diese Technik kreativ eingesetzt werden könnte, um neue Hybridinstrumenten-Klänge zu entwerfen oder zu kontrollieren, wie Zuhörer Klänge gruppieren, indem man die Komplexität einer musikalischen Anordnung effektiv verbirgt, indem man ihre Teile als eine Einheit agieren lässt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.