Velocity Prediction in Automatic Guitar Transcription
Dieses Paper präsentiert eine Methodik für die automatische Gitarrentranskription, die die Notengeschwindigkeit erfolgreich vorhersagt, indem sie ein Modell auf synthetischen Daten vortrainiert, welche mit virtuellen Instrumenten generiert wurden, und anschließend diese Gewichte auf ein Modell überträgt, das mit realer Gitarrenaudio trainiert wurde, wodurch eine Transkriptionsleistung auf dem Stand der Technik neben der Fähigkeit zur Vorhersage der Geschwindigkeit erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen Roboter, der ein Gitarrenlied hören und die Noten dafür für Sie aufschreiben kann. Das nennt man „Automatische Gitarren-Transkription“. Lange Zeit waren diese Roboter sehr gut darin, herauszufinden, welche Noten gespielt wurden (wie „C“ oder „E“), aber sie waren schrecklich darin, herauszufinden, wie fest der Gitarrist die Saiten angeschlagen hat.
In der Welt der digitalen Musik wird das, wie fest man anschlägt, als Velocity bezeichnet. Bei einem Klavier ist das leicht zu messen, weil der Computer genau weiß, wie schnell eine Taste gedrückt wurde. Aber bei einer Gitarre ist es, als würde man versuchen zu erraten, wie fest jemand gegen einen Fußball getreten hat, nur indem man auf das Wummern hört – es ist vage, und es gibt keine Standardmethie zur Messung. Aus diesem Grund ignoriert die meisten Roboter, die Gitarren transkribieren, dies einfach.
Dieses Paper stellt einen cleveren Trick vor, um einem Roboter beizubringen, die „Velocity“ (oder Intensität) einer Gitarre zu verstehen, ohne dass er eine spezielle, teure Gitarre benötigt, die die Kraft misst.
Das Problem: Kein Handbuch für das Training
Um einen Roboter etwas beizubringen, benötigt man normalerweise einen riesigen Stapel von Beispielen, bei denen die Antwort bereits bekannt ist (wie ein Lösungsschlüssel eines Lehrers). Für das Klavier haben wir solche Lösungsschlüssel. Für die Gitarre haben wir sie nicht. Wir haben Aufnahmen von echten Gitarristen, aber wir kennen nicht die exakten „Velocity“-Werte für jede Note, die sie gespielt haben.
Die Lösung: Der „Virtuelle Gitarren“-Simulator
Die Forscher entschieden sich, zuerst einen Trainings-Simulator zu bauen, anstatt direkt echte Aufnahmen zu verwenden.
- Der Simulator: Sie verwendeten Computer-Software (virtuelle Instrumente), die wie eine Gitarre fungiert. Sie sagten dem Computer: „Spiele diese Note mit einer Velocity von 50“, und der Computer generierte eine Audiodatei. Da der Computer den Sound generierte, kannte er die exakte „Velocity“-Zahl für jede einzelne Note.
- Die erste Lektion: Sie brachten ihrem Roboter-Modell diese synthetischen Daten (Fake-Daten) bei. Der Roboter lernte, auf die Schallwellen zu schauen und zu raten: „Ah, das klingt nach einer Velocity von 50.“
- Der Transfer: Sobald der Roboter das Konzept der Intensität aus den Fake-Daten gelernt hatte, nahmen sie diesen spezifischen Teil seines Gehirns (die „Velocity-Gewichte“) und verschoben sie in ein neues Modell.
- Die echte Lektion: Dann brachten sie dieses neue Modell mit echten Aufnahmen tatsächlicher Gitarristen (aus Datensätzen wie GAPS und GOAT) bei. Sie sagten dem Roboter: „Vergiss die Fake-Zahlen jetzt; lerne stattdessen, die echten Noten und Saiten zu erkennen.“ Aber sie hielten das „Velocity-Gehirn“, das es in Schritt 2 gelernt hatte, an Ort und Stelle eingefroren.
Stellen Sie sich das wie das Unterrichten eines Schüler beim Autofahren vor. Zuerst lassen Sie ihn auf einem Fahrsimulator üben, bei dem Sie genau wissen, wie schnell er fährt. Sobald er das Konzept von Geschwindigkeit und Bremsen verstanden hat, setzen Sie ihn in ein echtes Auto. Sie müssen ihm nicht mehr sagen, wie schnell er ist; er hat bereits ein „Gefühl“ dafür und muss nun nur noch lernen, wie man die echte Straße bewältigt.
Was haben sie herausgefunden?
Die Forscher testeten ihren Roboter auf zwei Arten:
1. Kann er die Intensität auf den Fake-Daten erraten?
Ja, und er war sehr gut darin. Als er mit den synthetischen Daten getestet wurde (wo die „richtige“ Antwort bekannt war), machte der Roboter im Vergleich zu einem Roboter, der nicht dieses spezielle Training erhalten hatte, sehr kleine Fehler. Er lernte erfolgreich die „Persönlichkeit“ der virtuellen Gitarre.
2. Hilft das beim Transkribieren echter Gitarrensongs?
Das ist der knifflige Teil. Da wir keinen „Lösungsschlüssel“ für die echte Gitarren-Velocity haben, konnten sie nicht beweisen, dass der Roboter die exakt richtige Zahl für echte Songs errät. Sie fanden jedoch einen kleinen Nebeneffekt:
- Der Roboter, der das „Velocity-Training“ hatte, war etwas besser darin, zu bestimmen, wann die Noten begannen und aufhörten (das Timing), im Vergleich zu dem Roboter, der dieses Training nicht hatte.
- Die Verbesserung war winzig (etwa 0,1 %), aber sie war vorhanden. Es ist so, als würde man sagen: „Das Wissen darüber, wie fest der Ball getreten wurde, half dem Roboter, den Pfad des Balls ein kleines Stück besser zu erraten.“
Das Fazit
Das Paper behauptet, dass sie erfolgreich das erste Gitarren-Transkriptionsmodell gebaut haben, das in der Lage ist, die „Velocity“ (Intensität) vorherzusagen. Dies erreichten sie durch:
- Die Erstellung eines Fake-Datensatzes, in dem die Intensitätswerte bekannt sind.
- Das Training des Modells auf diesen Fake-Daten.
- Den Transfer dieses Wissens auf ein Modell, das mit echter Gitarren-Audio trainiert wurde.
Die Einschränkungen:
Die Autoren sind ehrlich bezüglich der Schwachstellen. Da „Velocity“ bei einer Gitarre kein harter Wert wie beim Klavier ist, können sie nicht beweisen, dass ihr Roboter zu 100 % richtig über die Intensität echter Songs liegt. Sie schätzen im Grunde basierend darauf, wie laut und hell die Note klingt, was eine gute Annäherung, aber keine perfekte Messung ist.
Kurz gesagt: Sie haben einem Roboter beigebracht, die Intensität einer Gitarre zu „fühlen“, indem sie einen Videospiel-Simulator nutzten, und dieses „Gefühl“ half ihm, das echte Spiel ein kleines bisschen besser zu spielen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.