A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

Immaginate di entrare in una stanza affollata dove una dozzina di diversi strumenti musicali suonano contemporaneamente. Per l'orecchio umano, il risultato è un unico, intricato muro di suono. Se registraste quel rumore con un singolo microfono, la registrazione conterrebbe ogni nota, ogni ritmo e ogni strumento, mescolati in un unico flusso indistinguibile. Per decenni, gli scienziati hanno lottato con una sfida specifica: come prendere quella singola, disordinata registrazione e tirare fuori i singoli strumenti, isolando il violino dalla batteria o il pianoforte dal flauto, senza averli mai sentiti da soli prima. Questo è il problema della separazione delle sorgenti sonore. Sebbene i computer siano diventati molto bravi in questo compito quando possono vedere il video della performance, la maggior parte dei metodi esistenti si basa su sistemi complessi e "tutto in uno" che sono difficili da adattare a strumenti nuovi o rari.

Un team di ricercatori dell'Università di Yazd, in Iran, ha proposto un approccio diverso, uno che suddivide il problema in due fasi distinte per gestire meglio i video del mondo reale, inclusi quelli che presentano strumenti musicali tradizionali persiani. Il loro lavoro, pubblicato in uno studio recente, si concentra sulla creazione di un sistema che prima "osserva" il video per identificare quali strumenti sono presenti e dove si trovano, e poi utilizza queste informazioni visive per guidare il processo di separazione dell'audio. Invece di cercare di risolvere i puzzle visivi e audio simultaneamente con un unico enorme cervello, il loro metodo utilizza un rilevatore visivo specializzato per dire a un separato processore audio esattamente cosa ascoltare. Questo design modulare permette al sistema di essere più flessibile ed efficace, in particolare per strumenti che si trovano raramente nei dataset di addestramento standard.

I ricercatori hanno iniziato costruendo un sistema di rilevamento visivo utilizzando un modello noto come YOLOv8, uno strumento progettato per riconoscere oggetti nelle immagini in modo rapido e accurato. Hanno addestrato questo modello su una collezione di 358 immagini annotate che presentavano dodici diversi tipi di strumenti musicali, un mix di pilastri internazionali come la chitarra e il pianoforte e strumenti tradizionali persiani come il Daf, il Kamancheh e il Santur. L'obiettivo era insegnare al computer come individuare questi strumenti nei fotogrammi video, disegnando un riquadro attorno ad essi e nominandoli. Poiché il dataset era relativamente piccolo, il team ha utilizzato una tecnica chiamata transfer learning, che consente a un modello addestrato su una vasta libreria di oggetti generici di essere perfezionato per questi specifici strumenti musicali. Quando testato su nuovi fotogrammi video, il sistema ha identificato con successo gli strumenti con una precisione del 75,1 percento, il che significa che quando diceva di aver visto un particolare strumento, di solito era corretto. È anche riuscito a trovare circa il 59 percento di tutti gli strumenti effettivamente presenti nelle scene.

Una volta che il sistema visivo identifica quali strumenti stanno suonando, inizia la seconda parte del processo. I ricercatori hanno sviluppato una rete di elaborazione audio separata per ciascuno dei dodici tipi di strumenti. Ciò significa che se il rilevatore visivo individua una chitarra e una batteria, il sistema non prova a indovinare come separarli da zero. Invece, attiva la rete specifica della "Chitarra" e la rete specifica della "Batteria". Ognuna di queste reti è progettata per analizzare la registrazione audio mixata, che è stata convertita in una mappa visiva delle frequenze sonore nel tempo, nota come spettrogramma. Il compito della rete è quello di creare un filtro digitale, o maschera, che evidenzi le parti del suono appartenenti al suo strumento specifico e silenzia il resto.

I ricercatori hanno testato questo sistema a due fasi su 420 clip video del mondo reale. Hanno scoperto che, utilizzando il rilevamento visivo per guidare la separazione audio, il sistema poteva isolare efficacemente i suoni dei diversi strumenti. In media, la qualità della separazione è stata forte, con il sistema che ha raggiunto un punteggio che indica una chiara distinzione tra il suono target e il rumore di fondo. Per alcuni strumenti, come il clarinetto e la chitarra, la separazione è stata eccezionalmente pulita, mentre altri con frequenze più complesse o sovrapposte hanno presentato una sfida maggiore. Lo studio ha anche confrontato il loro metodo con altre tecniche avanzate e ha scoperto che il loro approccio produceva risultati superiori nella riduzione dell'interferenza da parte di altri strumenti, ottenendo una qualità di separazione media di 8,75 decibel.

Una scoperta chiave di questa ricerca è che l'informazione visiva agisce come una potente guida, restringendo le possibilità per il sistema audio. Sapendo esattamente quali strumenti sono nella scena, il sistema non deve indovinare o cercare attraverso tutte le possibili combinazioni di suoni. Questo è particolarmente prezioso per gli strumenti musicali persiani, che sono spesso sottorappresentati nei dataset globali e difficili da riconoscere per i modelli standard. Lo studio dimostra che un sistema modulare, in cui il rilevamento visivo e la separazione audio lavorano in tandem ma rimangono distinti, è un modo pratico ed efficace per districare complesse esecuzioni musicali. Sebbene il sistema richieda attualmente un modello separato per ogni tipo di strumento e non sia ancora in grado di imparare a separare un nuovo strumento mai visto prima, i risultati mostrano una via chiara per migliorare il modo in cui le macchine comprendono e isolano il suono nel mondo reale.