Vibrato Matching for Modulation Control and Blending in Sound Mixtures
Questo articolo introduce un algoritmo di adattamento del vibrato che sopprime e poi trasferisce i pattern del vibrato tra i segnali per fondere le sorgenti sonore e ridurre la percezione di molteplici sorgenti, degradando così anche le prestazioni dei sistemi di separazione delle sorgenti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo del suono, le nostre orecchie sono straordinariamente abili nel distinguere chi sta suonando cosa, anche quando più strumenti suonano la stessa nota contemporaneamente. Questa capacità si basa pesantemente su una sottile tecnica musicale chiamata vibrato, una leggera e rapida oscillazione di intonazione e volume che i musicisti aggiungono naturalmente alle note sostenute. Sebbene questa oscillazione sia spesso usata per esprimere emozione, serve anche a una funzione pratica per il cervello: poiché nessun musicista fa vibrare le proprie note esattamente nello stesso modo, queste piccole differenze agiscono come impronte digitali uniche. Quando un ascoltatore sente due violini suonare insieme, il suo cervello utilizza queste oscillazioni distinte per separare le due voci, percependole come due sorgenti separate anziché una sola. Questo principio è così affidabile che anche i programmi informatici progettati per separare segnali audio misti si affidano a queste differenze per districare il groviglio.
Un ricercatore dell'Università della California a San Diego ha ora sviluppato un metodo per cancellare deliberatamente queste differenze, insegnando efficacemente a un computer a far sì che due sorgenti sonore diverse suonino con un'oscillazione in perfetto unisono. Prendendo la registrazione di uno strumento e rimuovendo il suo naturale vibrato, poi "dipingendo" con cura il pattern di oscillazione esatto di un secondo strumento, il ricercatore ha creato un sistema in grado di fondere due suoni distinti in un'unica entità fluida. Lo studio dimostra che, quando questo accoppiamento viene eseguito, la capacità degli algoritmi informatici di distinguere due sorgenti separate diminuisce significamente. Sebbene non siano ancora stati condotti test di ascolto per confermare che l'uso del matching del vibrato su segnali in unisono riduca la capacità di un ascoltatore umano di percepire molteplici sorgenti, il fatto che gli algoritmi di separazione delle sorgenti, ispirati da simili test di ascolto, mostrino una capacità di separazione ridotta suggerisce che possa verificarsi un simile degrado anche per gli ascoltatori umani. Il lavoro suggerisce che, controllando queste sottili modulazioni, gli ingegneri del suono possano creare strumenti ibridi o nascondere la presenza di più esecutori in un mix, trasformando un indizio naturale di separazione in uno strumento di fusione.
Il processo inizia con un suono target, come la registrazione di un cantante, e un suono sorgente, come la registrazione di un sassofono. Il primo passo prevede una pulizia digitale della registrazione target. Il computer analizza la voce del cantante per trovare l'oscillazione naturale di intonazione e volume, quindi la leviga finché la voce non risulta perfettamente costante, rimuovendo interamente il vibrato naturale. Una volta che il segnale target è stato privato del suo movimento originale, il sistema passa al segnale sorgente per apprendere il suo specifico pattern di oscillazione. Non si limita a copiare la forma generale del suono; invece, scompone la sorgente nei suoi singoli toni musicali e nel rumore di fondo che si colloca tra di essi. Per ciascuno di questi toni, il sistema calcola esattamente come il volume sale e scende, e per il rumore di fondo, mappa come l'energia si sposta attraverso diverse frequenze.
Con questi modelli dettagliati in mano, il sistema li applica al segnale target costante. Prende la voce fluida e priva di oscillazioni e inizia a modularla, aggiungendo le specifiche fluttuazioni di volume e le variazioni di intonazione che appartenevano al sassofono. Fondamentalmente, questa non è un'applicazione universale. Il sistema applica un'oscillazione di volume unica a ogni tono musicale all'interno della voce, proprio come farebbe un vero sassofono, e applica inoltre un'oscillazione separata e complessa al rumore di fondo della voce. Questa attenzione ai dettagli assicura che il risultato suoni naturale piuttosto che robotico. L'output finale è una voce che mantiene il tono e l'intonazione del cantante originale, ma si muove con la personalità ritmica e dinamica esatta del sassofono.
I ricercatori hanno testato questo metodo mescolando due diverse registrazioni vocali. Nel mix originale, dove i cantanti avevano diversi pattern di oscillazione naturali, il suono era aspro e irregolare, e un programma informatico poteva facilmente separare le due voci perché i loro movimenti erano distinti. Tuttavia, quando i ricercatori hanno usato il loro algoritmo per far sì che i cantanti vibrassero esattamente nello stesso modo, il risultato è cambiato drasticamente. Il suono miscelato è diventato fluido e unificato, dando l'impressione di un unico cantante registrato due volte con perfetta costanza. Quando lo stesso programma informatico ha tentato di separare le voci in questo nuovo mix coordinato, è fallito completamente, incapace di distinguere tra le due sorgenti. La rappresentazione visiva del suono mostrava le due voci che si fondevano in un'unica linea solida, indistinguibile da una singola esecuzione.
Questo effetto è rimasto valido anche quando i ricercatori hanno mescolato strumenti molto diversi tra loro, come un fagotto e un oboe basso. Prima del processo di matching, il computer poteva separare i due strumenti basandosi sui loro diversi pattern di oscillazione. Dopo che l'algoritmo ha costretto entrambi a condividere lo stesso vibrato, la separazione è fallita e i due strumenti sono suonati come un'unica entità fusa. Lo studio suggerisce che, sebbene altri fattori come il timbro giochino ancora un ruolo nel modo in cui percepiamo il suono, l'accoppiamento di questi specifici pattern di oscillazione è uno strumento potente per oscurare la presenza di molteplici sorgenti. I ricercatori propongono che questa tecnica possa essere utilizzata in modo creativo per progettare nuovi suoni di strumenti ibridi o per controllare il modo in cui gli ascoltatori raggruppano i suoni, nascondendo efficacementmente la complessità di un arrangiamento musicale facendo sì che le sue parti si muovano come un tutt'uno.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.