Estimating the Reliability of Dynamic Time Warping Alignments Using Circumstantial Evidence

Immagina di dover far corrispondere due diverse registrazioni della stessa canzone, come un'improvvisazione jazz di due diverse band che suonano lo stesso brano. A volte i musicisti accelerano, rallentano o addirittura suonano un assolo completamente diverso nel mezzo. Per allineare queste registrazioni, gli scienziati usano un trucco informatico molto intelligente chiamato Dynamic Time Warping (DTW). Pensa al DTW come a un elastico super intelligente che allunga e restringe una registrazione per farla aderire perfettamente all'altra, trovando il miglior accoppiamento possibile per ogni nota.

Ma ecco la parte difficile: il DTW è così desideroso di trovare un match che a volte forza l'unione di due cose che non dovrebbero appartenersi, come cercare di far corrispondere un assolo di batteria a una melodia di violino solo perché il computer pensa che sia il "miglior" accoppiamento che possa trovare. La grande domanda in questo campo è: come facciamo a sapere quando il computer è con sicurezza corretto e quando sta solo tirando a indovinare? Questo articolo approfondisce questa incertezza, chiedendosi se possiamo costruire un "rilevatore di bugie" per questi allineamenti informatici per dirci quali parti del match sono affidabili e quali sono traballanti.

Il detective delle "Prove Circostanziali"

Gli autori di questo articolo, Aanya Pratapneni, Alice Yuan e TJ Tsai del Harvey Mudd College, hanno deciso di risolvere questo mistero usando un concetto chiamato prove circostanziali. Invece di cercare di calcolare complesse formule matematiche per indovinare la verità, si sono posti una domanda semplice: Se il computer è davvero sicuro di un match, sceglierà ancora lo stesso match se gli diamo un po' più di libertà di movimento?

Per capire il loro metodo, immagina di dover trovare il percorso più breve attraverso una foresta densa e nebbiosa.

1. La Camminata Standard (DTW): Ti vengono date regole rigide: devi partire dal cancello in basso a sinistra e finire dal cancello in alto a destra. Segui il percorso che sembra avere meno spine. Questo è ciò che fa l'algoritmo DTW standard.
2. La Camminata "E se..." (FlexDTW): Ora, immagina di fare lo stesso percorso nella foresta ma di dire al camminatore: "Ok, non devi per forza partire dal cancello o finire al cancello. Puoi iniziare da qualsiasi punto sul bordo sinistro o inferiore, e fermarti in qualsiasi punto sul bordo superiore o destro". Questo è ciò che i ricercatori chiamano FlexDTW.

La Grande Idea:
Se la foresta ha un percorso molto ovvio e chiaro (un percorso "forte"), il camminatore sceglierà comunque quello stesso percorso anche se ammorbidisci le regole. Dirà: "Ehi, questo è chiaramente il modo migliore, non importa da dove inizio!".
Tuttavia, se la foresta è piena di cespugli spinosi e confusi senza una via chiara, il camminatore si confonderà. Se ammorbidisci le regole, potrebbe scegliere un percorso completamente diverso perché quello originale non era in realtà così speciale.

I ricercatori hanno costruito una metrica (un sistema di punteggio) basata su questa idea. Prendono una piccola fetta del match originale del computer, eseguono la versione "più libera" FlexDTW solo su quella fetta e vedono quanto cambia il percorso.

• Nessuna variazione? Il match originale era forte e affidabile.
• Grande variazione? Il match originale era debole e inaffidabile.

Come lo hanno testato

Per vedere se il loro "rilevatore di bugie" funzionava, non si sono limitati a indovinare; hanno creato un parco giochi di 19 diversi scenari utilizzando registrazioni di Mazurka di Chopin (un tipo di musica classica per pianoforte). Hanno preso coppie di registrazioni e hanno segretamente "manomesso" i brani.

A volte hanno sostituito un intero blocco della musica con un brano diverso (rendendolo una regione "non corrispondente"). Altre volte, hanno sostituito solo una piccola fetta del 10% o del 30% della canzone. Hanno fatto questo in punti diversi: all'inizio, nel mezzo o alla fine. Ciò ha creato un mix di match "affidabili" (dove la musica si allineava effettivamente) e match "inaffidabili" (dove il computer era costretto ad allineare due cose diverse).

Hanno poi eseguito la loro metrica di affidabilità su queste registrazioni manomesse per vedere se riusciva a segnalare correttamente le parti "false" come inaffidabili.

Cosa hanno scoperto

I risultati sono stati piuttosto impressionanti. La metrica si è rivelata un ottimo detective.

• Il punteggio: Quando l'hanno testata in tutti i loro scenari, la metrica ha ottenuto un AUROC di 0,97. Nel mondo dell'informatica, questo è un punteggio molto alto, il che significa che era eccellente nel distinguere tra i match "buoni" e quelli "cattivi".
• Il Baseline: Hanno confrontato il loro metodo con un baseline "naïve", che si limitava a guardare quanto fosse economico il percorso (assumendo che i percorsi più economici siano migliori). Il loro nuovo metodo ha travolto il baseline. Ad esempio, in un test in cui metà dei match erano falsi, il nuovo metodo ha identificato correttamente le parti affidabili il 94,1% delle volte, mentre il vecchio metodo è riuscito solo al 31,9%.

I limiti del detective

Tuttavia, l'articolo è onesto riguardo ai punti in cui il detective inciampa. Il metodo non è perfetto nel rilevare segreti molto brevi.

• Il "Problema del Blocco": Il metodo analizza la musica in "blocchi" (segmenti di tempo). Nella loro configurazione migliore, hanno usato blocchi di 300 frame (che sono circa 232 millisecondi).
• Il Modo di Fallimento: Se una sezione "falsa" o "reale" della musica è più corta della dimensione del blocco, il metodo potrebbe mancarla. Per esempio, se c'è un glitch strano di 2 secondi nel mezzo di una canzone, ma il blocco è lungo 7 secondi, le parti "buone" del blocco potrebbero nascondere la parte "cattiva", facendo apparire l'intero blocco come affidabile.
• Ripetizione: Il metodo si confonde anche se la musica si ripete molto (come un ritornello che suona esattamente uguale per tre volte). Se il computer vede tre percorsi identici, potrebbe sceglierne uno sbagliato, e il "test della libertà" non lo coglierà perché tutti i percorsi sembrano uguali.

Conclusione

Questo articolo non sostiene di aver risolto il problema dell'allineamento musicale per sempre, né dice che il loro metodo funzioni per ogni singolo tipo di musica. Invezione, offre un nuovo strumento non supervisionato (uno che non ha bisogno di insegnanti umani per controllare il suo lavoro) che usa le "prove circostanziali" per dirci quando possiamo fidarci dell'allineamento di un computer.

Semplicemente chiedendo: "Questo percorso rimarrebbe lo stesso se ammorbidissimo le regole?", gli autori hanno trovato un modo per evidenziare le parti traballanti del match. Sebbene abbia difficoltà con glitch molto brevi o musica altamente ripetitiva, ha identificato con successo le regioni affidabili con un'alta precisione, offrendo a musicisti e ricercatori un modo molto migliore per sapere quando i loro allineamenti digitali sono oro puro e quando sono solo finto oro.