Estimating the Reliability of Dynamic Time Warping Alignments Using Circumstantial Evidence

Imagina que estás intentando emparejar dos grabaciones diferentes de la misma canción, como una improvisación de jazz de dos bandas distintas tocando la misma melodía. A veces los músicos aceleran, ralentizan o incluso hacen un solo completamente diferente en medio. Para alinear estas grabaciones, los científicos utilizan un truco informático muy ingenioso llamado Dynamic Time Warping (DTW). Piensa en el DTW como una banda elástica superinteligente que estira y encoge una grabación para que encaje perfectamente sobre la otra, encontrando la mejor coincidencia para cada nota.

Pero aquí está la parte difícil: el DTW es tan ansioso por encontrar una coincidencia que a veces fuerza la unión de dos cosas que en realidad no pertenecen, como intentar emparejar un solo de batería con una melodía de violín solo porque la computadora cree que es el "mejor" ajuste que puede encontrar. La gran pregunta en este campo es: ¿Cómo sabemos cuándo la computadora tiene razón con confianza y cuándo solo está adivinando? Este artículo profundiza en esa incertidumbre, preguntándose si podemos construir un "detector de mentiras" para estos alineamientos computacionales para decirnos qué partes del emparejamiento son confiables y cuáles son inestables.

El detective de la "evidencia circunstancial"

Los autores de este artículo, Aanya Pratapneni, Alice Yuan y TJ Tsai, del Harvey Mudd College, decidieron resolver este misterio utilizando un concepto llamado evidencia circunstancial. En lugar de intentar calcular complejas fórmulas matemáticas para adivinar la verdad, se hicieron una pregunta sencilla: Si la computadora está realmente segura de una coincidencia, ¿elegiría la misma coincidencia si le diéramos un poco más de libertad para deambular?

Para entender su método, imagina que estás tratando de encontrar el camino más corto a través de un bosque denso y con niebla.

1. La caminata estándar (DTW): Se te dan reglas estrictas: debes empezar en la puerta inferior izquierda y terminar en la puerta superior derecha. Sigues el camino que parece tener menos espinas. Esto es lo que hace el algoritmo DTW estándar.
2. La caminata "¿Y si...?" (FlexDTW): Ahora, imagina que tomas ese mismo bosque pero le dices al caminante: "Está bien, no tienes que empezar en la puerta ni terminar en la puerta. Puedes empezar en cualquier lugar del borde izquierdo o inferior, y detenerte en cualquier lugar del borde superior o derecho". Esto es lo que los investigadores llaman FlexDTW.

La gran idea:
Si el bosque tiene un camino muy obvio y claro (un camino "fuerte"), el caminante elegirá ese mismo camino incluso si relajas las reglas. Dirá: "¡Oye, este es claramente el mejor camino, sin importar dónde empiece!".
Sin embargo, si el bosque está lleno de arbustos espinosos y confusos sin un camino claro para atravesarlo (un camino "débil"), el caminante se confundirá. Si relajas las reglas, podrían elegir una ruta completamente diferente porque la original no era realmente especial.

Los investigadores construyeron una métrica (un sistema de puntuación) basada en esta idea. Toman un pequeño fragmento del emparejamiento original de la computadora, ejecutan la versión más "libre" de FlexDTW solo en ese fragmento y ven cuánto cambia el camino.

• ¿Sin cambios? El emparejamiento original era fuerte y confiable.
• ¿Cambio grande? El emparejamiento original era débil e inestable.

Cómo lo probaron

Para ver si su "detector de mentiras" funcionaba, no solo adivinaron; crearon un patio de recreo de 19 escenarios diferentes utilizando grabaciones de Mazurkas de Chopin (un tipo de música clásica para piano). Tomaron pares de grabaciones y "manipularon" secretamente las grabaciones.

A veces reemplazaban un bloque entero de la música con una canción diferente (convirtiéndolo en una región "no coincidente"). Otras veces, solo reemplazaban una pequeña porción del 10% o 30% de la canción. Hicieron esto en diferentes lugares: al principio, en el medio o al final. Esto creó una mezcla de coincidencias "confiables" (donde la música realmente se alineaba) e "inconfiables" (donde la computadora se veía obligada a alinear dos cosas diferentes).

Luego ejecutaron su métrica de confiabilidad en estas grabaciones manipuladas para ver si podía señalar correctamente las partes "falsas" como poco fiables.

Lo que encontraron

Los resultados fueron bastante impresionantes. La métrica resultó ser un muy buen detective.

• La puntuación: Cuando la probaron en todos sus escenarios, la métrica alcanzó un AUROC de 0.97. En el mundo de la informática, esta es una puntuación muy alta, lo que significa que fue excelente para distinguir entre las coincidencias "buenas" y las "malas".
• La línea base: Compararon su método con una línea base "ingenua", que simplemente observaba qué tan barato era el camino (asumiendo que los caminos más baratos son mejores). Su nuevo método aplastó a la línea base. Por ejemplo, en una prueba donde la mitad de los emparejamientos eran falsos, el nuevo método identificó correctamente las partes confiables el 94.1% de las veces, mientras que el método antiguo solo logró el 31.9%.

Los límites del detective

Sin embargo, el artículo es honesto sobre dónde tropieza el detective. El método no es perfecto para detectar secretos muy cortos.

• El problema del "fragmento": El método observa la música en "fragmentos" (bloques de tiempo). En su mejor configuración, utilizaron fragmentos de 300 cuadros (que son aproximadamente 232 milisegundos).
• El modo de falla: Si una sección "falsa" o "real" de la música es más corta que el tamaño del fragmento, el método podría pasarla por alto. Por ejemplo, si hay un error extraño de 2 segundos en medio de una canción, pero el fragmento es de 7 segundos de largo, las partes "buenas" del fragmento podrían ocultar la parte "mala", haciendo que todo parezca confiable.
• Repetición: El método también se confunde si la música se repite mucho (como un estribillo que suena exactamente igual tres veces). Si la computadora ve tres caminos idénticos, podría elegir el incorrecto, y la "prueba de libertad" no lo detectará porque todos los caminos parecen iguales.

La conclusión

Este artículo no pretende haber resuelto el problema de la alineación musical para siempre, ni dice que su método funcione para todo tipo de música. En cambio, ofrece una nueva herramienta no supervisada (una que no necesita profesores humanos que revisen su trabajo) que utiliza la "evidencia circunstancial" para decirnos cuándo podemos confiar en la alineación de una computadora.

Simplemente preguntando: "¿Seguiría este camino igual si relajamos las reglas?", los autores encontraron una forma de resaltar las partes inestables del emparejamiento. Aunque tiene dificultades con los fallos muy cortos o la música altamente repetitiva, identificó con éxito las regiones confiables con una alta precisión, brindando a los músicos e investigadores una mejor manera de saber cuándo sus alineaciones digitales son oro puro y cuándo son solo oro de pacotilla.