Estimating the Reliability of Dynamic Time Warping Alignments Using Circumstantial Evidence

두 가지 서로 다른 녹음본, 예를 들어 두 팀이 연주하는 동일한 곡의 재즈 즉흥 연주를 서로 맞추려고 한다고 상상해 보세요. 어떤 연주자들은 속도를 높이기도 하고, 늦추기도 하며, 때로는 중간에 완전히 다른 솔로를 연주하기도 합니다. 이 녹음본들을 정렬하기 위해 과학자들은 **동적 시간 워핑(Dynamic Time Warping, DTW)**이라는 영리한 컴퓨터 기법을 사용합니다. DTW를 하나의 아주 똑똑한 고무줄이라고 생각하면 쉽습니다. 이 고무줄은 한 녹음본을 늘리고 줄여서 다른 녹음본과 완벽하게 들어맞도록 만들며, 모든 음표에 대해 최선의 매칭을 찾아냅니다.

하지만 까다로운 점이 있습니다. DTW는 매칭을 찾는 데 너무 열성적인 나머지, 마치 드럼 솔로를 바이올린 멜로디에 억지로 맞추려는 것처럼, 실제로 어울리지 않는 두 대상을 억지로 결합해 버릴 때가 있습니다. 여기서 핵심적인 질문은 이것입니다: 컴퓨터가 확신을 가지고 정답을 맞히고 있는 것인지, 아니면 그저 추측하고 있는 것인지 우리는 어떻게 알 수 있을까요? 이 논문은 이러한 불확실성을 파고들며, 컴퓨터 정렬의 어느 부분이 신뢰할 수 있고 어느 부분이 불안정한지를 알려주는 일종의 '거짓말 탐지기'를 구축할 수 있는지 묻습니다.

"정황 증거"를 찾는 탐정

이 논문의 저자인 하비 머드 칼리지(Harvey Mudd College)의 Aanya Pratapneni, Alice Yuan, TJ Tsai는 **정황 증거(circumstantial evidence)**라는 개념을 사용하여 이 미스터리를 해결하기로 했습니다. 복잡한 수학 공식을 계산하여 진실을 추측하는 대신, 그들은 단순한 질문을 던졌습니다. 만약 컴퓨터가 정말로 매칭에 대해 확신하고 있다면, 컴퓨터에게 조금 더 자유롭게 움직일 수 있는 여지를 주더라도 여전히 같은 매칭을 선택할 것인가?

그들의 방법을 이해하기 위해, 여러분이 안개가 자욱한 숲속에서 가장 짧은 경로를 찾고 있다고 상상해 보세요.

1. 표준적인 걷기 (DTW): 여러분에게 엄격한 규칙이 주어집니다. 반드시 왼쪽 아래 문에서 시작하여 오른쪽 위 문으로 끝나야 합니다. 여러분은 가시가 가장 적은 경로를 따라갑니다. 이것이 표준 DTW 알고리즘이 하는 방식입니다.
2. "만약에" 걷기 (FlexDTW): 이제, 똑같은 숲을 배경으로 하되 걷는 사람에게 이렇게 말합니다. "좋아요, 꼭 문에서 시작하거나 끝날 필요는 없습니다. 왼쪽이나 아래쪽 가장자리 어디에서든 시작할 수 있고, 위쪽이나 오른쪽 가장자리 어디에서든 멈출 수 있습니다." 이것이 연구진이 FlexDTW라고 부르는 방식입니다.

핵심 아이디어:
만약 숲에 매우 명확하고 뚜렷한 경로(강한 경로)가 있다면, 규칙을 완화하더라도 걷는 사람은 여전히 같은 경로를 선택할 것입니다. 그들은 "이 길은 너무나 명확해서 어디서 시작하든 상관없이 이것이 최선의 길이야!"라고 말할 것입니다.
반면, 숲이 갈 길을 찾기 어려운 혼란스럽고 가시 돋친 덤불로 가득 차 있다면(약한 경로), 걷는 사람은 혼란에 빠질 것입니다. 규칙을 완화하면, 원래의 경로가 특별하지 않았기 때문에 그들은 완전히 다른 경로를 선택할 수도 있습니다.

연구진은 이 아이디어를 바탕으로 메트릭(점수 체계)을 구축했습니다. 그들은 컴퓨터의 원래 매칭 중 작은 조각을 가져와서, 그 조각에 대해서만 더 '자유로운' 버전인 FlexDTW를 실행해 보고 경로가 얼마나 변하는지 확인합니다.

• 변화가 없다면? 원래의 매칭은 강하고 신뢰할 수 있습니다.
• 큰 변화가 있다면? 원래의 매칭은 약하고 신뢰할 수 없습니다.

어떻게 테스트했는가

그들의 "거짓말 탐지기"가 작동하는지 확인하기 위해, 그들은 단순히 추측하지 않고 쇼팽 마주르카(클래식 피아노 음악의 일종) 녹음본을 활용하여 19가지의 다양한 시나리오가 있는 놀이터를 만들었습니다. 그들은 녹음 쌍을 가져와 비밀리에 "조작"했습니다.

때로는 음악의 한 부분을 아예 다른 곡으로 교체하여 ("매칭되지 않는" 영역 생성), 때로는 음악의 10% 또는 30% 정도의 아주 작은 조각만 교체했습니다. 이 작업은 노래의 시작 부분, 중간, 또는 끝부분 등 다양한 위치에서 수행되었습니다. 이를 통해 "신뢰할 수 있는" 매칭(실제로 음악이 일치하는 부분)과 "신뢰할 수 없는" 매칭(컴퓨터가 서로 다른 두 가지를 억지로 맞추게 된 부분)이 섞인 환경을 만들었습니다.

그 후, 이 조작된 녹음본들에 자신들의 신뢰도 메트릭을 실행하여, 그것이 "가짜" 부분을 신뢰할 수 없는 것으로 올바르게 표시하는지 확인했습니다.

연구 결과

결과는 매우 인상적이었습니다. 이 메트릭은 매우 유능한 탐정임이 드러났습니다.

• 점수: 모든 시나리오에 걸쳐 테스트했을 때, 이 메트릭은 AUROC 0.97을 달 기록했습니다. 컴퓨터 과학의 세계에서 이는 매우 높은 점수로, 가짜 매칭과 진짜 매칭을 구별해 내는 능력이 탁월했음을 의미합니다.
• 기준점(Baseline): 그들은 경로의 비용이 낮을수록 더 좋다고 가정하는 "단순한(naive)" 기준 모델과 비교했습니다. 그들의 새로운 방법은 기준 모델을 압도했습니다. 예를 들어, 절반의 매칭이 가짜였던 테스트에서, 새로운 방법은 신뢰할 수 있는 부분을 **94.1%**의 확률로 정확히 식별해 낸 반면, 기존 방법은 겨우 **31.9%**만을 맞혔습니다.

탐정의 한계

하지만 논문은 이 탐정이 실수하는 지점에 대해서도 솔직하게 밝히고 있습니다. 이 방법은 매우 짧은 비밀을 찾아내는 데는 완벽하지 않습니다.

• "덩어리(Chunk)" 문제: 이 방법은 음악을 "덩어리"(시간 블록) 단위로 살펴봅니다. 가장 좋은 설정에서 그들은 300 프레임(약 232 밀리초)의 덩어리를 사용했습니다.
• 실패 모드: 만약 "가짜" 혹은 "진짜"인 구간이 덩어리 크기보다 짧다면, 이 방법은 이를 놓칠 수 있습니다. 예를 들어, 노래 중간에 2초짜리 이상한 글리치(오류)가 있는데 덩어리 크기가 7초라면, 덩어리의 "좋은" 부분들이 "나쁜" 부분을 가려버려 전체를 신뢰할 수 있는 것처럼 보이게 만들 수 있습니다.
• 반복: 또한 음악이 많이 반복되는 경우(예: 코러스가 세 번 똑같이 들리는 경우)에도 이 방법은 혼란을 겪을 수 있습니다. 컴퓨터가 세 개의 동일한 경로를 발견하면 잘못된 것을 선택할 수 있고, 이때 "자유도 테스트"를 해도 모든 경로가 똑같아 보이기 때문에 이를 잡아내지 못할 수 있습니다.

요약

이 논문은 음악 정렬 문제를 영원히 해결했다고 주장하거나, 모든 종류의 음악에 적용된다고 말하지 않습니다. 대신, 인간의 지도 없이도 스스로 작동하는(unsupervised) 새로운 도구를 제안하며, "정황 증거"를 통해 우리가 컴퓨터의 정렬을 언제 믿을 수 있는지 알려줍니다.

"규칙을 완화해도 이 경로가 그대로 유지될 것인가?"라는 질문을 던짐으로써, 저자들은 매칭의 불안정한 부분을 강조할 수 있는 방법을 찾아냈습니다. 비록 매우 짧은 글리치나 고도로 반복되는 음악에는 취약하지만, 이 방법은 높은 정확도로 신뢰할 수 있는 영역을 성공적으로 식별해 냈으며, 이를 통해 음악가와 연구자들이 자신들의 디지털 정렬이 '순금'인지 아니면 '가짜 금(fool's gold)'인지를 훨씬 더 잘 알 수 있게 해주었습니다.