From Prediction to Collaboration: Interactive Symbolic Music Analysis

음악 탐정의 새로운 도구 상자

당신이 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 범죄 현장에 남겨진 단서 대신, 당신은 악보를 보고 있습니다. 음악 과학의 세계에는 '로마 숫자 분석(Roman numeral analysis)'이라는 특별한 작업이 있습니다. 이것은 노래를 일종의 비밀 코드로 번역하여 각 코드가 무엇을 하고 있으며, 곡의 키(key)에 어떻게 부합하는지를 정확하게 알려주는 것과 같습니다. 오랫동안 컴퓨터는 이 번역 작업을 자동으로 수행하는 능력을 키워왔지만, 대개 경직된 로봇처럼 작동해 왔습니다. 즉, 노래 전체를 입력하면 한꺼번에 전체 답안을 내놓는 방식입니다. 만약 로봇이 중간에 작은 실수 하나를 한다면, 당신은 처음부터 다시 시작할 수밖에 없습니다. 하지만 실제 음악 전문가들은 그렇게 일하지 않습니다. 그들은 듣고, 추측하고, 이상한 부분을 발견하면 생각을 바꾸고, 단계별로 추측을 정교하게 다듬어 나갑니다. 이 논문은 단순하지만 까다로운 질문을 던집니다. 단순히 음악을 예측하는 것을 넘어, 인간과 '협업'하며 우리가 실수를 바로잡고 빠진 부분을 채워 넣을 수 있게 해주는 컴퓨터를 만들 수 있을까?

"일회성" 추측에서 "음악적 대화"로

이 연구를 이끈 에마누엘 카리스티나이오스(Emmanouil Karystinaios)와 그의 팀은 음악 분석을 단순히 "전체를 맞히는" 게임으로 취급하는 것을 그만두기로 했습니다. 대신, 그들은 더 유능한 '부조종사(co-pilot)'처럼 작동하는 새로운 시스템을 구축했습니다. 기존 방식의 컴퓨터 모델이 시험을 치르는 학생이 검토도 하지 않고 모든 답을 써 내려가는 모습이라면, 이 새로운 시스템은 똑똑한 학습 도우미와 같습니다. 기존 모델은 15번 문제를 틀리면 페이지 전체를 지우지 않고는 수정하기 어렵습니다. 하지만 이 새로운 시스템은 RNHybrid라고 불리며, 곡 전체를 살펴볼 수도 있지만, 동시에 당신이 "이 부분은 G-메이저 코드인 것 같아"라고 말하면, 시스템이 즉시 나머지 부분을 재계산하여 당신의 새로운 아이디어와 모든 것이 여전히 잘 맞는지 확인하도록 해줍니다.

이를 위해 팀은 두 가지 강력한 AI '두뇌'를 결합했습니다. 첫 번째는 MusicBERT로, 이는 수백만 곡의 노래를 읽어 음악의 일반적인 '분위기'와 맥락을 이해하는 '슈퍼 독서가'와 같습니다. 두 번째는 **그래프 기반 모델(graph-based model)**로, 이는 모든 음표를 이웃한 음표와 연결하여 시간적, 화성적으로 어떻게 관계를 맺는지 이해하는 '지도'와 같습니다. 이 두 가지를 융합함으로써, 시스템은 거시적인 관점과 미시적인 디테일을 모두 갖추게 되었습니다.

연구진은 이를 상호작용 가능하게 만들기 위해 영리한 기술을 도입했습니다. 보통 매우 똑똑한 AI 모델을 실행하는 데는 많은 시간과 컴퓨팅 자원이 소모됩니다. 하지만 이 팀은 힘든 작업을 '한 번'만 수행한 뒤 그 결과물을 재사용하는 방법을 찾아냈습니다. 도시의 아주 상세한 지도를 딱 한 번만 만든다고 상상해 보세요. 만약 경로를 '집'에서 '학교'로 바꾸고 싶다면, 도시 전체를 다시 그릴 필요 없이 기존 지도 위에 새 선을 긋기만 하면 됩니다. 이 덕분에 분석가가 음표를 클릭하고 "이것을 바꿔줘"라고 요청할 때, 컴퓨터는 느리고 투박하게 반응하는 대신 즉각적으로 반응하여 매끄럽고 자연스러운 상호작용을 제공합니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

팀은 이 새로운 시스템을 Dilemmadata라는 방대하고 다양한 음악 데이터 모음으로 테스트했습니다. 수치가 말해주는 결과는 다음과 같습니다:

• 맹목적 예측(Blind Prediction): 시스템이 도움 없이 스스로 노래 전체를 추측해야 했을 때(눈을 가리고 시험을 치는 학생처럼), 성능은 매우 좋았습니다. 한 테스트 부분에서 '로컬 키(local key)'를 약 **84.6%**의 확률로 맞혔고, 전체 로마 숫자 라벨을 약 **57.6%**의 확률로 맞혔습니다. 이는 이전의 대부분 모델보다 뛰어난 성과로, '슈퍼 독서가'와 '지도 제작자'를 결합하는 것이 실제로 도움이 된다는 것을 보여줍니다.
• "빈칸 채우기" 능력: 이것이 시스템이 빛을 발하는 부분입니다. 연구진이 모델에게 몇 가지 정답 라벨을 제공하고(예: "우리는 노래의 처음 5%가 정확하다는 것을 알고 있다"라고 알려줌) 나머지 부분을 채우도록 요청했을 때, 정확도가 극적으로 상승했습니다. 라벨이 **5%**만 알려진 상태에서도 나머지 부분을 약 **57.7%**의 확률로 맞혔습니다. 하지만 알려진 라벨이 많아질수록 성능은 꾸준히 올라갔습니다. 라벨의 **95%**가 알려졌을 때, 모델은 누락된 부분을 **83.1%**의 확률로 맞혔습니다. 이는 모델이 인간 분석가처럼 부분적인 단서를 사용하여 나머지를 파악하는 데 탁월하다는 것을 증명합니다.
• "수정 도구": 그들은 또한 사용자가 음표를 클릭하면 해당 코드가 무엇인지 상위 3가지 추측을 보여주는 프로토타입 인터페이스(시각적 도구)를 구축했습니다. 사용자가 하나를 선택하면, 시스템은 자신의 분석 중 사용자의 선택과 일치하는 부분은 초록색으로, 일치하지 않는 부분은 빨간색으로 강조 표시합니다. 이는 인간이 컴퓨터가 왜 특정 추측을 했는지 이해하고, 쉽게 수정할 수 있도록 도와줍니다.

논문에서 하지 말아야 한다고 명시한 것

저자들이 명시적으로 배제한 사항을 주목하는 것이 중요합니다. 그들은 모델이 답을 추측한 후에 이를 수정하기 위해 복잡한 '빔 서치(beam search, 여러 경로를 동시에 시도하는 방법)'와 같은 화려한 '후처리(post-processing)' 기법들을 테스트했습니다. 놀랍게도, 모델이 아무런 도움 없이 전체 노래를 추측할 때는 이러한 화려한 기법들이 오히려 결과를 악화시키거나 전혀 도움이 되지 않았습니다. 저자들은 이러한 복잡한 도구들이 맹목적인 추측을 위한 것이 아니라, 인간이 이미 일부 정답을 제공한 '빈칸 채우기' 모드를 위해 설계된 것이라고 제안합니다. 맹목적인 예측에 이런 복잡한 도구를 사용하는 것은 산을 보기 위해 고성능 현미경을 사용하는 것과 같이, 특정 작업에 맞지 않는 도구를 사용하는 것과 같습니다.

큰 그림

이 논문은 음악 분석을 영원히 해결했다거나 모든 음악가에게 완벽한 도구를 만들었다고 주장하지 않습니다. 대신, 우리는 음악 분석을 단순히 '예측 문제'로 볼 것이 아니라 '협업 문제'로 보기 시작해야 한다고 제안합니다. 결과는 강력한 예측 능력과 인간의 편집 및 부분적 단서를 수용하는 능력을 결부터 결합함으로써, 실제 음악 작업을 하는 사람들에게 정말 유용한 도구를 만들 수 있음을 보여줍니다. 저자들은 이 분야의 미래가 단순히 컴퓨터를 독립적으로 똑똑하게 만드는 것이 아니라, 우리가 컴퓨터로부터 배우는 것처럼 컴퓨터가 우리로부터 배울 수 있는 유연한 파트너가 되는 것에 있다고 제 제안합니다. 그들은 이 '부조종사' 접근 방식이 실제 음악학자들의 작업 속도를 높이고 분석을 개선하는지 확인하기 위해 실제 음악학자들과 함께 추가 테스트를 진행할 계획입니다.