CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning

이 논문은 자연어 질의와 심볼릭 악보 간의 불일치로 인해 기존 대형 언어 모델이 다루기 어려웠던 복합적 음악 정보 검색 (MIR) 을 해결하기 위해, 실제 사용자 시나리오에 기반한 벤치마크 'CSyMR-Bench'와 이를 위한 도구 기반 추론 프레임워크를 제안하고, 이를 통해 모델의 정확도를 5-7% 향상시켰음을 보여줍니다.

핵심

이 논문은 **"음악 점보 (악보) 를 보고 복잡한 질문을 할 때, 인공지능 (AI) 이 어떻게 더 똑똑하게 답할 수 있을까?"**에 대한 연구입니다.

기존의 AI 는 악보를 볼 때 "이게 도레미야?" 같은 단순한 질문에는 잘 답했지만, **"이 부분에서 화음이 어떻게 변하고, 왜 그 선율이 슬픈 느낌을 주지?"**처럼 여러 단계를 거쳐 추론해야 하는 질문에는 헷갈려 하거나 엉뚱한 답을 내놓곤 했습니다.

저자들은 이 문제를 해결하기 위해 CSyMR-Bench라는 새로운 시험지와, 그 시험지를 잘 치는 새로운 AI 비서를 소개했습니다.

---

🎼 1. 문제 상황: AI 는 '악보'를 읽는 게 아니라 '망상'을 봅니다

기존의 AI 는 악보를 볼 때 마치 눈이 안 좋은 사람이 먼 산을 보는 것과 비슷했습니다.

• 상황: "이 곡의 3 마디에서 화음이 어떻게 변했나요?"라고 물으면, AI 는 악보의 모든 음을 하나하나 세어보지 않고, "아마도 이런 화음이었을 거야"라고 **감 (Mental Guess)**으로 답합니다.
• 결과: AI 는 자신이 본 적도 없는 음을 만들어내거나 (할루시네이션), 논리가 꼬인 채로 엉뚱한 결론을 내립니다.

🔍 2. 해결책: "악보 분석 도구"를 든 탐정 AI

저자들은 AI 가 감으로 답하는 대신, 정확한 도구를 사용하도록 만들었습니다. 이를 CSyMR-Bench라는 새로운 시험지와 도구를 사용하는 AI로 설명해 볼까요?

📚 CSyMR-Bench: 진짜 음악가들이 하는 '복잡한 시험'

기존 시험지는 "이게 장조냐 단조냐?" 같은 단순한 문제만 냈다면, 이 새로운 시험지는 실제 음악 커뮤니티나 시험에서 나온 진짜 어려운 질문 126 개를 모았습니다.

• 예시: "이 멜로디가 Eb(미 flat) 로 해결되는 것처럼 들리는 이유는 무엇이며, 어떤 음악적 요소들이 그 느낌을 만들었나요?"
• 특징: 이 질문에 답하려면 악보의 화음, 리듬, 음정, 구조 등을 따로따로 분석한 뒤, 그 결과들을 **조립 (Compositional)**해서 답을 찾아야 합니다. 마치 퍼즐 조각을 하나하나 맞춰야 완성되는 그림과 같습니다.

🛠️ 새로운 AI 비서: "도구를 쓰는 탐정"

기존 AI 는 머릿속 지식만 믿고 답했지만, 새로운 AI 는 **음악 분석 도구 (Music21)**라는 정밀한 측정기를 가지고 있습니다.

• 비유:
  • 기존 AI: "내 기억에 따르면 이 곡은 C 장조였어!" (감으로 맞힘)
  • 새로운 AI: "잠깐, 내가 이 악보의 3 마디를 측정기로 재보니 화음이 C 장조가 아니네. 그리고 5 마디는 G 장조로 바뀌고 있어. 자, 이 데이터를 바탕으로 결론을 내려보자."

이 AI 는 ReAct라는 방식을 쓰는데, 이는 **"생각 (Reasoning) → 행동 (Action, 도구 사용) → 관찰 (Observation) → 다시 생각"**을 반복하는 과정입니다. 마치 탐정이 사건을 해결할 때, "범인은 A 일 거야"라고 추측하는 게 아니라, "지문 (도구) 을 채취하고, 목격자 (악보 데이터) 를 인터뷰한 뒤, 그 증거들을 모아 범인을 특정하는" 과정과 같습니다.

📊 3. 실험 결과: 도구를 쓴 AI 가 압승!

연구팀은 다양한 AI 모델에게 이 새로운 시험지를 풀게 했습니다.

• 결과: 도구를 쓰지 않은 AI 들은 50% 정도만 맞췄지만, 도구를 쓴 AI 는 5~7% 더 높은 점수를 받았습니다.
• 왜 그런가요?
  • 단순한 질문 (장르 맞추기 등): AI 의 머릿속 지식만으로도 잘 맞췄습니다.
  • 복잡한 분석 (화음 분석, 구조 분석 등): 도구를 쓴 AI 가 압도적으로 잘했습니다. 도구를 쓰지 않은 AI 는 악보의 긴 줄을 읽다가 혼란스러워하며 엉뚱한 음을 만들어냈지만, 도구를 쓴 AI 는 정확한 데이터를 바탕으로 논리를 이어갔기 때문입니다.

💡 4. 핵심 메시지: "감"이 아닌 "증거"가 필요합니다

이 연구가 우리에게 주는 교훈은 간단합니다.
"복잡한 문제를 풀 때, AI 가 머릿속의 추측 (감) 에 의존하면 안 됩니다. 악보라는 '사실'을 정확히 분석하는 도구를 연결해야만, 신뢰할 수 있는 답을 얻을 수 있습니다."

마치 의사가 환자의 증상을 보고 "아마 감기겠지"라고 감으로 진단하는 대신, **혈액 검사 (도구)**를 통해 정확한 데이터를 확인하고 진단을 내리는 것과 같습니다. 이 연구는 AI 가 음악이라는 복잡한 세계에서도 정확한 데이터에 기반한 신뢰할 수 있는 파트너가 될 수 있음을 보여줍니다.

기술 요약

제시된 논문 "CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 대규모 언어 모델 (LLM) 은 음악 생성이나 단순한 음악 이론 질문에는 탁월한 성능을 보이지만, **기보된 악보 (Symbolic Music Scores) 에 대한 복합적 음악 정보 검색 (Compositional MIR)**에는 한계가 있습니다.

• 복합적 추론의 필요성: 실제 사용자의 음악 정보 요구는 단순한 사실 조회가 아니라, 악보의 구조화된 표기에서 여러 증거를 추출하고 이를 조합하여 답을 도출하는 다단계 추론 과정을 요구합니다.
• 할루시네이션 및 맥락 처리의 어려움: 자연어 의도와 기보된 악보 (예: Humdrum kern 형식) 간의 불일치로 인해, LLM 은 긴 구조적 맥락을 직접 처리할 때 사실과 다른 추론 (할루시네이션) 을 하거나 중간 결론을 신뢰할 수 없게 도출하는 경향이 있습니다.
• 기존 벤치마크의 부재: 기존 데이터셋은 단순한 음악 이론 지식이나 단순화된 상황을 다루거나, 오디오/이미지 기반에 치중하여, 실제 악보 기반의 복합적 증거 수집 및 추론을 평가하는 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

A. CSyMR-Bench (새로운 벤치마크)

이 연구는 실제 사용자 시나리오에 기반한 CSyMR-Bench를 제안합니다.

• 데이터 구성: 커뮤니티 토론 (r/musictheory) 과 전문 음악 이론 시험 문제에서 선별된 126 개의 객관식 질문으로 구성됩니다.
• 작업 정의: 주어진 악보 (D) 와 자연어 질문 (Q) 에 대해, 악보의 구조에서 암시적 증거를 추출하여 여러 단계의 원자적 분석 (Atomic Analysis) 을 연결 (Chaining) 하고, 이를 종합하여 정답을 도출하는 작업입니다.
• 세분화된 분류 체계 (Taxonomy):
  • 6 가지 쿼리 의도 카테고리: 복잡한 조화 분석 (CTH), 편집/재작성 (ER), 복잡한 구조 - 텍스처 분석 (CST), 작곡 및 창의적 안내 (CC), 효과/지각적 설명 (EP), 장르/음악가 판단 (GM).
  • 6 가지 분석 차원 태그: 음고 및 간격 (PI), 화음 및 화성 (CH), 조 및 음계 (KS), 악보 구조 통계 (SSS), 리듬 및 박자 (RM), 연주 및 표현 (PE).
  • 각 질문은 위 분류 체계에 따라 태깅되어, 모델의 특정 능력 진단을 가능하게 합니다.

B. 도구 증강 검색 및 추론 에이전트 (Tool-Augmented Retrieval Agent)

LLM 의 추론을 신뢰할 수 있는 기보된 사실에 기반하도록 하기 위해 ReAct 스타일의 컨트롤러와 확정적 (Deterministic) 음악 분석 도구를 통합한 프레임워크를 제안합니다.

• 아키텍처:
  • Planner & Thinker: 고수준 질문을 실행 가능한 단계로 분해하고, 현재 맥락에 기반하여 검색 행위를 동적으로 구성합니다.
  • Tooler: music21 라이브러리를 기반으로 구축된 16 가지 확정적 분석 연산자 (Operators) 를 실행합니다.
• 작동 원리:
  1. 에이전트는 악보 (D) 에서 특정 음악 특징 (예: 화음 루트, 간격) 을 추출하기 위해 도구를 호출합니다.
  2. 도구는 코드를 실행하여 자연어 요약된 증거 ($e$) 만을 반환합니다 (코드 실행 세부 사항은 에이전트에게 숨겨져 컨텍스트 오염 방지).
  3. 수집된 증거들을 조합하여 추론 체인을 완성하고 최종 답변을 도출합니다.
• 핵심 아이디어: 추론을 LLM 의 파라미터적 지식에 의존하는 것이 아니라, 검증 가능한 도구 기반의 증거 수집 과정으로 전환합니다.

3. 주요 기여 (Key Contributions)

1. CSyMR-Bench 출시: 현실 세계의 음악 문의 복잡성을 포착하는 최초의 기보 음악 정보 검색 벤치마크를 공개했습니다.
2. 세밀한 진단 체계: 6 가지 쿼리 의도와 6 가지 분석 차원을 정의하여 모델의 추론 능력을 세밀하게 진단할 수 있는 분류 체계를 제공했습니다.
3. 도구 증강 에이전트 유효성 입증: LLM 의 추론을 악보에서 추출한 검증 가능한 정보에 기반하게 함으로써, 기존 베이스라인보다 성능을 획기적으로 개선하는 것을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

GPT-4.1-mini 를 백본으로 한 다양한 실험 결과, 다음과 같은 결론이 도출되었습니다.

• 성능 향상: 제안된 도구 증강 에이전트 (Music21 ReAct) 는 모든 파라미터적 베이스라인 (Zero-shot, Few-shot, CoT, Vanilla ReAct) 을 능가했습니다. 전체 정확도에서 5~7%p 의 절대적 향상을 보였습니다.
• 카테고리별 차이:
  • 분석 중심 작업 (Analysis-heavy): 화성 분석, 구조 분석 등 도구가 필요한 작업에서 성능 향상이 가장 두드러졌습니다.
  • 메타데이터 중심 작업: 장르 판단 등 암묵적 지식이 필요한 작업에서는 도구의 도움이 미미했습니다.
• 모델 크기 영향: Zero-shot 설정에서는 작은 모델 (GPT-4.1-mini) 이 우세했으나, CoT 및 도구 증강이 적용된 복잡한 작업에서는 더 큰 모델 (GPT-4.1 등) 이 구조화된 추론을 통해 더 큰 성능 향상을 보였습니다.
• 케이스 스터디: 할루시네이션으로 인해 추론이 실패한 CoT 베이스라인과 달리, 도구 증강 에이전트는 키 변경 (Modulation) 감지 및 로마 숫자 분석 도구를 통해 확정적 증거를 기반으로 정확한 답변을 도출했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자연어와 구조화된 악보 간의 의미적 간극 (Semantic Gap) 을 해소하기 위한 새로운 패러다임을 제시합니다.

• 신뢰성 있는 음악 정보 검색: LLM 이 악보 분석 시 할루시네이션을 줄이고, 검증 가능한 사실에 기반한 신뢰할 수 있는 추론을 할 수 있음을 입증했습니다.
• 도구 활용의 중요성: 복잡한 도메인 (음악, 과학 등) 에서 LLM 의 추론 능력을 극대화하기 위해서는 확률적 생성보다는 확정적 도구 (Deterministic Tools) 와의 결합이 필수적임을 보여줍니다.
• 향후 연구 방향: CSyMR-Bench 는 향후 기보 음악 이해 및 추론 연구의 표준 벤치마크로 자리 잡을 것이며, 도구 증강 에이전트 아키텍처는 다른 구조화된 데이터 기반 작업에도 확장 적용될 수 있습니다.