MusicSynth: An Automated Pipeline for Generating Violin Fingerboard Animations from Sheet Music Using Optical Music Recognition

MusicSynth은 광학 악보 인식, MusicXML 구문 분석, 그리고 사용자 정의 음표-위치 참조 테이블을 통합하여 악보 이미지나 디지털 파일로부터 바이올린 지판 애니메이션 튜토리얼을 자동으로 생성하는 오픈 소스 기반의 브라우저 내장 파이프라인입니다.

핵심

바이올린 연주를 배우려 한다고 상상해 보세요. 특정 건반을 누르는 피아노나 금속 프렛에 줄을 누르는 기타와 달리, 바이올린 목은 완전히 매끄럽고 아무 표시가 없습니다. 손가락을 어디에 올려야 하는지 알려주는 표시가 전혀 없죠. 1 밀리미터의 아주 작은 오차만 있어도 소리가 틀리게 납니다. 초보자에게 이는 거리 표지판이나 집 번호가 없는 도시에서 특정 집을 찾아보는 것과 같습니다.

MusicSynth는 바로 그 부족한 거리 표지판 역할을 하도록 설계된 새로운 무료 웹 도구입니다.

다음은 이를 간단한 단계로 나눈 작동 방식입니다:

1. 문제: "빈 지도"

학생이 악보를 보면 음표는 보이지만, 바이올린의 어디에 손가락을 올려야 하는지는 알 수 없습니다. 전통적인 교재는 음표는 보여주지만 손 위치는 보여주지 않습니다. 연주 소리를 듣는 앱은 존재하지만, 악보 사진을 보고 어떻게 연주해야 하는지 알려주는 앱은 없습니다.

2. 해결책: "마법 번역기"

MusicSynth는 악보와 손가락 위치라는 두 가지 언어를 구사하는 번역기와 같습니다.

• 업로드: 바이올린 곡 사진 (휴대폰으로 촬영) 또는 디지털 악보 파일을 업로드합니다.
• 처리: 시스템이 악보를 읽어 모든 음표를 파악한 후, 정확히 어떤 줄과 어떤 손가락을 사용해야 하는지 즉시 계산합니다.
• 결과: 웹 브라우저에서 바로 재생되는 동영상을 얻게 됩니다. 이 영상은 바이올린 목의 다이어그램을 보여주며, 음악이 재생될 때마다 각 음표에 해당하는 정확한 위치를 밝힙니다. 이 동영상을 다운로드하여 언제 어디서나 연습할 수 있습니다.

3. 구축 방식: "조립 라인"

저자는 새로운 기술을 처음부터 발명하지 않았습니다. 대신 세 가지 기존 도구를 연결하여 파이프라인을 만들었습니다. 마치 세 개의 다른 기차 칸을 연결해 긴 기차 한 대를 만드는 것과 같습니다:

1. 스캐너 (OMR): 이것이 "눈"입니다. 악보 사진을 보고 그림을 음표 목록으로 변환합니다.
2. 두뇌 (검색 테이블): 이것이 저자가 만든 "비밀 소스"입니다. "음표가 'A'라면 D 줄에 첫 번째 손가락을 올리라"는 식의 거대한 규칙집입니다. 이는 수년 동안 바이올린 교사들이 사용해 온 표준 교육 규칙을 따릅니다.
3. 애니메이터: 이것이 "예술가"입니다. 음표 목록을 받아 프레임 단위로 동영상을 그려내며, 현재 음표에는 빨간 점, 다음에 나올 음표에는 파란 점을 표시합니다.

4. 작동 효율은 얼마나 될까요?

저자는 이 도구를 초급자용 쉬운 곡부터 고급자용 어려운 곡까지 110 개의 다양한 바이올린 곡으로 테스트했습니다.

• 디지털 파일을 업로드할 경우: 거의 완벽합니다. 손가락 위치를 99.1% 정확히 맞춥니다.
• 사진을 업로드할 경우: 깨끗하게 인쇄된 악보를 읽는 데 매우 탁월하여, 음표를 91% 정도 정확히 인식합니다.
• "미리보기" 기능: 동영상이 현재 음표만 보여주는 것이 아니라, 작은 파란 원으로 다음 몇 개의 음표를 미리 보여줍니다. 음악이 그 지점에 도달하기 전에 손 준비를 할 수 있도록 미리 알려주는 것입니다.

5. 아직 할 수 없는 것 (한계점)

어떤 새로운 도구든 한계가 있습니다:

• 초급 및 중급자용: 학습 초기 몇 년 (1 번 위치) 을 다룹니다. 매우 높은 음을 연주하기 위해 손을 목 끝까지 올려야 하는 곡의 경우, 도구는 추측하기보다 해당 음표를 건너뛰는 경우가 있습니다.
• 명확한 사진 필요: 악보가 손글씨이거나 매우 흐릿하거나, 복잡한 오케스트라 악보처럼 여러 음이 동시에 연주되는 경우 "스캐너"가 혼란을 겪을 수 있습니다.
• 실시간 아님: 컴퓨터가 연주하는 모습을 지켜보며 연주할 수는 없습니다. 동영상을 보고 따라 연습해야 합니다.

결론

이 도구가 등장하기 전에는 악보 사진을 손가락 위치 가이드로 변환하려면 수동으로 하거나 여러 개의 비싼 프로그램을 조합해야 했습니다. MusicSynth는 한 번의 클릭으로 전체 작업을 수행하는 첫 번째 무료 브라우저 기반 도구입니다. 이는 혼란스러운 악보 이미지를 명확한 애니메이션 비디오 튜토리얼로 변환하여, 초보자들이 악보를 읽는 것과 실제로 악기를 연주하는 것 사이의 간극을 메우도록 돕습니다.

기술 요약

기술 요약: MusicSynth

문제 제기
바이올린 학습은 현이 있는 악기나 건반 악기와 비교했을 때 독특한 교육학적 과제를 제시합니다. 바이올린 목에는 물리적 마커가 없어 초보자가 악보 읽기 능력과 동시에 손가락 위치를 위한 정밀한 공간 직관을 개발해야 합니다. 기존 교육 도구는 이 격차를 효과적으로 해소하지 못합니다. 전통적인 교재는 시각적 손가락 안내 없이 악보 기호만 제공하며, Yousician 과 같은 피드백 앱은 임의의 악보 이미지를 처리하는 대신 실시간 오디오 입력을 요구합니다. furthermore, 소프트웨어 설치나 수동 악보 입력 없이 악보 이미지를 자동으로 애니메이션 손가락판 튜토리얼로 변환할 수 있는 무료 브라우저 기반 도구는 현재 존재하지 않습니다.

방법론
MusicSynth 는 바이올린 손가락판 애니메이션 생성을 자동화하기 위해 세 가지 기존 오픈소스 라이브러리를 통합 파이프라인으로 결합한 오픈소스 웹 애플리케이션입니다. 시스템은 두 가지 입력 유형을 수용합니다: 악보 사진 (PNG/JPG) 또는 디지털 MusicXML 파일.

1. 광학 악보 인식 (OMR): 이미지 입력의 경우, 시스템은 오픈소스 OMR 라이브러리인 Oemer를 활용합니다. Oemer 는 이미지를 처리하여 줄, 음표 머리, 리듬 기호를 감지하고 데이터를 MusicXML 형식으로 출력합니다. 이미지 품질이 충분하지 않으면 시스템은 사용자에게 더 깨끗한 스캔 파일이나 디지털 파일을 업로드하도록 요청합니다.
2. 파싱 및 데이터 추출: 입력이 원시 MusicXML 파일이거나 Oemer 에 의해 생성된 파일인지 여부와 상관없이, Python 기반 파서가 음고, 음가, 시작 시간을 추출합니다. 휴지 (Rest) 는 시각적 출력을 생성하지 않고 정확한 타이밍을 유지하도록 처리됩니다.
3. 손가락판 조회 (핵심 기여): 시스템은 MIDI 범위 G3–G6 의 음표들을 바이올린 현 (G, D, A, E) 과 손가락 위치 (0 은 개방현, 1–3 은 1 위치) 에 매핑하는 맞춤형 조회 테이블을 사용합니다. 이 테이블은 수직 이동과 손 이동을 최소화하는 손가락 배치를 우선시하는 표준 바이올린 교육법 (예: 스즈키 방법) 을 따릅니다. 플랫 음표는 조회 논리를 단순화하기 위해 샵 음표의 등가물로 정규화됩니다.
4. 비디오 렌더링: PIL(Python Imaging Library)과 MoviePy를 사용하여 시스템은 프레임 단위 비디오를 생성합니다. 각 프레임은 다음을 포함하는 손가락판 다이어그램을 표시합니다:
   • 네 개의 현 선.
   • 위치 마커.
   • 현재 음표 (음표 이름 및 위치 레이블 포함) 를 나타내는 큰 빨간색 원.
   • 다가오는 음표를 나타내는 작은 청록색 원 (미리 보기 단서).
   • 타임스탬프 및 제목.
     최종 출력물은 30 fps 로 인코딩된 MP4 비디오입니다.
5. 배포: 애플리케이션은 Streamlit으로 구축되었으며 사용자 인증을 위해 Supabase를 사용합니다. 충돌을 방지하기 위해 고유한 세션 ID 를 통해 임시 파일을 관리합니다. 읽기 전용 파일 시스템이 있는 클라우드 환경에서는 OMR 단계가 비활성화되어 MusicXML 입력만 허용합니다.

주요 기여

• 유례없는 파이프라인: MusicSynth 는 수동 개입 없이 악보 이미지에서 애니메이션 바이올린 손가락판 튜토리얼을 자동으로 생성하는 최초의 공개적이고 브라우저 기반 도구입니다.
• 교육학적 조회 테이블: 이 프로젝트는 확립된 바이올린 교육법에 기반한 표준 초보 범위 (G3–G6) 를 다루는 문서화되고 확장 가능한 음표 - 손가락 조회 테이블을 도입합니다.
• 종단 간 통합: OMR, MusicXML 파싱, 비디오 렌더링을 단일하고 사용자 친화적인 워크플로우로 성공적으로 통합합니다.
• 벤치마킹: 시스템은 110 개의 퍼블릭 도메인 악보를 대상으로 정량적 평가를 제공하여 이미지 - 손가락판 변환을 위한 기준 정확도 지표를 확립합니다.

결과 및 평가
시스템은 다섯 가지 범주 (초급, 중급, 고급 인쇄 악보; 스캔된 스즈키 교재 페이지; 직접 MusicXML 업로드) 에 걸친 110 개의 퍼블릭 도메인 바이올린 악보에서 평가되었습니다.

• 손가락판 정확도: OMR 을 우회하여 깨끗한 디지털 MusicXML 파일을 제공했을 때, 시스템은 올바른 현과 손가락 위치를 할당하는 데 **99.1%**의 정확도를 달성했습니다. 0.9% 의 오류율은 복잡한 조표와 관련된 드문 엣지 케이스에 기인했습니다.
• 음표 인식 (OMR): 이미지 입력의 경우 음고 정확도는 복잡성에 따라 다양했습니다:
  • 초급 인쇄 악보: 91.2%
  • 중급 인쇄 악보: 84.1%
  • 고급 인쇄 악보: 76.8%
  • 스캔된 스즈키 페이지: 79.3%
• 오류 원인: OMR 오류의 주요 원인은 높은 바이올린 음역대에서 흔히 발생하는 가선 위의 음표, 샵이 많은 조표에서의 임시표 처리, 그리고 빠르고 빽빽하게 연결된 패시지에서의 리듬 오해석입니다.
• 처리 속도: Apple M2 기계에서 이미지 입력의 총 처리 시간은 평균 17.1 초였으며 (~14.8 초의 OMR 단계가 지배적) 직접 MusicXML 처리는 평균 2.3 초였습니다.
• 커버리지: 조회 테이블은 스즈키 교재 1–3 권에서 발견된 고유 음표의 91.0% 를 커버하며, 1 권은 100% 를 커버합니다. 누락된 음표는 초보자가 일반적으로 마주치지 않는 7 위치 이상의 높은 위치 (higher positions) 에 있습니다.

의의 및 주장
이 논문은 MusicSynth 가 수동 전사와 소프트웨어 설치의 장벽을 제거함으로써 음악 교육에서 특정하고 충족되지 않은 요구를 해결한다고 주장합니다. 그 의의는 새로운 근본 기술 (이미 OMR, 파서, 렌더러가 존재함) 의 발명에 있는 것이 아니라, 이러한 구성 요소를 바이올린 중심 도구로 통합한 데 있습니다.

저자는 이 도구가 비동기적 연습을 위해 설계되었다고 강조합니다. 즉, 사용자는 실시간 피드백을 위해 시스템을 사용하는 대신 사전에 비디오를 준비합니다. 시스템이 높은 위치, 복잡한 다성부, 필기 악보와 관련하여 제한 사항이 있지만, 이는 초보자가 다양한 표준 레퍼토리에 대한 손가락 위치를 시각화할 수 있는 기능적이고 무료인 대안을 제공합니다. 이 프로젝트는 오픈소스이며, 코드와 라이브 데모는 MIT 라이선스 하에 제공됩니다.