기술 요약: STRUM

문제 정의

Clone Hero 및 YARG와 같은 리듬 게임은 악기 이벤트 (드럼, 기타, 베이스, 보컬, 키보드) 를 컨트롤러 입력에 매핑하는 구조화된 타이밍 노트 시퀀스인 수동 작성된 "차트"에 의존합니다. 이러한 차트를 제작하는 것은 초보자에게는 수주의 훈련이 필요하고 전문가에게는 수시간의 수작업이 요구되는 노동 집약적 과정으로, 커뮤니티 라이브러리에 병목 현상을 초래합니다. 기존 자동 음악 전사 (AMT) 시스템은 일반적으로 피아노 롤 데이터를 출력하거나 오라클 메타데이터 (템포, 조, 정렬) 를 요구하며 게임 플레이 준비가 된 차트를 생성하지 않습니다. 또한, 커뮤니티 차트는 양자화와 예술적 선택으로 인해 원본 오디오의 시작점 (onsets) 에서 종종 벗어나 전사 정확도 평가가 복잡해집니다.

방법론

STRUM(Spectral Transcription and Rhythm Understanding Model) 은 오라클 메타데이터 없이 원본 오디오를 플레이 가능한 MIDI 차트로 변환하는 다단계 하이브리드 오디오 - 차트 파이프라인입니다. 시스템은 다음과 같이 작동합니다:

1. 소스 분리: 입력 믹스는 htdemucs 6s를 사용하여 드럼, 베이스, 보컬, 기타, 피아노, "기타"의 6 개 스템으로 분리됩니다.
2. 템포 감지: 템포는 librosa 비트 추적을 사용하여 드럼 스템에서 유도되며, 원형 통계 위상 일관성을 갖춘 ±5 BPM 그리드 검색을 통해 정제됩니다.
3. 악기별 전사 체인:
   • 드럼: 2 단계 CRNN(V14) 이 멜 스펙트로그램에서 시작점을 감지합니다. 이러한 시작점은 6 개의 OnsetClassifier 모델 앙상블에 의해 7 개의 Clone Hero 드럼 클래스로 분류됩니다. 후처리에는 에너지 불일치를 해결하는 드럼 스템 중재자, 밀집된 필을 처리하는 3 단계 다중 클래스 수정기, 톰 정제 CNN, 그리고 5 가지 타겟 휴리스틱 (예: 킥이 플로어 톰을 억제, 필 구조 복구) 이 포함됩니다.
   • 기타/베이스: OnsetCRNN이 노트 시작을 감지한 후, 단성 음고 추적을 위해 librosa pYIN 이 뒤따릅니다. 규칙 기반 매핑기는 실행 중인 토닉 추정을 기반으로 음고를 5 프렛 레인에 할당합니다.
   • 보컬: OpenAI Whisper는 단어 수준의 타임스탬프를 제공하며, 이는 동적 시간 왜곡을 통해 pYIN 음고 윤곽에 정렬됩니다. 단어 시작점은 노트 시작점이 되고, 음고는 MIDI 반음으로 양자화됩니다.
   • 키보드: 피아노 스템의 스펙트럼 피크는 librosa 시작점 감지 및 음고 추적을 통해 처리되며, 슬라이딩 윈도우 내 상대 음고에 따라 레인이 할당됩니다.
4. 후처리: 모든 트랙은 공유된 템포 및 박자 메타데이터를 가진 단일 notes.mid 파일로 병합됩니다.

운영 범위 및 평가

임의의 테스트 세트를 평가하는 대신, 저자들은 오디오 품질에 기반한 "운영 범위 (operating envelope)"를 정의합니다. 분리된 드럼 스템의 중앙값 1 초 RMS 가 0.018 을 초과하는 경우에만 곡이 포함됩니다. 벤치마크는 펑크, 메탈, 팝, 록, 일렉트로닉, 힙합, 프로그레시브, 컨트리 등 29 개의 곡 (초기 풀 65 개 중) 으로 구성됩니다.

평가 지표 (정밀도, 재현율, F1) 는 ±100 ms 허용 오차로 계산됩니다. 특히, 커뮤니티 차트가 원본 오디오에서 종종 벗어나 있음을 인정하여, 생성된 차트를 기준 진실 (ground truth) 에 정렬하기 위해 곡별 글로벌 오프셋 검색 (±200 ms) 을 수행합니다.

주요 결과

29 곡의 범위 내 벤치마크에서 STRUM 은 다음과 같은 시작점 수준의 F1 점수를 달성합니다:

• 드럼: 0.838 (정밀도: 0.823, 재현율: 0.854)
• 베이스: 0.694
• 기타: 0.651
• 보컬: 0.539

드럼별 분석:

• 클래스별 정확도: 킥 (0.61), 레드/스네어 (0.44), 옐로우/하이햇 (0.49), 그린/플로어 톰 (0.57). 블루 레인 (하이 톰/라이드) 은 Clone Hero 형식에서 음향적으로 유사하지 않은 악기들이 혼동됨에 따라 0.19 의 정확도로 가장 약합니다.
• 절단 연구: 7 개의 드럼 파이프라인 구성 요소가 절단되었습니다. 세 가지 구성 요소는 통계적으로 유의미한 기여를 보였습니다 (p ≤ 0.003): 드럼 스템 중재자, 3 단계 수정기, 크래시/라이드 코스택 거부. 네 가지 구성 요소 (필 구조 복구, 톰 정제 CNN, 스네어/하이햇 롤 거부, 다중 클래스 하이브리드) 는 이 특정 벤치마크에서 집계 효과를 보이지 않았으나, 샘플에 존재하지 않는 특정 실패 모드를 처리하기 위해 유지되었습니다.

기준 진실 상한선:
저자들은 평가의 근본적인 한계를 확인했습니다: 커뮤니티 차트의 기준 진실 드럼 이벤트 중 89.0% 만 원본 오디오 시작점으로부터 ±100 ms 이내에 존재합니다. 이는 명시적으로 커뮤니티의 양자화 패턴을 학습하지 않는 한, 완벽한 오디오 전사자조차 커뮤니티 기준 진실에 대해 약 0.89 이상의 재현율을 달성할 수 없음을 의미합니다.

중요성 및 기여

이 논문은 STRUM 을 숙련된 차트 작성자 (정리할 초안 제공) 와 초보자 (플레이 가능한 기준선 제공) 모두를 돕는 도구로 위치시킵니다. 주요 기여점은 다음과 같습니다:

1. 완전한 파이프라인: 오라클 메타데이터에 의존하지 않는 5 개 악기를 다루는 오픈 소스 엔드 - 투 - 엔드 시스템.
2. 운영 범위 프로토콜: 숨겨진 테스트 세트의 단일 숫자를 보고하는 대신, 결과가 유효한 특정 오디오 품질 기준을 공개하는 엄격한 평가 프레임워크.
3. 실증적 기준 진실 분석: 커뮤니티 차트 타이밍이 원본 오디오와 크게 벗어나 있음을 보여주는 증거로, 커뮤니티 데이터에 대한 재현율 지표의 경성 상한선 (약 89%) 을 확립.
4. 투명성: 특정 벤치마크에 영향을 미치지 않은 구성 요소의 널 (null) 결과를 포함한 쌍별 곡별 윌콕슨 검정을 수행한 완전한 절단 연구로, 향후 자동 차트 평가의 모델을 제시.

저자들은 STRUM 이 플레이 가능한 차트를 생성하지만, 음향적 시작점과 인간이 작성한 차트 관습 사이의 격차, 특히 보컬과 기타/베이스의 레인 할당에서 여전히 중요한 과제로 남아 있다고 결론지었습니다. 코드, 가중치, 벤치마크 매니페스트는 추가 연구와 커뮤니티 사용을 촉진하기 위해 공개되었습니다.