기술 요약: DECOMPOSER – 기호적 음악을 프로그램으로 역컴파일하는 학습

문제 정의

본 논문은 **기호적 음악 역컴파일(symbolic music decompilation)**을 다루며, 이를 기호적 음악 입력(특히 MIDI)으로부터 실행 가능하고 편집 가능한 음악 프로그램을 복구하는 작업으로 정의한다. 음악적 연주는 고수준의 명령어를 실행하는 과정이지만, 그 결과물인 연주로부터 해당 명령어를 복구하는 것은 도전적인 역문제(inverse problem)이다.

저자들은 이 작업을 MIDI-to-Strudel 역컴파일로 구체화한다. Strudel은 JavaScript 구문을 사용하는 알고리즘 작곡 및 라이브 코딩을 위한 도메인 특화 언어(DSL)이다. MIDI가 음악을 저수준의 음표 이벤트 시퀀스로 표현하는 것과 달리, Strudel은 반복, 레이어링, 시간적 구조를 위한 연산자를 사용하여 고수준의 패턴 표현으로 음악을 표현한다.

핵심 과제는 두 가지 상충하는 목표 사이의 균형을 맞추는 것이다:

1. 충실도(Faithfulness): 생성된 프로그램이 실행되었을 때 입력된 MIDI를 정확하게 재현해야 한다.
2. 가독성(Readability): 생성된 프로그램은 인간이 읽고 편집할 수 있어야 하며, 단순한 음표 단위의 상세한 전사가 아닌 잠재적인 음악적 구조(예: 코드 진행, 리듬 패턴)를 드러내야 한다.

기존 방식들은 이 균형을 맞추는 데 실패한다: 휴리스틱 변환기는 높은 충실도를 달-하지만 가독성이 낮은 코드를 생성하며, 최첨단 대규모 언어 모델(LLM)은 가독성 있는 코드를 생성하지만 입력 MIDI를 충실하게 재구성하는 데 실패하는 경우가 많다. 또한, 이 작업은 데이터가 부족하다. 자연적으로 쌍을 이루는 (MIDI, Strudel) 데이터셋은 거의 존재하지 않으며, Strudel은 저자원 언어이다.

방법론

저자들은 이 역컴파일 목적을 직접 최적화하기 위해 설계된 2단계 사후 학습 프레임워크인 DECOMPOSER를 제안한다.

1. 데이터 구축: STRUDEL-SYNTH

쌍을 이루는 학습 데이터의 부재를 해결하기 위해, 저자들은 21,174개의 (Strudel 프로그램, 렌더링된 MIDI) 쌍으로 구성된 합성 코퍼스인 STRUDEL-SYNTH를 구축한다.

• 생성: 최첨단 LLM(Claude-Opus-4.6)에 음악적 시드(장르, 분위기, 키 등)와 코드 스타일 시드(미니 노테이션, 스태킹, 어레인지먼트 등의 관용구)를 기반으로 Strudel 프로그램을 생성하도록 프롬프트를 제공한다.
• 정제: 생성된 프로그램은 일반적인 구문 오류를 수정하기 위한 정규 표현식 재작성과, 컴파일은 되지만 오디오를 출력하지 않는 "데드 보이스(dead voices)"(레이어)를 제거하기 위한 AST 기반 프루닝 과정을 거친다.
• 렌더링: 정제된 프로그램은 헤드리스(headless) Strudel 런타임을 통해 실행되어 그에 상응하는 MIDI를 생성한다.

2. 2단계 학습 파이프라인

DECOMPOSER는 오픈 웨이트 모델(Qwen3-4B 및 Qwen3-8B)을 사용하여 순차적 학습 전략을 채택한다.

• 1단계: 지도 미세 조정 (SFT)
  모델은 STRUDEL-SYNTH 데이터셋을 통해 미세 조정된다. 이 단계는 모델이 유효하고 관용적인 Strudel 코드를 생성하도록 가르치며, 이후 강화 학습 단계에서 모델이 퇴보적인 솔루션으로 붕괴하는 것을 방지하는 "웜 스타트(warm start)" 역할을 한다.

• 2단계: 강화 학습 (RL)
  모델은 **그룹 보상 디커플링 정규화 정책 최적화(Group Reward-Decoupled Normalization Policy Optimization, GDPO)**를 사용하여 추가 최적화된다.

  • 입력: 쌍을 이루지 않는(unpaired) MIDI 데이터 (참조 코드가 필요 없음).
  • 과정: 주어진 MIDI 입력에 대해, 모델은 후보 프로그램 그룹을 샘б플링한다. 각 후보는 Strudel 런타임을 통해 실행된다.
  • 보상 함수: 다음 요소들을 기반으로 복합 보상 $R(\hat{y}, x)$를 계산한다:
    1. 충실도 ($R_{faith}$): 입력 MIDI와 렌더링된 MIDI 사이의 멀티 인스트루먼트 온셋(onset) F1 점수로 측정된다.
    2. 가독성 ($R_{read}$): 일반적인 코드 품질(포매팅, 주석)과 Strudel 특유의 추상화(패턴 연산자, 코드 심볼, 변수 재사용 사용 여부)를 다루는 12개의 이진 기준(루브릭)을 평가하는 LLM 판사(judge)에 의해 측정된다.
  • 최적화: GDPO는 두 구성 요소를 독립적으로 정규화한 후 결합함으로써, 한 요소가 다른 요소를 압도하지 않고 모델이 충실도와 가독성 모두를 최적화할 수 있도록 한다.

주요 기여

1. 태스크 정식화: 저수준의 기호적 음악으로부터 고수준의 편집 가능한 프로그램적 구조를 복구하는 데 초점을 맞춘 기호적 음악 역컴파일이라는 별도의 태스크를 도입하였다.
2. 프레임워크 (DECOMPOSER): 합성 데이터에 대한 SFT와 쌍이 없는 데이터에 대한 실행 기반 RL을 결합한 2단계 사후 학습 프레임워크를 제안하였다. 이 접근 방식은 RL 단계에서 참조 코드가 필요 없이 대규모 학습을 가능하게 한다.
3. 데이터셋 (STRUDEL-SYNTH): LLM 생성 및 런타임 실행을 통해 구축된 21,174개의 (Strudel, MIDI) 쌍을 포함하는 대규모 합성 코퍼스를 공개한다. 이는 공개적으로 사용 가능한 기존의 인간 작성 Strudel 코드보다 약 30배 더 크다.
4. 실험적 결과: 이 파이프라인으로 학습된 8B 오픈 웨이트 모델이 역컴파일 충실도 측면에서 폐쇄형 소스의 최첨단 LLM을 실질적으로 능가하면서도 대등한 가독성을 유지함을 입증하였다.

결과

실험은 합성(STRUDEL-SYNTH) 및 실제 세계(LMD, GigaMIDI, NES-MDB, Nottingham) MIDI 벤치마크에서 수행되었다.

• 충실도: DECOMPOSER는 입력 MIDI를 재구성하는 데 있어 최첨단 LLM(Claude-Opus-4.6, Gemini-3.5-Flash, GPT-5.5)을 유의미하게 능가한다. LMD 데이터셋에서 DECOMPOSER (8B) 모델은 가장 우수한 최첨단 LLM보다 온셋 F1 점수를 +0.32 개선했다.
• 가독성: 상세한 음표 단위 전사를 통해 높은 충실도를 달성하는 휴리스틱 변환기와 달리, DECOMPOSER는 최첨단 LLM과 대등한 수준의 가독성 점수(Rubric)를 가진 코드를 생성한다.
• 다양성: 모델은 단일 전사 템플릿으로 붕괴하지 않고 다양한 코드 구조를 생성하여 "다양성 붕괴(diversity collapse)"를 방지한다.
• 일반화: 모델은 외부 도메인 데이터셋(예: 칩튠, 포크 음악)에도 잘 일반화되지만, 성능은 입력 장르의 리듬 규칙성과 구조적 복잡성에 따라 차이가 있다.

의의 및 주장

본 논문은 DECOMPOSSE가 정확한 재구성에 필요한 충실도와 인간의 활용에 필요한 가독성 사이의 간극을 성공적으로 메웠다고 주장한다. MIDI가 개별 이벤트로 평탄화해버린 "잠재적 음악 구조"를 복구함으로써, 이 시스템은 다음을 가능하게 한다:

• 프로그램적 편집: 사용자가 개별 음표를 조정하는 대신 코드(코드, 스케일, 레이어 등)를 통해 고수준의 음악 구조를 편집할 수 있게 한다.
• 음악 이해: 원시 음표 시퀀스보다 LLM 기반 음악 분석에 더 해석 가능한 중간 표현(코드)을 제공한다.
• 오디오-투-코드 파이프라인: 자동 음악 전사와 결 결합될 때, 미래의 오디오-투-코드 역컴파일 시스템의 핵심 구성 요소 역할을 한다.

저자들은 기능적 동등성만으로는 역컴파일에 충분하지 않으며, 복구된 프로그램이 유용하려면 반드시 가독성이 있어야 한다는 점을 강조한다. DECOMPOSER는 실행 기반 강화 학습이 이러한 저자원 도메인 특화 언어 환경에서 트레이드오프를 효과적으로 최적화할 수 있음을 보여준다.