기술 요약: 리브레토(Libretto) – LLM 에이전트에게 음악적 구조에 대한 감각 부여하기

문제 정의

음악 생성 AI 시스템(예: Suno, Udio, MusicLM)은 텍스트 프롬프트로부터 오디오를 생성하는 데 있어 인상적인 성과를 거두었습니다. 그러나 이러한 시스템은 검사, 편집 또는 진단하기 어려운 오디오 파형이나 압축된 토큰을 기반으로 작동합니다. 파형은 음표의 타이밍, 성부 할당, 악구 구조, 화성적 움직임을 명시적으로 드러내지 않으므로, 에이전트가 국소적인 편집이나 구조적 추론을 수행하기 어렵게 만듭니다.

기호적(Symbolic) 음악 생성은 편집 가능한 표현을 제공하지만, 기존 방식에는 두 가지 주요 한계가 있습니다.

1. 인터페이스 한계: 많은 기호적 형식(예: ABC 표기법)은 타이밍이 암묵적이거나 음표의 온셋(onset)을 결정하기 위해 복잡한 누적 로직을 필요로 하여, LLM 에이전트의 국소적 편집과 온셋 추론을 어렵게 만듭니다.
2. 평가 한계: 현재의 평가는 주관적인 인간의 선호도, 가능도 점수(likelihood scores), 또는 전역적인 미적 예측기에 크게 의존합니다. 이러한 지표들은 생성된 곡이 왜 구조적으로 실패했는지, 혹은 에이전트가 어떻게 수정해야 하는지를 설명하지 못합니다. 즉, 단일한 품질 점수가 아닌 해석 가능한 구조적 속성을 통해 음악을 설명하는 인터페이스가 부족합니다.

방법론: 리브레토(Libretto) 프레임워크

리브레토는 LLM 에이전트가 기호적 음악을 생성, 측정 및 수정할 수 있도록 설계된 에이전트 지향적 프레임워크입니다. 이는 표현, 측정, 검색, 수정의 폐쇄 루프(closed loop)를 통해 작동합니다.

1. LLM 네이티브 문법

리브레토는 에이전트가 음악적 구조를 직접 읽고, 쓰고, 수정할 수 있도록 특별히 설계된 텍스트 기반 문법을 도입합니다.

• 구조: 곡은 전역 헤더(조성, 박자, 템포, 그리드, 마디 수), 성부 선언, 그리고 각 마디당 하나의 블록으로 구성된 평문 텍스트로 표현됩니다.
• 명시적 온셋: 타이밍이 암묵적인 형식들과 달리, 리브레토는 온셋과 지속 시간을 정수 슬롯으로 사용합니다. 16분 음표 기준 4/4 그리드에서, 비트 위치는 명시적인 슬롯(예: 1, 5, 9, 13)이 됩니다. 이는 리듬을 압축적으로 만들며, 하위 타이밍을 재계산하지 않고도 국소적 편집을 가능하게 합니다.
• 성부 분리: 리브레토 문법은 베이스, 멜로디, 반주를 위한 별도의 성부를 유지합니다.
• 추상화: 이 표현은 벨로시티(velocity), 미세 타이밍, 음색, 무음고(unpitched) 타악기를 의도적으로 배제하여 악보와 같은 구조에 집중합니다.

2. 코퍼스 교정 통계적 클라우드(Corpus-Calibrated Statistical Cloud)

리브레토는 주관적인 품질 점수를 할당하는 대신, 8개 장르에 걸친 314개의 실제 MIDI 파일 코퍼스로 정의된 통계적 공간 내에서 음악의 위치를 파악하여 평가합니다.

• 29개 구조적 축: 각 곡은 리듬, 화성, 멜로디, 텍스처, 형식 및 곡 내부 변화를 다루는 29개 축의 지문(fingerprint)으로 매핑됩니다.
• 백분위 점수: 원시 축 값은 고정된 코퍼스에 대한 백분위수로 변환됩니다. 이는 "높음" 또는 "낮음"이 "좋음" 또는 "나쁨"을 의미하는 것이 아니라, 전형적인 음악 구조로부터의 편차를 나타내는 분포 없는 척도를 제공합니다.
• 진단적 유용성: 극단적인 백분위수(예: <5th 또는 >95th)는 지나치게 반복적이거나, 밀도가 높거나, 화성적으로 불안정한 출력과 같은 구조적 퇴행(structural degeneracy)을 진단하는 데 사용됩니다.

3. 에이전틱 루프 및 지식 베이스

생성 과정은 경계가 있는 **생성-측정-수정 루프(generate–measure–revise loop)**로 구성됩니다.

1. 생성: 에이전트가 후보 문법을 생성합니다.
2. 측정: 시스템이 문법을 파싱하고, 29개 축의 지문을 계산하며, 복제 위험을 확인하고, 작업별 게이트(gate)를 평가합니다.
3. 피드백: 에이전트는 조정해야 할 경향성(예: "화성적 불안정성을 줄여라", "텍스처를 덜 희소하게 만들어라")을 설명하는 음악가 친화적인 피드백을 받습니다.
4. 수정: 에이전트는 곡을 수정합니다. 루프는 지금까지 발견된 가장 좋은 후보를 유지하여 안전한 선택을 보장합니다.

지식 베이스(Knowledge Bases):

• 작곡 KB (Composing KB): 장르 조건부 생성을 위한 코퍼스 입증 및 실행 가능한 지침을 포함한 관용적 개념(화성, 그루브, 보이싱)을 담고 있습니다.
• 이론 KB (Theory KB): 교육용 드릴 생성에 사용되는 스케일, 코드, 패턴에 대한 교육적 항목을 포함합니다.
• 검색 (Retrieval): 시스템은 목표 장르의 중심점에 가장 가까운 실제 곡의 짧은 발췌본을 검색하여 스타일 참조를 제공하며, 이때 복제 위험 게이트가 직접적인 재사용을 방지합니다.

4. 복제 위험 및 참신성

리브레토는 관용적 유사성과 직접적인 복제를 구분합니다. 복제 위험은 생성된 자료와 실제 참조 자료(또는 빈칸 채우기 과제의 숨겨진 정답) 간의 마디 정렬된 온셋-피치 쌍을 비교함으로써 음표 수준에서 측정됩니다. 이는 코드 라벨을 비교하는 것보다 엄격하며, 장르 스타일은 맞더라도 특정 음표 수준의 자료를 재생산하지 않도록 보장합니다.

주요 기여

1. 구조적 표현: 음악을 주관적인 점수가 아닌 코퍼스 교정 통계적 클라우드로 특징짓습니다. LLM 네이티브 문법은 구조적 축(리듬, 화성 등)을 에이전트가 직접 읽고 편집할 수 있게 합니다.
2. 에이전틱 작곡 시스템: 지식 베이스, 검색, 구조적 측정 및 반복적 자기 개선을 결합한 시스템입니다. 에이전트는 구조적 실패를 진단하고 음악가 읽기 가능한 피드백을 바탕으로 수정합니다.
3. 다양한 응용 지원: 빈칸 채우기, 참조 가이드 기반 전체 곡 생성(통상 약 100마디), 스타일 간의 점진적 모핑, 특정 이론 개념을 위한 교육용 음악 생성 등을 지원하는 프레임워크의 능력을 입증했습니다.

실험 결과

이 프레임워크는 Claude Code (Opus 4.8)를 에이전트로, 314개의 MIDI 파일 코퍼스를 사용하여 평가되었습니다.

• 표현 유효성: 문법은 피치와 성부 할당을 정확하게 보존하며(음표 손실 0.019%), ABC 표기법보다 우수한 타이밍 가독성을 제공합니다. 리브레토에서 지속 시간을 편집하는 것은 하위 파생 과정을 0번 요구하는 반면, ABC는 1,000번 이상의 파생을 요구합니다.
• 구조적 축: 29개 축은 낮은 중복성을 보이며(평균 쌍 상관관계 |r| = 0.16), 장르 신호를 전달합니다(8개 장르에 대한 로지스틱 회귀 정확도 0.384, 약 3.1배의 확률).
• 게이트 교정: "통과(Pass)" 게이트는 실제 음악에 맞춰 교정되어 자연스러운 극단치를 허용하도록 설계되었습니다(예: 실제 곡은 3개의 극단적 축을 갖는 중앙값을 가지며, 생성된 곡은 4~6개를 가질 수 있음).
• 응용 성능:
  • 빈칸 채우기 (Gap Filling): 반복 루프를 통해 통과율이 12%(단판 생성)에서 **39%**로 향상되었습니다.
  • 전체 곡 생성 (Full-Piece Generation): 루프를 통해 통과율이 **62%**에서 **94%**로 향상되었습니다.
  • 검색의 영향: 전체 곡 생성 시 검색 기능을 활성화하면, 모델을 구체적인 예시에 접지(grounding)시키고 구조적 퇴행을 방지함으로써 통과율이 **25%**에서 **75%**로 3배 증가했습니다.
  • 교육 (Education): 제약 조건이 이미 명시적이었기 때문에 교육용 드릴에 대한 검색의 영향은 미미했으나, 프레임워크는 낮은 복제 대 제시(copy-vs-shown) 점수를 가진 유효한 드릴을 성공적으로 생성했습니다.
  • 모핑 (Morphing): 시스템은 스타일 간(예: 일렉트로닉에서 포크로)의 점진적인 전환을 부드러운 진행 곡선과 함께 성공적으로 생성했습니다.

의의 및 주장

본 논문은 리브레토가 기호적 음악을 LLM 에이전트를 위한 측정 가능하고 편집 가능한 객체로 변환한다고 주장합니다. 핵심적인 의의는 새로운 생성 모델을 훈련시키는 것이 아니라, 기존 LLM이 음악적 구조를 추론할 수 있게 하는 표현-평가 루프를 만드는 데 초점을 맞춘다는 점에 있습니다.

음악을 미터, 화성, 반복에 걸친 조직된 구조로 다룸으로써, 리브레토는 에이전트가 다음을 수행할 수 있게 합니다:

• 생성된 곡이 기존 음악과 비교하여 어디에서 실패했는지 진단합니다.
• 블랙박스 최적화가 아닌 해석 가능한 구조적 피드백을 사용하여 곡을 수정합니다.
• 특화된 모델 훈련 없이도 긴 형태의 생성(약 100마디) 및 복잡한 다성부 작업을 지원합니다.

저자들은 리브레토를 오디오 도메인 시스템이나 훈련된 기호 생성기의 대체물이 아니라, 검색, 생성, 진단 및 자기 수정의 전체 워크플로우 전반에 걸쳐 타이밍, 성부 및 구조적 측정을 사용할 수 있게 하는 텍스트 인터페이스로 정의합니다. 이는 단순히 음표를 방출하는 것을 넘어, 측정 가능한 음악적 구조를 바탕으로 추론하는 법을 배우는 기호 음악 에이전트의 미래를 향하고 있습니다.