기술 요약: MusiChat – 음악 창작을 위한 바이브 작곡(Vibe Composing)

문제 정의

Suno, Lyria, MusicGen과 같은 현재의 AI 음악 생성 시스템은 주로 "프롬프트 입력 및 재생성(prompt-and-regenerate)" 패러다임에 따라 작동합니다. 이러한 모델들은 자연어를 통해 완전한 음악 작품을 생성할 수는 있지만, **반복적인 정교화(iterative refinement)**에는 어려움을 겪습니다. 사용자가 전체 구성은 유지하면서 특정 요소(예: 단일 멜로디 라인, 특정 악기 파트, 또는 특정 가사 구간)를 수정하고자 요청할 때, 기존 시스템은 종종 제대로 대응하지 못합니다. 의도된 편집을 수행하는 대신 전체 곡을 다시 생성해 버리며, 이 과정에서 음악적 연속성이 깨지고 사용자의 원래 의도가 상실되는 결과가 발생합니다. 이러한 한계로 인해 사용자들은 원하는 결과에 근접하기 위해 수많은 다회차 재생성을 시도하거나, 상당한 제작 전문 지식을 요구하는 외부 소프트웨어에서 수동으로 편집해야 하는 상황에 직los하게 됩니다. 또한, 많은 딥러닝 모델의 불투명한 엔드 투 엔드(end-to-end) 특성은 해석 가능성과 세밀한 제어력을 제한합니다.

방법론

MusiChat은 자연어 상호작용과 계층적 제어 가능 음악 생성 프레임워크를 결합한 대화형 바이브 작곡 시스템을 통해 이러한 한계를 해결합니다. 이 시스템은 음악 창작을 일회성 생성 작업이 아닌, 상호작적인 추론 과정으로 취급하도록 설계되었습니다.

시스템 아키텍처

시스템은 두 개의 패널로 구성된 웹 인터페이스를 통해 작동합니다. 왼쪽 패널은 구성을 시각화(악보, MIDI 플레이어, 피아노 롤)하고, 오른쪽 패널은 대화형 입력을 담당합니다. 백엔드 아키텍처는 세 가지 구성 요소로 이루어져 있습니다:

1. 하이브리드 의도 라우팅 (Hybrid Intent Routing):

   • 시스템은 사용자 요청을 해석하기 위해 하이브리드 라우팅 메커니즘을 사용합니다.
   • 결정론적 탐지기 (Deterministic Detectors): 경량 정규 표현식과 키워드 매칭을 사용하여 모호하지 않고 정밀한 편집(예: "C Major로 변경", "더 빠르게")을 처리하며, 이를 통해 대규모 언어 모델(LLM)을 호출하지 않고도 지연 시간과 비용을 줄입니다.
   • LLM 기반 라우터 (LLM-Based Router): 개방형 또는 모호한 요청의 경우, LLM이 의도를 분류하고 특정 에이전트(예: 가사 생성, 스타일 변환, 또는 구조 분석)에 작업을 위임합니다.

2. 멀티모달 가사 생성 및 지속적 상태 (Multimodal Lyric Generation & Persistent State):

   • 사용자는 텍스트 또는 이미지를 통해 작곡을 시작할 수 있습니다. 이미지가 제공되면 멀티모달 모델이 시각적 내용을 해석하여 이미지에서 영감을 받은 가사를 생성합니다.
   • 이 가사는 지속적인 중간 표현(persistent intermediate representation) 역할을 합니다. 불투명한 잠재 벡터(latent vectors)와 달리, 가사는 음악적 구조와 정렬되는 의미적 및 운율적 토대를 제공합니다.
   • 시스템은 대화 턴(turn) 전반에 걸쳐 **단기 작곡 상태(short-term composition state)**를 유지하여, 편집이 처음부터 전체를 다시 생성하는 것이 아니라 현재의 결과물을 바탕으로 동작할 수 있도록 합니다.

3. 하이브리드 기호 음악 엔진 (Hybrid Symbolic Music Engine):

   • 가사-음악 스켈레톤 생성 (Lyric-to-Music Skeleton Generation): 엔진은 언어적 강세 패턴을 분석하여 박자(time signatures)를 추론하고 가사를 계층적으로 분절합니다. 멜로디의 연속성을 보장하기 위해 버퍼 제한적 단계별 순회(buffer-constrained, stepwise traversal)를 사용하여 음절에 멜로디 노트를 할당합니다. 이를 통해 안정적인 "음악적 스켈레톤"(멜로디, 리듬, 프레이즈 구조 및 가사 정렬)을 생성합니다.
   • 표면 실현 (Surface Realization): 교체 가능한 서브시스템이 중립적인 스켈레톤을 스타일별 연주로 변환합니다. 이는 8가지 장르(클래식, 팝, 재즈, 록, 왈츠, 로파이, 시네마틱, R&B)를 지원하며, 세 가지 교체 가능한 실라이저(realizer)를 제공합니다:
     • 결정론적 실라이저 (Deterministic Realizer): 규칙 기반 변환을 적용합니다.
     • LLM 정교화 실라이저 (LLM-Refined Realizer): 장식음과 아티큘레이션을 더해 결정론적 출력을 풍부하게 만듭니다.
     • LLM 주도 스타일 교체 실라이저 (LLM-Driven Style-Replacement Realizer): 언어 모델을 통해 표면적 스타일을 생성합니다.
   • 결정적으로, 모든 실라이저는 밑바탕이 되는 멜로디 스캐폴드(scaffold)와 노트 온셋(note onsets)을 보존하면서 표면 속성(화성, 역동성, 표현력)을 수정합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. MusiChat 시스템: 인간과 AI의 협업적 음악 창작을 촉진하는 대화형 "바이브 작형" 도구입니다. 사용자가 음악의 스켈레톤을 유지하면서 특정 특징을 수정함으로써 자연어를 사용하여 반복적으로 음악을 정교화할 수 있게 합니다.
2. 계층적 제어 가능 프레임키트: 가사와 정렬된 음악 구조 생성과 표현적인 표면 실현을 분리하는 새로운 아키텍처입니다. 이러한 분리는 유연한 스타일 변환과 구조 보존형 편집을 가능하게 하여, 엔드 투 엔드 모델의 "엉킨(entangled)" 문제를 해결합니다.
3. 포괄적 평가: 객관적인 특징 편집 메트릭과 인간 지각 연구를 결합하여 상호작용 일관성, 구조 보존 및 음악적 품질을 평가하는 엄격한 평가를 수행했습니다.

결과

저자들은 35명의 다양한 음악적 경험을 가진 참가자를 대상으로 객관적 분석과 인간 연구를 통해 MusiChat을 평가했습니다.

• 특징 편집 정확도:

  • 단일 턴 상호작용: 의도하지 않은 부작용 없이 요청된 편집(예: 키, 템포, 피치 변경)을 정확하게 적용하는 데 **95.31%**의 정확도를 달성했습니다.
  • 다회차 턴 상호작용: **100%**의 정확도를 달성하여, 반복적인 편집이 오류 누적으로 이어지지 않으며 순차적인 요청에 대해 시스템이 안정적으로 유지됨을 입증했습니다.
  • 전체 정확도: 테스트된 모든 시나리오에서 97%의 정확도를 기록했습니다.

• 인간 평가 (지각 품질):

  • 자연스러움: 멜로디의 자연스러움에 대한 "좋음(like)"과 "싫음(dislike)"의 비율은 2:1이었습니다.
  • 음악적 품질: 전체적인 품질에 대한 "좋음"과 "싫음"의 비율은 3:1이었습니다.
  • 평균 의견 점수 (MOS): 세 가지 실라이저(Deterministic, LLM-refined, LLM-replaced) 모두 1–5점 척도에서 3.38에서 3.63 사이의 MOS를 받았습니다. 통계적 분석 결과 실라이저 간의 유의미한 차이는 없었으나, 일부 비교에서 결정론적 실라이저가 약간 높은 쌍별 차이를 보였습니다.
  • 보존성: 대화형 평가에서 MusiChat은 베이스라인 재생 방식에 비해 멜로디 보존(2~3배 더 우수) 및 가사 정렬 측면에서 현저히 높은 성능을 보였습니다. 베이스라인 방식은 시간이 지남에 따라 오류가 누적되고 멜로디가 변하는 경향이 있었습니다.

의의 및 주장

본 논문은 MusiChat이 대화형 인터페이스를 통해 **일관된 다회차 음악 저작(multi-turn music authoring)**의 실현 가능성을 보여준다고 주장합니다. 불투명한 엔드 투 엔드 생성에서 벗어나 가사 기반 추론에 기초한 하이브리드 기호 접근 방식으로 전환함으로써, 시스템은 다음과 같은 기능을 제공합니다:

• 반복적 정교화: 사용자는 처음부터 다시 만드는 대신 음악적 아이디어를 직접 진화시킬 수 있습니다.
• 구조 보존: 시스템은 "곡의 스켈레톤"(멜로디, 리듬, 구조)을 유지하면서 표면적인 변화를 허용하며, 이는 현재 최첨단 생성 모델들이 결여하고 있는 능력입니다.
• 접근성: "바이브 작곡" 워크플로우는 진입 장벽을 낮추어, 음악적 경험이 거의 없는 사용자도 자연어를 사용하여 복잡한 음악 구조를 만들고 정교화할 수 있게 합니다.

저자들은 이 연구를 해석 가능하고 협업 가능한 창의적 AI를 향한 단계로 규정하며, 음악 생성을 언어 중심의 추론 과정으로 재정의하여 순수 신경망 기반의 블랙박스 시스템에서는 달성하기 어려운 인간의 감독과 검사가 가능하도록 했습니다.