A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

기술 요약: 언어 모델을 통한 프로시저럴 사운드스케이프 스케칭을 위한 텍스트 제어 가능 악기

문제 정의
현재의 신경망 기반 텍스트-오디오 시스템(예: MusicGen, MusicLM, Stable Audio)은 고품질의 단일적(monolithic) 파형을 생성하지만, 라이브 퍼포먼스 맥락에서는 심각한 한계를 드러낸다. 이러한 시스템들은 일반적으로 높은 생성 지연 시간(종종 GPU 가속을 필요로 함)을 보이며, 생성 후 편집이 용이하지 않은 비해석적 원시 오디오를 생성하고, "제어 가능성(steerability)"—즉, 연주자가 스트림을 중단하지 않고 연속적이고 예측 가능한 조정을 할 수 있는 능력—이 부족하다. 이는 연주자가 텍스트를 실시간 제어 인터페이스로 다룰 수 없게 만드는 "트윅커빌리티 문제(tweakability problem)"를 야기한다.

방법론
본 논문은 텍스트 명령 해상(resolution)과 오디오 방출을 분리하는 소프트웨어 개발 키트(SDK) 및 악기 아키텍처를 제시한다. 시스템은 원시 오디오를 직접 생성하는 대신, 언어 모델(LLM) 또는 검색 메커니즘을 사용하여 **해석 가능한 상징적 신시사이저 설정(symbolic synthesizer configurations)**을 출력한다.

• 아키텍처 (라이브 제너레이터): 핵심 혁신은 비동기 스트리밍 인터페이스이다. 연주자는 파이썬 제너레이터를 통해 명령(텍로 프롬프트, 절대적 설정, 또는 상대적 파라미터 미세 조정)을 전달한다. 시스템은 현재의 설정을 통해 오디오를 지속적으로 방출하는 동시에, 다음 설정이 백그라운드에서 해상되는 과정(LLM API, 로컬 모델, 또는 임베딩 검색을 통해)을 진행한다. 일단 해상되면, 시스템은 새로운 설정으로 매끄럽게 크로스페이드되어, 해상에 5~12초가 소요되더라도 끊김 없는 오디오를 보장한다.
• 설정 스키마: 시스템은 5개의 그룹으로 나뉜 34개의 범주형 필드 스키마를 활용한다: 글로벌 파라미터(템포, 밝기, 공간감 등), 6개의 오케스트레이션 레이어(베이스, 패드, 멜로디 등), 공간/질감, 멜로디 생성, 그리고 화성. 이 스키마는 유효한 조합 대부분이 음악적으로 일관된 결과를 생성하도록 설계되었다. 또한 절대적 할당뿐만 아니라 상대적 단계 이동(예: 밝기에 대한 Step(-2))도 지원한다.
• 백엔드: 시스템은 동일한 스키마를 출력하는 세 가지 교체 가능한 백엔드를 지원한다:
  1. 패스트 모드 (기본값): 약 10,500개의 큐레이션된 장면 묘사 데이터셋에 대한 임베딩 검색을 사용한다. 이는 CPU에서 실행되며, 네트워크 의존성 없이 1초 미만의 지연 시간을 갖는다.
  2. 익스턴얼 모드: 프롬프트를 호스팅된 LLM(예: API를 통해)으로 라우팅한다. 시스템은 해상되는 동안 현재 오디오를 계속 재생함으로써 네트워크 지연 시간을 처리한다.
  3. 로컬 익스프레시브 모드: 온디바이스에서 미세 조정된 270M 파라미터 모델을 실행한다(실험적 단계).
• 데이터셋 구축: 검색 맵은 Common Pile 코퍼스에서 장면 묘사를 추출하고, LLM을 사용하여 후보 설정을 생성하며, LAION-CLAP(텍스트-오디오 의미론적 유사성을 측정하는 대조 학습 모델)을 사용하여 텍스트-오디오 의미론적 유사성을 점수화한 뒤 최적의 매치를 선택하는 과정을 통해 구축되었다.

주요 기여

1. 라이브 제너레이터 아키텍처: 텍스트-투-뮤직을 "원샷(one-shot)" 생성 작업에서 지속적인 퍼포먼스가 가능한 스트림으로 재정의하며, 해상 지연 시간을 연속적인 오디오 뒤로 숨기는 런타임 구조를 제공한다.
2. 매핑 디자인: 유효한 조합이 음악적 일관성을 갖도록 편향된 34개 필드의 범주형 설정 스키마를 통해, 디지털 신호 처리(DSP)에 대한 지식 없이도 정교한 연주자 제어를 가능하게 한다.
3. 오픈 소스 공개: SDK, 데이터셋 아티팩트, 미세 조정된 모델, 그리고 시청각 퍼포먼스 인터페이스를 함께 공개한다.

결과 및 평가

• 성능: 200개의 홀드아웃 프롬프트 벤치마크에서, 임베딩 검색 백엔드는 모든 프롬프트를 성공적으로 해상했으며(합계 지연 시간 약 1.2초, 합성 포함), 외부 LLM 백엔드는 200개 중 178개(89% 성공률)를 해상하였으며 약 5.6초의 생성 시간을 소요했다. 실패 시에는 연속성을 유지하기 위해 패스트 백엔드로 부드럽게 전환된다.
• 의미론적 정렬: 홀드아웃 프롬프트에 대한 LAION-CLAP 기술 평가 결과, 검색 기반 설정이 무작위 유효 설정보다 더 높은 텍스트-오디오 의미론적 유사성을 보였다. 저자들은 이 지표가 시스템의 신뢰성과 정렬도를 나타내는 대리 지표(proxy)이지 지각적 품질을 측정하는 것이 아님을 명시했으며, 검색 맵 역시 이 지표를 사용하여 구축되었다.
• 사용자 피드백: 5명의 일반인 참가자를 대상으로 한 비공식 테스트에서, 출력물은 무작위적이기보다는 "음악적 의도가 있는 것"으로 인식되었다. 이는 스키마의 설계 목표를 뒷받침한다. 참가자들은 시스템이 점진적인 장면 진화에는 뛰어나지만, 급격한 스타일 전환이나 특정 음색 요청(예: "업라이트 베이스")에는 어려움을 겪는다고 언급했다.

의의 및 주장
본 논문은 고품질의 뉴럴 오디오와 라이브 퍼포먼스에서의 저지연, 재현 가능성, 제어 가능성 사이의 긴장 문제를 해결한다고 주장한다. 로原始 오디오 대신 상징적 파라미터를 생성함으로써 다음과 같은 이점을 제공한다:

• 즉각성 및 연속성: 설정 해상 중에도 오디오가 중단되지 않는다.
• 재현 가능성: 설정값과 시드(seed)가 주어지면 출력은 동일하며, 이는 NIME(New Interfaces for Musical Expression) 관행에서 딥 생성 모델의 장기적 보존 및 문서화에 관한 문제를 해결한다.
• 자원 효율성: 기본 CPU 전용 백엔드는 LLM 비용를 일회성 데이터셋 구축 단계로 분산시켜, 런타임 시 무거운 추론 과정을 피한다.
• 확장성: 오픈 소스 특성과 공유된 파라미터 공간의 어휘를 통해, 다른 개발자들이 새로운 스타일 셋이나 신시사이저 백엔드로 시스템을 확장할 수 있도록 한다.

저자들은 이 악기를 특히 텍스처와 화성적 색채가 작곡된 멜로디나 엄격한 장르 모방보다 우선시되는 앰비언트, 시네마틱, 루프 인접 맥락에서 효과적인 프로시저럴 사운드스케이프 스케칭 도구로 포지셔닝한다.