기술 요약: LK Jam – 실시간 인간-AI 상호작용 음악 생성 시스템

1. 문제 정의

본 논문은 현재의 AI 음악 생성 능력과 실시간적이고 체화된(embodied) 인간-AI 상호작용 요구사항 사이의 결정적인 간극을 지적한다. 딥러닝은 오프라인 심볼릭 음악 생성 분야에서 발전해 왔으나, 기존 시스템들은 다음 세 가지 주요 제한 사항으로 인해 실시간 즉흥 연주(improvisation)의 엄격한 요구사항을 충족하지 못한다:

• 지연 시간 병목 현상 (Latency Bottlenecks): 주류 모델들(예: Transformer)은 높은 추론 지연 시간($O(N^2)$ 복잡도)과 무거운 파라미터 수로 인해, 디지털 오디오 워크스테이션(DAW) 오디오 스레드의 엄격한 저지연 제약 조건을 충족하기에 부적합하다.
• 상호작용 로직의 부재 (Lack of Interaction Logic): 현재의 인터랙티브 AI는 진정한 파트너라기보다 "무한 지속기(infinite continuers)"로서 기능하는 경우가 많다. 이들은 재즈 즉흥 연주(예: "Trading Fours")에 필수적인 "경청"과 "응답"의 역학을 이해하지 못하며, "역할 인식(role awareness)" 및 명시적인 턴 테이킹(turn-taking) 메커니즘이 결여되어 있다.
• 엔지니어링 배포 장벽 (Engineering Deployment Barriers): 무거운 추론 엔진(예: ONNX 또는 TensorFlow)을 VST3 플러그인에 통합하는 것은 동적 메모리 할당이나 스레드 경합과 같은 비결정론적 런타임 동작을 유발하여, 실시간 환경에서 오디오 드롭아웃(audio dropouts)을 빈번하게 발생시킨다.

2. 방법론

저자들은 알고리즘 설계와 고성능 엔지니어링을 세 가지 접근 방식을 통해 결합한 LK Jam을 제안한다.

A. 알고리즘 표현: 역할 인식 희소 이벤트 스트림 (Role-Aware Sparse Event Streams)

계산 비용이 많이 드는 고정 시간 그리드 대신, 시스템은 타임스탬프 기반의 희소 이벤트 스트림을 활용한다.

• 입력 특징 (Input Features): 모델은 각 이벤트 단계에서 다음을 결합한 다차원 특징 벡터($x_t$)를 처리한다:
  • 피치(Pitch) 및 벨로시티(Velocity) 임베딩.
  • 마이크로 타이밍(swing, lay back)을 포착하기 위한 타임 시프트($\Delta t$) 임베딩.
  • 텐션 궤적을 이해하기 위한 연속적 화성 맥락($C_t$).
  • 역할 인식 인코딩 ($E_{role}$): 인간과 AI 입력을 구분하는 이진 식별자.
  • 구절 위치 식별자 ($E_{phrase}$): 구조적 종결을 강제하기 위해 구절(phrase)의 시작, 지속, 끝을 표시.
• 모델 아키텍처: 자기회귀적 Transformer의 계산 급증을 피하기 위해, 이러한 희소 스트림을 $O(1)$ 단일 단계 복잡도로 처리할 수 있는 경량 **GRU(Gated Recurrent Unit)**를 선택하였다.

B. 학습 전략: 3단계 점진적 학습 (Three-Stage Progressive Learning)

기초적인 화성 보조를 넘어 전문가 수준의 상호작용으로 나아가기 위해, 저자들은 다음과 같은 단계적 학습 파이프라인을 채택한다:

1. 1단계 (원자적 화성화 - Atomic Harmonization): 코드 루트, 3도, 7도에 엄격히 묶인 알고리즘 생성 모노포닉 멜로디를 통해 사전 학습하여 화성적 근거를 확립한다.
2. 2단계 (스타일적 방랑 - Stylistic Wandering): 다양한 화성 시나리오(예: ii-V-I, Blues)로 확장하고, 재즈 특유의 기법(Bebop 스케일, enclosure 등) 및 자기 모티프 개발을 도입한다.
3. 3단계 (전문가 수준의 상호작용 - Expert-Level Interaction): 고품질의 "Trading Fours" 데이터셋을 사용한 지도 미세 조정(SFT)을 수행한다. 이 단계에서는 역할 인식 인코딩을 명시적으로 활성화하여, 모델이 "경청-분석-응답" 사이클과 모방(imitation) 및 전위(inversion)와 같은 특정 상호작용 전략을 학습하도록 강제한다.

C. 엔지니어링 구현: 락 프리 실시간 아키텍처 (Lock-Free Real-Time Architecture)

시스템은 JUCE 프레임워크와 RTNeural 추론 엔진을 사용하여 C++ VST3 플러그인으로 구현된다.

• 스레드 관리: 고순위 오디오 스레드(MIDI 캡처/재생)를 추론 스레드(무거운 모델 계산) 및 UI 스레드와 분리하는 엄격한 트리플 스레드 아키텍처를 사용한다.
• 제로 할당 실행 (Zero-Allocation Execution): RTNeural의 C++ 템플릿 메타프로그래밍을 활용함으로써, 네트워크 토폴로지와 가중치를 컴파일 타임에 확정한다. 이를 통해 런타임 시 할당이 없는(allocation-free) 실행을 보장하며, 오디오 드롭아웃을 유발하는 동적 메모리 할당 위험을 제거한다.
• 통신: 실시간 오디오 클록을 차단하지 않고 스레드 간 데이터를 동기화하기 위해 락 프리 큐(lock-free queues)와 아토믹 더블 버퍼링(atomic double-buffering)을 사용한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. 3D 데이터 인코딩 전략: 다회차 상호작용에서의 문맥 인식 능력을 높이기 위해 입력 스트림 내에 역할 및 구절 식별자를 도입하였으며, 이를 통해 모델이 "경청" 상태와 "연주" 상태를 구분할 수 있게 한다.
2. 저지연 엔지니어링 프레임워크: 오프라인 학습부터 DAW 실시간 추론에 이르는 전체 배포 파이프라인을 구축하였으며, 락 프리 및 할당 프리 아키텍처를 사용하여 오디오 스레드의 드롭아웃을 구조적으로 완화한다.
3. 점진적 학습 전략: AI 생성 로직을 인간의 즉흥 연주 사고방식과 일치시키는 방법론을 제시하여, 모델을 단순한 코드 화성 보조에서 복잡한 양방향 음악적 대화로 전환시킨다.

4. 결과 및 평가 계획

본 논문은 이 작업을 **예비 기술 보고서(preliminary technical report)**로 제시하며, 대규모 사용자 연구를 통한 최종적인 정량적 결과를 주장하지 않는다. 대신, 예상되는 결과와 평가 지표를 개략적으로 설명한다:

• 성능 기대치: 본 아키텍처는 자기회귀적 디코딩을 위해 엄격한 $O(1)$ 복잡도를 유지하도록 설계되어, 오디오 스레드가 CPU 집약적인 추론 작업으로부터 자유로울 것임을 이론적으로 보장한다.
• 질적 목표: 저자들은 3단계 학습을 통해 모델의 퍼플렉서티(perplexity)를 줄이고 구조적 무결성을 개선할 것으로 기대한다.
• 절제 연구 (Ablation Studies): 역할($E_{role}$) 및 구절($E_{phrase}$) 식별자 제거가 목적 없는 무한한 구절 생성으로 이어지는지 확인하여, 이들의 필요성을 검증하는 향후 연구 계획을 밝힌다.
• 평가 차원: 향 논문은 모티프 응답 전략, 구절 경계, 화성 준수, 선형 장식, 리듬 밀도, 멜로디 윤곽을 포함한 6가지 차원의 주관적 평가 프레임워크를 제안한다.

5. 의의

본 논문은 LK Jam을 차세대 체화된 AI (Embodied AI) 음악을 위한 견고한 기술적 패러다임으로 자리매김한다. 극한의 실시간 엔지니어링 제약에 성공적으로 도전함으로써, 저자들은 다음을 입증한다:

• 역할 인식은 AI를 수동적인 생성기에서 "가상 시너지(virtual synergy)"가 가능한 능동적인 공동 연주자로 변모시키는 데 필수적이다.
• 경량 모델(GRU)과 컴파일 타임 최적화(RTNeural)의 결리는 표준 DAW 환경 내에서 초저지연 상호작용을 달려 성취할 수 있는 실행 가능한 경로를 제공하며, 기존에 라이브 음악 설정에서 AI의 발목을 잡았던 배포 장벽을 극복한다.

저자들은 현재 시스템이 지연 시간 안전을 보장하기 위해 모노포닉 스트림에 집중하고 있으나, 이 아키텍처가 향후 멀티 트랙 및 거시 구조적 계획 확장을 위한 기초적인 프레임워크를 제공함을 강조한다.