기술 요약: 자연어를 통한 소리 전달 (어휘 음향 코딩)

1. 문제 제기

현재 자연어는 오디오 시스템에서 부수적인 역할을 하며, 주로 메타데이터, 프롬프트, 또는 자막으로 활용됩니다. 반면 소리 자체는 파형, 연속 잠재 변수, 또는 학습된 코덱 토큰을 통해 전송됩니다. 본 논문은 다음과 같은 독특한 설계 지점을 탐구합니다: 자연어가 소리 자체의 전송 표현 (transport representation) 으로 기능할 수 있을까요?

핵심 과제는 충분히 구조화된 어휘가 언어 모델 에이전트 간에 실용적인 왕복 통신을 지원할 만큼 충분한 측정 가능한 음향 정보를 전달할 수 있는지 판단하는 것입니다. 비트 수준의 가역성을 우선시하는 기존 코덱이나 재구성 충실도는 부족하지만 인간 가독성을 우선시하는 자막과 달리, 본 연구는 인간이 읽을 수 있고, 음향적으로 해석 가능하며, 손실 파형 재구성을 가능하게 하는 표현을 추구합니다.

2. 방법론: 어휘 음향 코딩 (LAC)

LAC 는 사전 훈련된 대규모 언어 모델 (LLM) 송신 및 수신 에이전트가 자연어를 통해 소리를 전송하는 프레임워크입니다. 이 시스템은 에이전트가 자체 분석 및 합성 코드를 작성하고, 오직 어휘 문장, 공유 어휘, 그리고 선택적 심볼릭 음악 구조를 통해만 통신하는 고정된 시스템 프롬프트 하에서 작동합니다.

2.1 파이프라인

공유 어휘를 기반으로 한 통신 프로토콜에 따라 프로세스가 진행됩니다:

1. 공유 어휘 설정: 특징 집합 $\mathcal{F}$ (예: 스펙트럼 중심주파수, 감쇠 시간) 및 각 특징에 해당하는 어휘 알파벳 $\mathcal{A}_i$를 포함하는 어휘 $V$가 설정됩니다. 이 어휘는 인간이 작성하거나 에이전트가 생성할 수 있습니다.
2. 인코딩 (송신자):
   • 특징 추출: 입력 파형은 오프더셸 도구 (예: librosa) 를 사용하여 $d$차원의 음향 특징 벡터로 분석됩니다. 시스템은 시간, 스펙트럼, 조화, 그리고 심리음향 영역을 아우르는 47 가지 특징을 사용합니다.
   • 어휘 양자화: 각 특징 값은 특징별 구간 테이블을 통해 이산적인 어휘 레이블로 매핑됩니다 (예, $[0.10, 0.30)$ 범위의 RMS 값은 "mid-power"로 매핑됨). 이를 통해 어휘 코드 $\ell = (\ell_1, \dots, \ell_d)$가 생성됩니다.
   • 구어화 (Verbalization): 코드는 구조화된 영어 문장으로 변환됩니다. 구어화기는 문장이 읽기 쉽도록 하되 주입적 (injective) 인 운반체로 유지되도록 보장합니다. 즉, 용어를 삭제, 병합하거나 모호하게 재명명할 수 없습니다.
3. 전송: 오직 영어 문장만 전송됩니다. 이진 오디오 페이로드, 학습된 잠재 변수, 또는 비-ASCII 부채널은 사용되지 않습니다.
4. 디코딩 (수신자):
   • 구문 분석: 수신자는 문장을 다시 $d$개 레이블의 어휘 코드로 구문 분석합니다.
   • 레이블 역변환: 각 레이블은 대표 수치 값 (일반적으로 구간 중간값) 과 구간 제약 조건으로 역변환됩니다.
   • 합성: 결정론적 하이브리드 신디사이저 (조화, 모드, 그리고 잡음 기반 성분을 결합) 가 이러한 목표값을 기반으로 파형을 생성합니다.
   • 폐루프 정제: 시스템은 합성된 파형을 재분석하여 전송된 구간 제약 조건과 비교한 뒤, 불일치를 최소화하기 위해 렌더러 제어 (예: 엔벨로프 스케일링, 모드 밀도) 를 반복적으로 조정합니다.

2.2 이론적 틀

LAC 는 유한 속도 손실 양자화기로 개념화됩니다. 정보 용량은 어휘 크기에 의해 제한됩니다 ($B_{max} = \log_2 |\mathcal{L}|$). 이 시스템은 비트 수준의 가역성 대신 인간 가독성 및 텍스트 네이티브 전송과 같은 특성을 교환하며, 기존 코덱보다는 의미론적 통신 시스템에 더 가깝게 작동합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. LAC 의 형식화: 음향 기술자를 짧은 어휘 코드로 양자화하고, 이를 LLM 에이전트 간 일반 텍스트 전송을 위해 구어화하며, 채널에 대한 유한 속도 및 손실 양자화기 결과를 제공하는 프레임워크.
2. 에이전트 환경: 고정된 프롬프트 하에서 송신 및 수신 에이전트가 자체 분석 및 합성 코드를 작성하며, 오직 어휘 문장과 공유 어휘를 통해서만 통신하고, 특정 작업을 위해 훈련되지 않은 실험 설정.
3. 하이브리드 재구성: 구간 인식 폐루프 정제의 도입으로, LAC 가 짧은 고립된 소리뿐만 아니라 심볼릭 음악 전달 (구조는 ABC 표기법으로 외부에 보존되고 음색은 LAC 가 전달) 도 지원함을 입증.

4. 실험 결과

실험은 3,707 개의 짧은 오디오 샘플 (0.0002 초에서 2 초) 로 구성된 데이터셋을 사용하여 GPT-5.3-Codex 에이전트로 수행되었으며, 이 데이터셋은 트래커 음악 모듈에서 파생되었습니다.

• 특징 군 제거 분석: 사전 합성 정확도 (레이블을 값으로 역변환) 는 모든 47 개 특징을 사용하여 100% 에 달했습니다. 사후 합성 정확도 (파형을 재구성하고 특징을 재추출) 는 모든 특징을 포함할 때 약 **74%**에 달했습니다. Bark 대역 정보가 가장 큰 향상을 제공했으며, 시간 및 심리음향 군은 미미한 개선을 더했습니다.
• 폐루프 정제: 정제는 재구성을 크게 향상시켰습니다. 정확도는 정제가 없을 때 약 72% 에서 64 회 평가 시 약 84% 로 상승했습니다. 처리량은 평가 횟수에 반비례하여 감소했습니다.
• 정성적 성능: 재구성된 파형은 원본 파형과 샘플 단위로 일치하지 않았습니다. 그러나 거시적 엔벨로프, 지배적인 주기성, 그리고 음조 대 잡음의 균형을 보존하여 지각적 유사성을 달성했습니다.
• 음악 전달: 시스템은 ABC 표기법으로 별도로 전송된 심볼릭 구조 (음표, 타이밍) 를 보존하면서 음색을 성공적으로 전달했습니다.

5. 중요성과 범위

본 논문은 LAC 를 오디오 표현의 설계 공간에서 독특한 지점으로 위치시킵니다:

• 코덱 대체가 아님: LAC 는 원시 속도–왜곡 측면에서 신경 코덱 (EnCodec 또는 SoundStream 등) 을 대체하도록 설계되지 않았습니다. 정확한 샘플 복구, 음성 코딩, 또는 완전한 음악 압축을 지원하지 않습니다.
• 해석 가능한 전송: 인간이 읽을 수 있고, 검사 가능하며, 일반 텍스트 기반의 음향 표현을 제공합니다. 인간은 표현을 읽고 감사할 수 있으며, 언어 모델은 이를 조작할 수 있고, 디코더는 이를 소리로 렌더링할 수 있습니다.
• 의미론적 통신: 자막 (읽기 쉽지만 재구성에 약함) 과 코덱 (가역적이지만 불투명함) 간의 간극을 메웁니다. 전송된 문장은 풍부한 자막이자 그 자체로 전송 표현 역할을 합니다.

한계점:

• 시스템은 짧고 고립된 비음성 소리 (타격, 폭발, 튕김) 를 대상으로 합니다. 지속적이고 시간에 따라 변하는 소리에는 어려움을 겪으며, 음소 내용, 화자 정체성, 또는 외부 심볼릭 표현 없이는 장거리 음악 구조 (선율, 화성) 를 포착하지 못합니다.
• 디코딩은 본질적으로 근사적입니다. 원래 파형을 정확하게 복구하는 대신 어휘 설명과 일치하는 소리를 재구성합니다.
• 심볼릭 음악 전달은 현재 ABC 표기법에 의존합니다. 제약 없는 산문으로 복잡한 음악 구조를 기술하는 것은 여전히 제약 충족 문제입니다.

결론적으로, LAC 는 일반 텍스트가 해석 가능하고 편집 가능한 상태를 유지하면서 측정 가능한 음향 구조를 보존할 수 있음을 입증하여, 에이전트 매개 소리 통신을 위한 새로운 패러다임을 제시합니다.