기술 요약: Listen-Write-Speak (LWS)

문제 정의

음성 기반 대규모 언어 모델(LLM)은 현재 근본적인 병목 현상에 직면해 있습니다. 즉, 출력값이 음성 모달리티에 국한되어 코드 생성, 구조적 분석, 다단계 추론과 같은 텍스트 네이티브(text-native) 능력이 억제된다는 점입니다. 기존의 음성 LLM 접근 방식은 일반적으로 텍스트를 숨겨진 중간 상태나 음성 응답을 개선하기 위한 보조적인 모달리티로 취급합니다. 이는 사용자의 출력을 구어로 표현 가능한 범위로 제한하며, 이로 인해 사용자는 복잡한 구조적 데이터(예: 코드 블록, 표)를 수동으로 전사하거나, 수정하기 어려운 선형적인 음성 목록으로 변환해야 하는 상황에 놓이게 됩니다. 또한, 현재의 모델들은 진정한 전이중(full-duplex, 말하는 동시에 듣기) 능력이 부족하거나, 상호작용 중에 사용자에게 보이는 지속적인 추론 채널을 유지하지 못하는 경우가 많습니다.

방법론: Listen-Write-Speak (LWS)

저자들은 Listen-Write-Speak (LWS), 즉 텍스트 우선의 3채널 상호작용 패러다임을 제안합니다. 이전 연구들이 복잡한 아키텍처 수정이나 별도의 모델에 의존했던 것과 달리, LWS는 표준 자기회귀(autoregressive) 트랜스포머 내의 **토큰 스키마(Token Schema)**만을 통해 이 동작을 구현합니다.

핵심 아키텍처

시스템은 '유닛(Unit)'이라고 불리는 이산적 시간 간격(실험에서는 1초로 설정) 내에서 세 개의 채널이 동시에 실행되는 공유 인과적 어텐션 컨텍스트(shared causal attention context)에서 작동합니다.

1. 리스닝(인식) 채널 (Listening/Perception Channel): 상호작용 전반에 걸쳐 사용자 오디오 스트림(이산적 오디오 토큰으로 표현됨)을 지속적으로 입력받아 전이중 능력을 가능하게 합니다.
2. 가시적 쓰기(인지) 채널 (Visible Writing/Cognition Channel): 항상 활성화되어 있습니다. 모델의 텍스트 네이티브 인지 과정을 자유 형식의 사용자 가시적 텍스트로 외재화합니다.
   • 리스닝 중: 지금까지 들은 오디오를 바탕으로 점진적인 추론(예: 부분적 이해, 모호성 해소)을 구축합니다.
   • 스피킹 중: 자연스러운 음성과 병렬적으로 구조화된 산출물(코드, 표, 유도 과정 등)을 생성합니다.
3. 스피킹(표현) 채널 (Speaking/Expression Channel): 실시간 구어 응답을 생성합니다. 이 채널은 응답 단계에서만 활성화됩니다.

토큰 스키마

LWS는 각 유닛 내에서 채널 경계를 구분하기 위해 특수 토큰을 활용하며, 이는 기본 LLM의 아키텍처 변경 없이 수행됩니다.

• 리스닝 유닛: <unit> $\rightarrow$ audio $\rightarrow$ <|lc|> (ls cogn start) $\rightarrow$ writing $\rightarrow$ <|/lc|> (ls cogn end) $\rightarrow$ </unit>.
• 스피킹 유닛: <unit> $\rightarrow$ audio $\rightarrow$ <|spk|> $\rightarrow$ speak $\rightarrow$ <|eos|> $\rightarrow$ <|rc|> (reply cogn start) $\rightarrow$ writing $\rightarrow$ <|/rc|> (reply cogn end) $\rightarrow$ </unit>.

리스닝 단계의 인지(ls cogn)와 응답 단계의 인지(reply cogn)를 분리하는 것은 정보 누출을 방지하고 다음 토큰 예측을 단순화하기 위함이며, 두 단계는 서로 다른 정보 상태를 조건으로 합니다.

데이터 구축

공개된 코퍼스에는 오디오 타임라인과 정렬된 초 단위 인지 주석이 부족하기 때문에, 저자들은 2단계 데이터 파이프라인을 개발했습니다.

1. 오프라인 인지 합성 (Offline Cognitive Synthesis): 강력한 티처(teacher) LLM이 표준 QA 쌍으로부터 세 가지 텍스트 스트림을 합성합니다: 스트리밍 추론 체인(ls cogn), 음성 응답(speak), 그리고 원래의 구조화된 응답(reply cogn). 엄격한 인과적 제약을 통해 시간 $t$에서의 추론은 오직 $t$까지 들린 입력만을 사용하도록 보장합니다.
2. 온라인 타임라인 구축 (Online Timeline Construction): 합성된 스트림을 실제 오디오 녹음 및 CTC 기반의 문자 수준 정렬과 결합하여 유닛 시퀀스를 구성합니다. 여기에는 자연스러운 대화의 페이싱과 중첩을 시뮬레이션하기 위한 무작위 침묵 구간 및 방해(interruption) 증강이 포함됩니다.

주요 기여

1. 패러다임 전환: LWS를 단일 자기회귀 LLM이 동시에 듣고, 가시적 텍스트를 쓰고, 말하는 텍스트 우선 3채널 패러다임으로 정립하였으며, 가시적 쓰기를 일급 출력 채널로 취급했습니다.
2. 토큰 스키마 구현: 추가적인 디코더나 채널 간 융합 모듈 없이, 특수 토큰을 통해 표준 트랜스포머 내에서 이 복잡한 동작을 구현했습니다.
3. 데이터 파이프라인: 스트리밍 상호작용 학습을 위해 인과적으로 일관된 초 단위 인지 주석을 합성하는 2단계 파이프라인을 개발했습니다.
4. 실증적 검증: 실시간 응답성을 저해하지 않으면서 강력한 전이중 상호작용과 고품질의 구조화된 출력을 보여주었습니다.

실험 결과

모델은 Qwen3-8B 백본을 가진 MiniCPM-V 아키텍처를 사용하여 여러 벤치마크에서 평가되었습니다.

• 음성 이해 및 추론 (URO-Bench): LWS는 중국어 Pro 분할(평균: 84.6) 및 중국어 기초 이해/추론(92.5/85.9)에서 최고 점수를 기록했습니다. LWS는 내부 절제 실험 모델(듣는 동안 또는 말하는 동안 쓰기가 없는 모델)보다 일관되게 높은 성능을 보였으며, 이를 통해 두 단계 모두에서 가시적 쓰기 채널의 효용성을 입증했습니다.
• 응답 품질 (VoiceBench AlpacaEval): LWS는 4.72점을 기록하여 모든 나열된 오픈 소스 베이스라인을 능가했으며, GPT-4o-Audio(4.78)에 근접했습니다. 이 점수는 가시적 쓰기 채널의 품질을 반영합니다.
• 채널 일관성: 모델은 음성 출력과 텍스트 출력 사이에서 **92.6%**의 일관성을 달 achievement 했으며, 이는 듀얼 채널 접근 방식이 일관성을 해치지 않음을 나타냅니다.
• 전이중 상호작용 (Full-Duplex-Bench): LWS는 경쟁력 있는 턴 테이킹(0.48초 지연 시간에서 0.97 Candor TOR)과 강력한 방해 처리 능력(0.65초 지연 시간에서 4.02 GPT-4o 품질)을 보여주었으며, 중첩 발생 시에도 큰 지연 없이 회복하는 모습을 보였습니다.
• 학습 수렴: 세 가지 채널(리스닝 쓰기, 스피킹, 리플라이 쓰기) 모두 낮은 분산과 함께 매끄럽게 수렴하여, 단일 자기회귀 모델에서의 합동 3채널 학습 가능성을 확인했습니다.

의의 및 주장

본 논문은 가시적 쓰기가 실시간 응답성을 희생하지 않으면서 음성 상호작용을 위한 일급 출력 채널 역할을 할 수 있다고 주장합니다. 전이중 리스닝, 가시적 쓰기, 실시간 스피킹을 통합함으로써, LWS는 음성 모델이 멀티모달 환경에서도 텍스트 네이티브 역량(코드, 구조적 분석 등)을 활용할 수 있게 합니다. 저자들은 이 방식이 아키텍처 수정 없이도 가능하다는 점을 강조하며 확장성과 재사용성을 높였습니다.

연구는 결론적으로 LWS가 응답성에는 최적화되어 있으나, 현재는 (실시간 제약으로 인한) 추론 깊이와 (음성 전용 입력으로 인한) 입력 모달리티 측면에서 한계가 있다고 밝힙니다. 그러나 LWS는 음성 기반 LLM이 어떻게 사용자들과 상호작용할 수 있는지에 대한 새로운 기준을 제시하며, 선형화된 음성을 넘어 지속적이고 검사 가능하며 구조화된 중간 출력을 포함하는 방향으로 나아가고 있습니다.