기술 요약: Speech LLM을 위한 Latent-IM

문제 정의

전통적인 음성 대화 시스템은 대화 관리(상태 추정 및 정책 선택)와 응답 생성(반응 실현)을 분리하여 운영해 왔습니다. 이 패러다임에서 대화 관리자는 벨리프 스테이트(belief state)를 유지하고 액션을 선택하며, 이후 별도의 컴포넌트가 이를 실현합니다. 그러나 시스템이 대규모 언어 모델(LLM)로 전환됨에 따라, 이러한 분리는 모델의 은닉 표현(hidden representations) 속으로 완전히 흡수되어 사라졌습니다. 현대의 LLM은 명시적인 상태 모듈이나 액션 정책 없이 엔드 투 엔드로 응답을 생성합니다.

본 연구가 다루는 핵심 질문은, 고정된(frozen) 음성 LLM의 은닉 표현으로부터 내부적인 상태 추정 및 액션 제어의 아날로그를 추출하여 대화 행동을 제어할 수 있는가 하는 점입니다. 구체적으로, 저자들은 백본(backbone)을 미세 조정하거나 심볼릭 정책을 사용하지 않고도, 모델이 특정 대화적 "움직임"(예: 인정하기, 확인하기, 질의하기, 설명하기, 답변하기)을 수행하도록 유도하고, 발언권을 양보하는 시점(turn-taking)을 제어할 수 있는지 조사합니다.

방법론: Latent-IM

저자들은 고정된 음성 LLM의 잔차 스트림(residual-stream) 활성화 값으로부터 상호작용 관리(IM)를 복구하는 프레임워크인 Latent-IM을 소개합니다. 이 프레임워크는 움직임 제어를 **선택(Selection)**과 **실현(Realization)**이라는 두 개의 결합된 문제로 분해합니다.

1. 선택(Selection): 다음 움직임 예측

경량화된 순환 제어기(recurrent controller)가 고정된 백본의 "사이드카(sidecar)" 역할을 수행합니다.

• 입력: 제어기는 각 대화 턴마다 백본의 특정 레이어($\ell^*_{ctrl}$)에서 평균 풀링(mean-pooled)된 잔차 스트림 활성화 값을 읽습니다.
• 아키텍처: 지속적인 스트리밍 상태를 유지하기 위해 선택적 상태 공간 모델(Selective SSM)을 활용하며, 현재 컨텍스트 표현 $x_t$를 기반으로 내부 상태 $z_t$를 업데이트합니다.
• 출력: 선형 헤드(linear head)는 다섯 가지 도메인 일반적 움직임(acknowledge, check, explain, query, reply)의 분류 체계로부터 다음 대화 움직임($\hat{y}_t$)을 예측합니다. 보조 헤드는 동시에 로그 응답 길이(log-response length)를 회귀 분석합니다.
• 학습: 백본은 고정된 상태에서, 제어기는 훈련 세트의 next-move 교차 엔트로피(cross-entropy) 및 smooth-L1 손실을 사용하여 학습됩니다.

2. 실현(Realization): 인과적 움직임 표현

움직임이 선택되면, 프레임워크는 **활성화 스티어링(activation steering)**을 사용하여 생성 과정에서 해당 움직임을 인과적으로 실현합니다.

• 방향 추정: 각 움직임 유형에 대해, 프레임워크는 잔차 스트림 내의 "움직임 방향" 벡터($v_m$)를 추정합니다. 이는 응답의 시작 시점과 이전 컨텍스트 토큰 사이의 활성화 차이로부터 유도됩니다. 이 방향은 클래스 분리도를 극대화하기 위해 훈련 데이터(MapTask)에 대해 피셔 판별 분석(PCA 및 Ledoit-Wolf 축소 적용)을 사용하여 계산됩니다.
• 스티어링 메커니즘: 추론 시, 선택된 움직임 방향은 생성되는 모든 토큰에 대해 특정 레이어($\ell^*_m$)에서 잔차 스트림에 주입됩니다:
  $$h^{\ell^*_m}(s) \leftarrow h^{\ell^*_m}(s) + \alpha c^{\ell^*_m} v^{\ell^*_m}_m$$
  여기서 $\alpha$는 무차원 스티어링 계수이며, $c$는 중앙값 잔차 노름(median residual norm)에 기반한 정규화 계수입니다.
• 턴 경계 제어(Turn-Boundary Control): 응답 길이를 제어하고 모델이 언제 발언권을 넘길지를 결정하기 위해 별도의 "턴 경계 방향"($v_{EOT}$)을 도출합니다. 양(+)의 스티어링 계수는 종료를 촉진하고, 음(-)의 계수는 응답을 연장합니다.
• 실현 인지 게이팅(Realization-Aware Gating): 백본이 자연스럽게 잘 수행하는 움직임(예: reply)이나 스티어링이 성능을 저하시킬 수 있는 움직임(예: 내용이 풍부한 explain의 길이를 줄이는 경우)에 대해서는 스티어링을 유보하는 게이팅 규칙을 적용합니다.

주요 기여

1. Latent-IM 프레임워크: 골드(gold) 움직임 레이블이나 백본 업데이트 없이 작동하는 엔드 투 엔드 대화 관리 시스템입니다. 이는 활성화 기반의 선택과 실현을 결합하여, 다른 제어 베이스라인보다 우수한 성능을 보이며 엔드 투 엔드 정확도 측면에서 지도 학습 기반 미세 조정(SFT)과 대등한 성능을 보여줍니다.
2. 경량 스트리밍 제어기: 경량 제어기가 고정된 LLM의 활성화 값으로부터 대화 상태를 복구할 수 있음을 입증하였으며, 세 가지 태스크 지향 데이터셋(MapTask, FindTask, CReST)에서 텍스트 기반 선택기보다 뛰어난 성능을 보였습니다.
3. 재사용 가능한 움직임별 방향: 대화적 액션을 인과적으로 실현하는 활성화 방향을 도출했습니다. MapTask에서 학습된 이 방향은 재추정 없이 FindTask와 CReST로 전이되었으며, 프롬프팅, 후보 선택(candidate-selection), 디코딩 타임 제어 베이스라인들을 능가했습니다.
4. 턴 경계 서브스페이스(Turn-Boundary Subspace): 응답 길이를 인과적으로 제어할 수 있는 별도의 방향을 식별하여, 평균 응답 길이를 단조롭게 변화(71.3단어에서 10.4단어까지)시킬 수 있으며, 실현 인지 게이팅과 통합하여 턴 테이킹(turn-taking)을 조절할 수 있게 합니다.

결과

프레임워크는 세 가지 멀티모달 언어 모델(Qwen2.5-Omni, Qwen3-Omni, Phi-4-Multimodal)을 대상으로 세 가지 데이터셋에서 평가되었습니다.

• 선택 정확도: 스트리밍 활성화 제어기는 평균 차기 움직임 선택 정확도 0.60을 달성하여, 텍스트 기반 선택기(예: TF-IDF + logistic, 0.48) 및 퓨샷(few-shot) LLM 분류기를 능가했습니다. 이는 MapTask 데이터셋에서 골드 히스토리를 사용한 마르코프 베이스라인(0.65)에 근접한 수치입니다.
• 오라클 실현(Oracle Realization): 골드 타겟 움직임이 제공되었을 때, Latent-IM은 가장 강력한 베이스라인인 DeAL보다 10.4 퍼센트 포인트 높은 **60.0%**의 평균 정확도를 기록하며 움직임 실현 성능을 개선했습니다.
• 엔드 투 엔드 제어: 완전 자율 설정(추론 시 골드 레이블 없음)에서 Latent-IM은 평균 엔드 투 엔드 움직임 정확도 **46.9%**를 달성하여, SFT(46.6%)를 약간 상회하였고, 스티어링이 적용되지 않은 백본(34.4%) 및 프롬프팅 베이스라인을 크게 앞질렀습니다.
• 길이 제어: 턴 경계 방향을 따른 스티어링을 통해 유창성을 유지하면서도 응답 길이를 71.3단어에서 10.4단어로 감소시키는 등 단계적인 길이 제어가 가능했습니다.

의의 및 주장

본 논문은 고정된 음성 LLM의 활성화 값이 국소적 상호작용 관리를 위한 관찰 가능하고 인과적으로 제어 가능한 인터페이스 역할을 한다고 주장합니다. 대화적 움직임의 선택과 실현을 분리함으로써, Latent-IM은 파라미터 업데이트 없이 현대적 LLM 내에서 고전적인 상태-액션 분해를 복구합니다.

저자들은 이 접근 방식이 레이블이 필요 없는 모듈형 추론 파이프라인을 제공하며, 직접적인 지도 학습 미세 조정(SFT)과 대등한 성능을 낼 수 있음을 강조합니다. 또한, 현재의 제어기는 인간의 움직임을 모방하지만, 이 프레임워크는 향에 대한 모방 가능성(imitation likelihood)이 아닌 예측된 태스크 효용(task utility)에 기반하여 움직임을 선택하는 미래의 목표 조건부 정책(goal-conditioned policies)을 지원하도록 설계되었다고 언급합니다. 이 연구는 대화의 "상태"가 잔차 스트림 내에 선형적으로 존재하며, 프롬프팅을 통해 끌어내는 것보다 활성화 값을 통해 읽어내는 것이 더 신뢰할 수 있다는 점을 시사하며, 음성 대화 시스템에서 LLM의 행동을 제어하는 새로운 경로를 제시합니다.