이 논문은 **음성 대규모 언어 모델 (Speech LLMs) 의 추론 능력 격차 (Modality Reasoning Gap)**를 해결하기 위해 제안된 TARS (Trajectory Alignment for Reasoning in Speech) 프레임워크에 대한 연구입니다. 텍스트 기반 입력에 비해 음성 입력 시 추론 성능이 현저히 떨어지는 문제를 인지하고, 이를 강화 학습 (Reinforcement Learning) 기반의 궤적 정렬 (Trajectory Alignment) 기법으로 해결한 것이 핵심입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 모달리티 추론 격차 (Modality Reasoning Gap): 최근 Speech LLM 은 ASR(자동 음성 인식), 번역, 음성 QA 등 다양한 작업에서 성과를 내고 있으나, 복잡한 추론 작업 (Reasoning) 에서 음성 입력에 대한 성능이 텍스트 입력에 비해 현저히 낮습니다.
• 원인:
  • 표현 드리프트 (Representational Drift): Transformer 레이어를 거치며 음성 기반의 은닉 상태 (Hidden States) 가 텍스트 기반의 상태와 점차 멀어지는 현상.
  • 행동 편차 (Behavioral Deviation): 긴 추론 과정 (Long-chain reasoning) 에서 발생하는 오류가 누적되어 최종 답변이 텍스트 기준과 달라지는 현상.
• 기존 방법의 한계:
  • 입력 수준 융합: 어댑터 학습 등을 통해 입력 표현을 맞추려 하지만, Transformer 내부의 드리프트를 막지 못함.
  • 출력 수준 지도 학습 (SFT/KD): 텍스트 정답을 강제로 모방하도록 학습시키지만, 이는 오프-폴리시 (Off-policy) 방식이라 단일 토큰 오류 시 모델이 비정상 상태 (Out-of-distribution) 로 빠지는 노출 편향 (Exposure Bias) 문제가 발생함.

2. 제안 방법: TARS (Methodology)

저자는 온-폴리시 (On-policy) 강화 학습 프레임워크를 도입하여 음성 추론 궤적을 텍스트 추론 궤적에 정렬하는 TARS를 제안했습니다.

A. 비대칭 보상 설계 (Asymmetric Reward Design)

기존의 단순 정확도 보상 외에, 텍스트와 음성의 **궤적 (Trajectory)**을 정렬하기 위해 두 가지 밀도 높은 (Dense) 보상 신호를 결합합니다.

1. 표현 정렬 보상 (Representation Alignment, $R_{rep}$):
   • 목적: 레이어별 은닉 상태의 유사성을 측정하여 내부 표현 드리프트를 줄임.
   • 방식: 음성 생성 결과와 같은 그룹 내 텍스트 생성 결과 (참조) 간의 레이어별 Cosine 유사도를 계산.
2. 행동 정렬 보상 (Behavior Alignment, $R_{beh}$):
   • 목적: 최종 출력의 의미적 일관성을 보장.
   • 방식: 생성된 음성 응답과 텍스트 참조 응답의 시맨틱 임베딩 (Embedding) 간 유사도를 계산.

B. 강화 학습 프레임워크 (GRPO 기반)

• GRPO (Group Relative Policy Optimization): DeepSeek-R1 등에서 사용되는 그룹 상대적 정책 최적화를 활용합니다.
• 모달리티별 정규화 (Modality-Specific Normalization): 텍스트와 음성의 기본 보상 (Base Reward) 수준이 다르면 음성 학습이 억제될 수 있으므로, 각 모달리티 내에서만 이득 (Advantage) 을 정규화하여 학습의 안정성을 확보합니다.
• 동적 참조 (Moving Reference): 학습 과정에서 현재 정책이 생성한 텍스트 응답을 참조 (Teacher) 로 사용하여, 텍스트 추론 능력이 향상됨에 따라 음성 궤적도 함께 진화 (Co-evolve) 하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 아키텍처 변경 없는 궤적 정렬: 모델 구조를 변경하지 않고, 온-폴리시 강화 학습을 통해 음성 조건부 추론 궤적을 텍스트 조건부 궤적에 정렬하는 새로운 프레임워크 제안.
2. 비대칭 밀도 보상 (Asymmetric Dense Reward): 내부 표현 드리프트를 줄이는 $R_{rep}$과 외부 의미 일관성을 강제하는 $R_{beh}$를 결합한 상호 보완적 보상 설계.
3. 성능 기록 달성: 7B 규모 Speech LLM 들 중 MMSU 및 OBQA 벤치마크에서 SOTA(State-of-the-Art) 성능 달성.

4. 실험 결과 (Results)

• 벤치마크: VoiceBench 기반의 MMSU (다양한 도메인 지식 및 추론) 와 OBQA (초등 과학 및 상식) 에서 평가.
• 성능:
  • Qwen2.5-Omni (7B): 평균 음성 정확도 76.84% 달성 (기존 최상위 방법 대비 우위). MRR (Modality Recovery Rate) 98.89% 달성 (텍스트 성능의 98.89% 회복).
  • Phi-4-MM (7B): 평균 음성 정확도 79.80% 달성. **MRR 100.45%**로, 오히려 텍스트 성능 (78.39%) 을 능가하는 결과를 기록.
• 비교: 기존 SFT, DPO, 지식 증류 (KD), 표준 GRPO 등 모든 베이스라인을 압도하며, 특히 표현 정렬 ($R_{rep}$) 과 행동 정렬 ($R_{beh}$) 을 모두 사용할 때 최적의 성능을 보임.
• 추가 분석:
  • 레이어별 분석: 중간 레이어 (Middle layers) 에서 표현 정렬 효과가 가장 크며, 전 레이어에 적용 시 가장 효과적임.
  • 텍스트 능력 보존: 음성 정렬이 텍스트 추론 능력을 해치지 않으며, 오히려 상호 보완적으로 텍스트 성능도 향상됨.
  • 실제 음성 및 오픈 엔드 태스크: 실제 인간 음성 (SD-QA) 과 억양/리듬 등 부가적 언어적 특징 (Paralinguistic cues) 을 보존하는 일반화 능력도 입증됨.

5. 의의 및 결론 (Significance)

이 논문은 Speech LLM 의 핵심 병목 현상인 **'추론 격차'**를 해결하기 위해, 단순한 입력/출력 매칭을 넘어 모델 내부의 추론 과정 (Reasoning Trajectory) 자체를 정렬해야 함을 증명했습니다.

• 기술적 의의: 강화 학습을 통해 모델이 스스로 오류를 수정하고 (Self-correction), 텍스트의 논리적 흐름을 음성 모달리티에 자연스럽게 이식하는 방법을 제시했습니다.
• 실용적 의의: 7B 규모의 경량 모델로도 고성능을 낼 수 있음을 보여줌으로써, 실시간 음성 대화 시스템의 추론 능력을 획기적으로 개선할 수 있는 길을 열었습니다.

결론적으로, TARS 는 음성 LLM 이 텍스트 LLM 과 동등한 추론 능력을 갖추도록 하는 데 있어 표현 공간의 정렬과 행동 일관성이 필수적임을 입증한 중요한 연구입니다.