이 논문은 ICLR 2026에 발표된 **"From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training"**으로, 텍스트와 오디오를 통합적으로 처리하는 멀티모달 대규모 언어 모델 (MLLM) 의 새로운 아키텍처를 제안합니다. 저자들은 기존의 자동 회귀 (AR) 방식이 텍스트와 오디오 생성의 본질적인 의존성 구조 차이를 간과하고 있다고 지적하며, 이를 해결하기 위해 **텍스트는 AR, 오디오는 비자동 회귀 (NAR) 확산 (Diffusion)**을 결합한 하이브리드 프레임워크인 **Text-to-Talk (TtT)**를 소개합니다.

아래는 논문의 핵심 내용을 기술적으로 요약한 것입니다.

1. 문제 제기 (Problem Statement)

기존의 말하기 - 듣기 (Speech-to-Speech, S2S) 대화 시스템은 주로 ASR(음성 인식) → LLM(응답 생성) → TTS(음성 합성) 의 캐스케이드 파이프라인을 사용하거나, 단일 모델 내에서 텍스트와 오디오 토큰을 모두 자동 회귀 (Autoregressive, AR) 방식으로 생성하는 방식을 취해 왔습니다. 그러나 저자들은 이 접근법에서 다음과 같은 근본적인 불일치 (Mismatch) 가 존재한다고 지적합니다.

• 텍스트의 의존성 (Target-Target): 텍스트 생성은 이전 토큰에 강하게 의존하는 인과적 (Causal) 구조를 가집니다. 즉, $P(x_t | x_{<t})$ 형태이며, 순차적 생성이 필수적입니다.
• 오디오의 의존성 (Source-Target): 오디오 생성은 주로 **원본 텍스트 (Source)**에 의존하며, 이전 오디오 토큰에 대한 의존성은 상대적으로 약합니다. 오디오 토큰은 소스 텍스트가 주어졌을 때 병렬적으로 생성될 수 있는 특성을 가집니다.
• 현재의 한계: 단일 AR 목적 함수를 사용하여 텍스트와 오디오를 모두 생성하는 기존 모델들은 오디오의 병렬 생성 가능성을 무시하고 불필요한 순차적 제약을 부과합니다. 이는 학습 동역학을 저하시키고 오류 전파 (Error Propagation) 를 심화시킵니다.

2. 제안 방법론: Text-to-Talk (TtT)

TtT 는 단일 Transformer 아키텍처 내에서 텍스트는 AR, **오디오는 NAR(비자동 회귀) 이산 확산 (Discrete Diffusion)**을 통합하는 하이브리드 생성 모델을 제안합니다.

2.1 하이브리드 생성 패러다임

• 텍스트 생성 (AR): 텍스트 스패인은 표준적인 왼쪽에서 오른쪽 (Left-to-Right) 인과적 AR 손실 (Cross-Entropy) 로 학습됩니다.
• 오디오 생성 (NAR Diffusion): 오디오 스패인은 **흡수성 이산 확산 (Absorbing Discrete Diffusion)**을 기반으로 합니다. 이는 마스킹된 토큰을 복원하는 과정으로, "어떤 순서로든 (Any-order)" 토큰을 예측할 수 있는 특성을 가집니다.
  • 이론적으로 흡수성 확산은 임의의 순서 AR (Any-Order AR, AO-ARM) 목적 함수와 수학적으로 동치이며, 이는 오디오 생성 시 병렬 처리를 가능하게 합니다.

2.2 통합 학습 목적 함수

텍스트와 오디오의 의존성 구조 차이를 반영하기 위해 부분 순서 (Partial Order) 기반의 분해 방식을 도입했습니다.

• 텍스트 토큰은 인과적 순서를 따르고, 오디오 토큰은 동일한 스패인 내에서는 순서 제약이 없는 안티체인 (Antichain) 으로 간주됩니다.
• 최종 학습 목적 함수 ($L_{Unified}$) 는 텍스트의 AR 손실과 오디오의 NAR 확산 손실의 합이며, 이는 이론적으로 원하는 결합 분포의 음의 로그 가능도 (Negative Log-Likelihood) 에 대한 **상한 (Upper Bound)**을 제공합니다.

2.3 훈련 - 테스트 불일치 해결 전략 (Training Strategies)

하이브리드 학습에서 발생하는 훈련 (마스킹된 오디오) 과 추론 (완전한 오디오) 간의 불일치를 해결하기 위해 세 가지 전략을 도입했습니다.

1. 배치 단위 AR & NAR 목적 함수 혼합 (BANOM): 일부 샘플에서는 확산 노이즈 추가를 건너뛰고 텍스트 토큰만 AR 손실로 학습하여, 추론 시와 유사한 깨끗한 오디오 컨텍스트를 텍스트가 관찰하도록 합니다.
2. 접두사 보존 마스킹 (PPM): 이전 오디오 스패인은 마스킹하지 않고, 현재 생성 중인 스패인에만 NAR 손실을 적용합니다. 이는 추론 시 이전 스패인이 완전히 생성된 상태라는 조건을 훈련 시 반영합니다.
3. 확률적 스패인 자르기 (SST): 오디오 토큰 수가 텍스트보다 훨씬 많아 고정된 길이의 스패인이 형성되는 편향을 해결합니다. 마지막 오디오 스패인을 무작위로 자름으로써 모델이 위치 정보 대신 의미적 내용에 기반하여 종료 토큰 ($\langle EOA \rangle$) 을 예측하도록 강제합니다.

2.4 모드 인식 어텐션 메커니즘 (Modality-Aware Attention)

• 텍스트: 엄격한 인과적 어텐션 (Causal Attention).
• 오디오: 스패인 내에서는 양방향 (Bidirectional) 어텐션을 허용하여 병렬 생성을 지원하고, 이전 스패인 및 프롬프트에는 인과적으로 연결됩니다.

3. 주요 실험 결과 (Results)

저자들은 Audio-QA, 자동 음성 인식 (ASR), 자동 오디오 캡션 (AAC), 그리고 종합적인 S2S 벤치마크인 URO-Bench에서 TtT 를 평가했습니다.

• 성능 비교: TtT 는 순수 AR 기반 모델 (Qwen2.5 등) 과 순수 NAR 기반 모델 모두를 일관되게 능가했습니다.
  • Audio-QA: 3B 파라미터 모델에서 기존 AR 모델 대비 점수가 크게 향상되었습니다.
  • ASR: 단어 오류율 (WER) 에서 기존 AR 모델 대비 40~50 포인트 이상의 절대적 개선을 보였습니다. 이는 오디오의 Source-Target 의존성을 NAR 방식으로 모델링한 효과로 해석됩니다.
  • URO-Bench: 효율적인 모델 (≤3B) 카테고리에서 최상위 성능을 기록했으며, 7B~9B 규모의 대형 모델들과도 경쟁 가능한 성능을 보였습니다.
• Ablation Study: 제안된 세 가지 훈련 전략 (BANOM, PPM, SST) 중 하나라도 제거할 경우 성능이 현저히 저하됨을 확인하여, 각 전략이 하이브리드 학습의 안정성과 성능에 필수적임을 입증했습니다.
• 프리트레이닝 효과: 대규모 멀티모달 프리트레이닝을 거친 후 TtT 를 적용하면 (Pretrain+TtT), 성능이 더욱 향상되어 7B 모델들을 능가하는 경우도 있었습니다.

4. 핵심 기여 (Key Contributions)

1. 이론적 통찰: 텍스트와 오디오 간의 **의존성 구조 비대칭성 (Asymmetry)**을 정립하고, 이를 해결하기 위해 AR 과 NAR 확산을 통합한 이론적 프레임워크를 제시했습니다.
2. 하이브리드 아키텍처: 단일 Transformer 내에서 AR 텍스트 생성과 NAR 오디오 확산을 원활하게 통합하여, 추론 시 텍스트는 순차적, 오디오는 병렬적으로 생성되도록 설계했습니다.
3. 훈련 전략: 하이브리드 학습의 고유한 훈련 - 테스트 격차를 해소하기 위한 세 가지 실용적이고 효과적인 전략을 제안했습니다.
4. 성능 입증: 다양한 벤치마크에서 강력한 베이스라인을 능가하는 성능을 입증하며, S2S 시스템을 구축할 때 모달리티 인식 (Modality-Aware) 설계의 중요성을 강조했습니다.

5. 의의 및 결론

이 논문은 멀티모달 생성 모델의 설계에 있어 "모든 모달리티에 동일한 AR 방식을 적용한다"는 기존 관행에 도전합니다. 텍스트와 오디오는 본질적으로 다른 생성 역학을 가지므로, 이를 각각의 특성에 맞는 생성 방식 (텍스트는 AR, 오디오는 NAR) 으로 처리하는 것이 더 효율적이고 정확한 결과를 낳음을 증명했습니다.

TtT 프레임워크는 **낮은 지연 시간 (Low Latency)**과 높은 생성 품질을 동시에 달성할 수 있는 새로운 방향성을 제시하며, 특히 실시간 대화형 AI 시스템의 발전에 중요한 기여를 할 것으로 기대됩니다. 코드와 데이터는 공개되어 있습니다.