Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition

이 논문은 저지연 스트리밍 환경에서도 비스트리밍 및 스트리밍 자동 음성 인식 (ASR) 을 하나의 아키텍처로 통합하고, 추가적인 지연 없이 정확도를 향상시키는 Uni-ASR 프레임워크를 제안합니다.

핵심

이 논문은 **'Uni-ASR'**이라는 새로운 인공지능 기술을 소개합니다. 쉽게 말해, **"한 번의 훈련으로 '완벽한 번역'과 '실시간 통역'을 모두 해내는 똑똑한 비서"**를 만든 이야기입니다.

기존의 기술들은 보통 두 가지 역할이 분리되어 있었습니다.

1. 완벽한 번역 (비스트리밍): 모든 말을 다 듣고 나서 천천히, 정확하게 정리하는 방식 (예: 녹음된 파일을 분석할 때).
2. 실시간 통역 (스트리밍): 사람이 말하는 대로 즉시 자막을 띄우는 방식 (예: 유튜브 실시간 자막).

기존에는 이 두 가지를 위해 서로 다른 모델을 따로 만들어야 했거나, 실시간 기능을 넣으려면 정확도가 떨어지는 문제가 있었습니다. 하지만 Uni-ASR은 이 두 가지를 하나로 통합했습니다.

이 기술을 이해하기 위해 세 가지 비유를 들어보겠습니다.

---

1. "한 번에 두 마리 토끼를 잡는" 통합 모델

기존의 방식은 완벽한 번역가와 빠른 통역사를 따로 고용해야 했습니다.

• 완벽한 번역가: 모든 말을 듣고 나서 "아, 이 문장은 이렇게 해석해야겠구나"라고 생각하며 아주 정확한 글을 씁니다. 하지만 시간이 걸립니다.
• 빠른 통역사: 사람이 말하는 대로 즉시 적어내지만, 앞뒤 문맥을 다 못 봐서 가끔 실수를 하거나 뒤늦게 고쳐야 합니다.

Uni-ASR은 이 두 사람을 합쳐서 **한 명의 '슈퍼 비서'**로 만들었습니다. 이 비서는 상황에 따라 자동으로 모드를 바꿉니다.

• "지금 녹음 파일 분석이 필요해?" → 완벽한 번역 모드로 전환 (정확도 100% 목표).
• "지금 실시간 회의 중이야? 빨리 적어줘!" → 실시간 통역 모드로 전환 (지연 시간 최소화).

이 모델은 구조를 바꾸지 않고도 두 가지 일을 모두 잘해냅니다. 마치 스마트폰 카메라가 '프로 모드'와 '자동 모드'를 한 기기로 모두 지원하는 것과 비슷합니다.

2. "조각난 퍼즐"을 맞추는 훈련 방식 (Context-Aware Training)

실시간 통역의 가장 큰 난관은 **'조각난 정보'**입니다. 사람이 말을 할 때, AI 는 문장이 다 끝나기 전에 앞부분만 듣고 추측해야 합니다. 이때 AI 는 "아, 이 단어는 나중에 바뀔 수도 있겠지?"라고 생각하며 잠시 기다렸다가, 다음 단어가 들어오면 이전 단어를 다시 고쳐야 합니다.

기존 AI 는 훈련할 때 "문장이 다 끝난 상태"만 봤기 때문에, "아, 앞부분을 다시 고쳐야겠다"는 상황을 제대로 배우지 못했습니다.

Uni-ASR은 이 문제를 해결하기 위해 특별한 훈련을 시켰습니다.

• 비유: 마치 퍼즐을 맞추는 연습을 할 때, 조각이 하나씩 들어오는 상황을 의도적으로 만들어주는 것입니다.
• "이 조각이 들어오면, 앞쪽 조각이 잘못됐을 수 있으니 다시 맞춰봐"라고 가르친 것입니다.
• 이를 통해 AI 는 실시간으로 들어오는 말 조각을 들으면서, "아, 앞부분을 조금 수정해야겠다"는 것을 자연스럽게 학습하게 됩니다.

3. "되돌아가서 다시 쓰는" 지능형 수정 전략 (Fallback Decoding)

실시간 통역 중에는 가끔 AI 가 "이건 이렇게 말할 거야!"라고 확신하고 단어를 내보내지만, 다음 문장을 듣고 나면 "아, 아니야! 앞부분이 달라져야 해!"라고 깨닫는 경우가 있습니다.

기존 시스템은 이렇게 되면 **지연 시간 (Latency)**이 늘어나거나, 아예 수정을 못 하고 실수를 저지르곤 했습니다.

Uni-ASR은 '되돌아가서 다시 쓰는 (Fallback)' 전략을 사용합니다.

• 비유: 실시간 자막을 달 때, AI 가 "안녕하세요"라고 띄웠는데, 다음 말을 듣고 "아, '안녕하세요'가 아니라 '안녕하십니까'였구나!"라고 깨닫습니다.
• 이때, AI 는 아직 화면에 안 나온 상태에서 바로 앞 단어를 지우고 올바른 단어로 다시 채웁니다.
• 사용자는 이 과정을 거의 느끼지 못하며, AI 는 지연 시간을 늘리지 않고 정확도를 높입니다. 마치 글쓰기 프로그램의 자동 완성이 문맥을 보고 단어를 바로바로 고쳐주는 것과 같습니다.

---

결론: 왜 이것이 중요한가요?

이 논문은 "정확한 것"과 "빠른 것"을 서로 trade-off(상충 관계) 로 보지 않고, 둘 다 잡을 수 있다는 것을 증명했습니다.

• 기존: 빠른 건 느리고, 정확한 건 느림.
• Uni-ASR: 빠른 것도 빠르고, 정확한 것도 정확함.

이 기술이 적용되면, 실시간 회의 자막, 생방송 번역, 음성 비서 등 지연 없이, 하지만 실수 없이 말을 알아듣는 세상이 열릴 것입니다. 마치 한 번의 훈련으로 모든 상황에 적응하는 만능 비서가 우리 곁에 온 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

최근 자동 음성 인식 (ASR) 분야는 대규모 언어 모델 (LLM) 과의 심층 통합을 통해 정확도가 획기적으로 향상되었습니다 (예: Seed-ASR, Qwen3-ASR 등). 그러나 이러한 LLM 기반 ASR 시스템을 저지연 (low-latency) 스트리밍 환경 (실시간 자막 등) 에 배포하는 것은 여전히 큰 도전 과제입니다.

기존의 스트리밍 접근 방식은 크게 두 가지로 나뉘며 각각 한계가 존재합니다:

1. 비스트리밍 모델의 점진적 추론 (Incremental Inference): 기존 비스트리밍 모델에 hold-n, wait-k 등의 기법을 적용하여 부분 추측을 생성합니다. 하지만 이는 훈련과 추론 간의 불일치 (Training-Inference Mismatch) 를 유발하여 계산 중복과 예측 불가능한 지연 시간 스파이크를 초래합니다.
2. 전용 스트리밍 모델 (Native Streaming Models): Transducer-Llama, MoCha-ASR 등 전용 아키텍처를 구축합니다. 그러나 LLM 을 보조적으로만 사용하거나, 실험 검증이 소규모 모델에 국한되거나, 추론 파이프라인이 과도하게 복잡해지는 등의 문제가 있습니다.

2. 제안 방법 (Methodology)

이 논문은 Uni-ASR을 제안하며, 이는 단일 아키텍처 내에서 **비스트리밍 (Non-Streaming)**과 스트리밍 (Streaming) 추론을 모두 원생 (Native) 으로 지원하는 통합 LLM 기반 프레임워크입니다.

2.1. 모델 아키텍처

• 구성 요소: 오디오 인코더 (Conformer), 오디오 어댑터 (선형 레이어), LLM 기반 디코더 (Qwen3-1.7B).
• 특징: 오디오 인코더는 비스트리밍과 스트리밍을 모두 지원하도록 전역 어텐션과 동적 청크 (dynamic chunk) 어텐션을 동시에 활용합니다.

2.2. 통합 훈련 패러다임 (Joint Training Paradigm)

단일 모델이 두 가지 모드를 모두 학습할 수 있도록 공동 훈련 (Joint Training) 방식을 도입했습니다.

• 비스트리밍 (NS): 전체 발화를 입력받아 교차 엔트로피 손실을 최소화합니다.
• 표준 스트리밍 (SS): 외부 강제 정렬 (Forced Alignment) 을 사용하여 음성 청크와 텍스트를 교차 배치 (interleaved) 합니다. 각 청크는 이전 세그먼트의 컨텍스트 메모리를 전달받습니다.
• 컨텍스트 인식 스트리밍 (CS): 스트리밍 환경의 실제 제약 조건을 훈련에 반영합니다. 각 청크의 마지막 텍스트 토큰을 <pad>로 대체하고, <eos> 를 생략하여 모델이 청크 간 컨텍스트 불연속성을 학습하도록 유도합니다.

2.3. 최신 토큰 폴백 디코딩 전략 (Latest-Token Fallback Decoding)

스트리밍 시 청크 경계에서 발생하는 모호성을 해결하기 위해 새로운 디코딩 전략을 제안했습니다.

• 원리: 각 음성 청크의 마지막 텍스트 토큰을 임시로 출력 (emit) 하되, 다음 청크가 처리될 때 해당 토큰을 재해석 (re-decoding) 합니다.
• 훈련 - 추론 일치성 확보: 훈련 시 마지막 토큰을 마스킹하여 모델이 "누락된 토큰을 컨텍스트를 통해 보충하는 능력"을 학습하게 합니다. 추론 시에는 이전 KV 캐시를 폐기하고 <pad>로 교체하여 현재 컨텍스트 윈도우 내에서 토큰을 재생성함으로써 지연 시간을 최소화하면서 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처: 별도의 모델 변형 없이 단일 LLM 기반 아키텍처로 비스트리밍과 스트리밍을 모두 지원하는 최초의 통합 프레임워크 중 하나입니다.
2. 컨텍스트 인식 훈련 (Context-Aware Training): 스트리밍 추론 시 발생하는 실제 제약 조건 (청크 간 의존성) 을 훈련 데이터에 명시적으로 반영하여 훈련 - 추론 불일치를 해소했습니다.
3. 폴백 디코딩 전략: 추가적인 지연 시간 없이 스트리밍 정확도를 향상시키는 효율적인 디코딩 알고리즘을 제안했습니다.
4. 성능 검증: 오픈 소스 벤치마크에서 SOTA 비스트리밍 모델과 경쟁하는 정확도를 유지하면서도, 다양한 지연 시간 제약 하에서 우수한 스트리밍 성능을 입증했습니다.

4. 실험 결과 (Results)

• 비스트리밍 성능: AISHELL, LibriSpeech, FLEURS 등 주요 벤치마크에서 Qwen3-ASR, FireRedASR 등 기존 SOTA 모델과 경쟁력 있는 정확도 (CER/WER) 를 달성했습니다.
• 스트리밍 성능:
  • 전용 스트리밍 모델 (Speech ReaLLM, MoCha-ASR 등) 보다 우수한 성능을 보였습니다.
  • Chunk Length 1000ms 기준: AISHELL 에서 2.15% (CER), LibriSpeech 에서 2.44% (WER) 의 오류율을 기록했습니다.
  • 폴백 전략 효과: 추론 전략으로 'Latest-Token Fallback'을 적용했을 때, 짧은 청크 길이 (320ms) 에서 평균 WER 을 약 19.88% 까지 감소시키는 효과를 입증했습니다.
• 효율성: 반복적인 비스트리밍 디코딩을 수행하는 기존 방식에 비해 계산 오버헤드가 현저히 낮습니다.

5. 의의 및 결론 (Significance)

Uni-ASR 은 **정확도 (비스트리밍)**와 효율성 (스트리밍) 사이의 트레이드오프를 해결하는 실용적인 솔루션을 제공합니다.

• 자원 효율성: 별도의 모델 유지 관리 없이 하나의 모델로 다양한 배포 시나리오 (오프라인 처리부터 실시간 스트리밍까지) 를 지원할 수 있어 시스템 복잡도를 낮춥니다.
• 기술적 진보: LLM 기반 ASR 의 확장성을 입증하며, 훈련과 추론의 일관성을 확보하는 새로운 패러다임을 제시했습니다.
• 실무 적용: 저지연이 요구되는 실시간 자막 생성, 음성 비서 등 다양한 애플리케이션에 즉시 적용 가능한 강력한 기반 기술로 평가됩니다.

이 연구는 LLM 기반 ASR 이 단순한 정확도 향상을 넘어, 실제 실시간 환경에서도 안정적으로 작동할 수 있는 통합된 방법론을 정립했다는 점에서 의의가 큽니다.