UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction

1. 문제 정의 (Problem)

전통적인 대화형 AI 시스템은 연쇄형 (Cascaded) 파이프라인 구조를 따릅니다. 이는 음향 에코 제거 (AEC), 잡음 제거 (ANS), 음성 활동 감지 (VAD), 화자 인식 (SR), 턴 탐지 (TD) 와 같은 전처리 모듈들을 거쳐야만 뒤쪽의 ASR(음성인식), LLM(대화), TTS(음성합성) 로 입력이 전달되는 방식입니다.

이러한 구조는 풀-듀플렉스 (Full-Duplex, 실시간 양방향 대화) 환경에서 다음과 같은 치명적인 한계를 가집니다:

• 누적 지연 (Accumulated Latency): 각 모듈을 거치면서 지연이 쌓여 인간이 자연스럽다고 느끼는 200~500ms 이내의 응답 시간을 달성하기 어렵습니다.
• 오류 전파 (Error Propagation): 앞단 모듈 (예: VAD) 의 오작동이 뒤단 모델 (ASR, LLM) 로 전파되어 전체 시스템 신뢰도를 떨어뜨립니다.
• 비선형 왜곡: 전통적인 신호 처리 기반의 잡음 제거 알고리즘은 약한 음성 성분을 손상시키거나 스펙트럼 구조를 파괴하여 인식 성능을 저하시킵니다.
• 할당된 최적화 부족: 각 모듈이 독립적으로 최적화되어 화자 식별, 턴 전환, 문맥적 의도 등 작업 간 의존성을 활용하지 못합니다. 예를 들어, 사용자가 생각하며 내는 숨소리나 배경 소음을 '중단 신호'로 잘못 인식하여 불필요한 인터럽트가 발생하는 문제가 있습니다.

최근 등장한 GPT-4o 와 같은 엔드 - 투 - 엔드 (End-to-End) 오디오 LLM 들은 음성 이해와 생성을 통합했지만, 대부분 하프 - 듀플렉스 (Half-duplex) 방식에 의존하며 여전히 외부 VAD 나 TD 모듈이 필요하여 전술한 문제들을 완전히 해결하지 못했습니다.

2. 방법론 (Methodology)

저자들은 전처리 단계를 별도의 모듈이 아닌 LLM 내부의 학습 가능한 구성 요소로 통합한 UAF (Unified Audio Front-end LLM) 를 제안합니다.

2.1 핵심 아이디어

• 단일 시퀀스 예측 문제 재정의: VAD, SR, ASR, TD, QA(질문 답변) 등 다양한 전단 작업을 단일 자동 회귀 (Auto-regressive) 시퀀스 예측 문제로 변환합니다.
• 입력: 고정된 시간 구간 (예: 600ms) 의 스트리밍 오디오 청크와 참조 오디오 프롬프트 (Reference Audio Prompt) 를 입력받습니다.
  • 참조 오디오: 목표 화자의 음성 (3~5 초) 을 입력하여 모델이 특정 화자의 목소리에만 집중하도록 유도합니다.
• 출력: 의미론적 콘텐츠 (ASR 텍스트, 답변) 와 시스템 제어 신호 (인터럽트, 턴 종료 등) 를 인코딩한 이산 토큰 (Discrete Tokens) 시퀀스를 생성합니다.

2.2 모델 아키텍처

• 구조: Qwen3-Omni 를 기반으로 한 "Encoder-Projector-LLM" 구조를 사용합니다.
  • Audio Encoder: 원시 오디오 (참조 및 스트리밍 청크) 를 고차원 음향 특징으로 변환합니다.
  • Projector: 음향 특징을 LLM 의 의미 임베딩 공간에 매핑합니다.
  • LLM Backbone: Qwen3-Omni 의 'Thinker'를 사용하며, LoRA(Low-Rank Adaptation) 를 통해 효율적으로 파인튜닝합니다.
  • Head:
    • LM Head: ASR 결과와 대화 응답 생성.
    • VAD Head: 현재 청크에 목표 화자의 음성이 있는지 감지 (<SIL>, <TALK>).
    • Turn Head: 턴 전환 상태 예측 (<Complete>, <InComplete>, <Interrupt>, <Backchannel>).
• 학습 전략:
  • 3 단계 학습:
    1. VAD/SR/ASR 사전 학습: 6,000 시간 데이터로 목표 화자 인식 및 음성 인식 능력 강화.
    2. TD/QA 정렬: 1,000 시간 데이터로 턴 탐지 및 대화 응답 생성 능력 학습.
    3. 전 작업 통합 학습: 모든 작업을 결합하여 복잡한 음향 환경에서 언어 및 음향 정보의 통합 최적화 수행.

2.3 데이터 생성 파이프라인

실제 풀-듀플렉스 데이터가 부족하므로, 실제 녹음 데이터와 대규모 합성 데이터를 결합한 하이브리드 파이프라인을 구축했습니다.

• 합성 데이터: TTS(CosyVoice) 를 사용하여 화자 일관성을 유지한 다중 턴 대화를 생성하고, MUSAN 데이터셋의 잡음, VoxCeleb 의 간섭 음성, 시스템 에코 등을 혼합하여 현실적인 시나리오 (예: 바지인, 중첩 발화) 를 구현합니다.
• 정밀 타임스탬프: Paraformer-Zh 모델을 기반으로 음향 분석을 수행하여 단어 수준의 정밀한 타임스탬프를 추출하고, 이를 기반으로 VAD 상태 토큰을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 오디오 프론트엔드 LLM: VAD, SR, ASR, TD, QA 를 단일 LLM 프레임워크 내에서 통합한 최초의 모델 제안.
2. 참조 오디오 프롬프트 기반 타겟 화자 고정: 외부 VAD 없이도 참조 음성을 통해 목표 화자의 목소리만 추출하고 에코/간섭음을 효과적으로 억제하는 능력 입증.
3. 지능형 인터럽트 및 턴 관리: 단순한 에너지 감지가 아닌, 의미론적 문맥과 음향 신호를 결합하여 <Backchannel>, <Interrupt> 등 미세한 대화 신호를 100% 에 가깝게 정확히 감지.
4. 엔드 - 투 - 엔드 최적화: 전단 처리를 LLM 의 내재적 능력으로 통합하여 지연 시간을 줄이고 오류 전파를 방지하는 새로운 패러다임 제시.

4. 실험 결과 (Results)

UAF 는 다양한 벤치마크에서 기존 SOTA(State-of-the-Art) 모델들을 압도하는 성능을 보였습니다.

• VAD (음성 활동 감지): 내부 테스트셋에서 F1 점수 97.57% 를 기록 (FSMN-VAD, Silero-VAD 등 기존 모델 대비 우수). 특히 재현율 (Recall) 이 97.99% 로 매우 높아 인터럽트 감지에 탁월함.
• ASR (음성 인식):
  • 표준 ASR: AISHELL-2 에서 WER 2.43 달성 (Kimi-Audio 등 최신 멀티모달 모델 대비 우수).
  • 화자 인식 ASR (Reference Audio): 잡음 환경 (SNR 2dB) 에서 WER 5.34 기록. 반면 Qwen3-Omni 는 38.6 의 높은 오차를 보임 (약 7 배 개선). 이는 참조 오디오를 통한 간섭음 제거 능력이 탁월함을 의미.
• 턴 탐지 (TD):
  • <Interrupt>(중단) 감지 정확도 100%.
  • <Backchannel>(상호작용 신호) 감지 정확도 95.7% (기존 모델들은 28% 수준).
  • <InComplete>(미완료) 감지 정확도 98.95%.
• 모델 크기 및 효율성: 30B-A3B 모델이 저신호대잡음비 (Low-SNR) 환경에서 가장 강력한 성능을 보였으며, LoRA 파인튜닝이 전체 파라미터 튜닝과 유사한 성능을 내면서 계산 비용을 크게 절감함.

5. 의의 및 결론 (Significance)

이 논문은 신호 처리 (Signal Processing) 와 언어 추론 (Language Reasoning) 사이의 간극을 해소했습니다.

• 패러다임의 전환: 전단 처리를 단순한 '전처리 (Preprocessing)' 단계가 아닌, LLM 이 직접 학습하고 제어하는 '지능형 능력'으로 격상시킴.
• 자연스러운 대화 구현: 인간의 대화처럼 듣고, 말하고, 끊는 (Interrupt) 행위를 실시간으로 처리할 수 있는 진정한 풀-듀플렉스 AI 비전을 실현.
• 실용성: 실제 환경 (잡음, 에코, 중첩 발화) 에서 높은 견고성을 보여주어, 차세대 음성 비서 및 대화형 에이전트 개발의 표준 아키텍처로 자리 잡을 가능성을 제시함.

결론적으로 UAF 는 "듣기 (Listening)"가 더 이상 별도의 전처리 과정이 아니라, 언어 모델 자체에 내장된 문맥 인식 능력임을 증명하며, 더욱 자연스럽고 반응적인 인간 - AI 상호작용의 새로운 기준을 제시했습니다.