기술 요약: 오디오 상호작용 (Audio-Interaction)

문제 정의

현재의 대규모 오디오 언어 모델(LALM)은 주로 오프라인 패러다임에서 작동하며, 모델이 응답을 생성하기 전에 전체 오디오 클립을 먼저 처리합니다 ($y = f(x, A)$). 이러한 공식은 오디오의 본질적인 실시간성, 연속성 및 상호작용적 특성을 포착하지 못합니다. 전용 스트리밍 모델(예: 스트리밍 ASR 또는 음성 채팅)이 존재하지만, 이들은 두 가지 근본적인 한계를 가집니다:

1. 파편화(Fragmentation): 모든 기능마다 처음부터 새로 학습된 별도의 모델이 필요합니다.
2. 좁은 범위(Narrow Scope): Moshi와 같은 완전한 스트리밍 시스템조차도 일반적으로 단일 작업만을 처리하며, 비음성 이벤트(예: 기침 소리나 유리 깨지는 소리)를 해석하거나 의미론적 문맥에 기반하여 언제 응답할지 결정하는 데 실패합니다.

기존의 접근 방식들은 연속적인 오디오 스트림을 듣고, 전개되는 문맥을 이해하며, 침묵을 유지할지 아니면 실시간으로 개입할지를 자율적으로 결정할 수 있는 통합된 프레임워크가 부족합니다.

방법론: SOUNDFLOW 프레임워크

저자들은 항상 켜져 있는 인지-결정-응답(perceive–decide–respond) 루프를 구현하는 통합 스트리밍 모델인 AUDIO-INTERACTION을 제안합니다. 이는 데이터 구축, 학습, 추론을 아우르는 엔드 투 엔드 프레임워크인 SOUNDFLOW를 통해 실현됩니다.

1. 데이터 구축: StreamAudio-2M

연속적인 상호작용이 가능한 모델을 학습시키기 위해, 저자들은 7가지 기본 능력과 28가지 세부 작업을 포괄하는 260만 개의 항목(302k 시간)으로 구성된 StreamAudio-2M 코퍼스를 구축했습니다.

• 계층적 이벤트 큐레이션(Hierarchical Event Curation): 의미론적 충돌을 일으키는 무작위 연결 대신, 저자들은 LLM을 사용하여 고수준 시나리오를 계획하고, 이를 구체적인 이벤트로 정교화하며, 검색되거나 생성된 오디오 클립으로 이를 구체화(grounding)합니다.
• 시공간 주파수 결합 전처리(Time-Frequency Joint Preprocessing, TFJP): 경계선을 부드럽게 하고 노이즈를 억제하며 세그먼트를 정렬하여, 이어 붙여진 클립 간의 자연스러운 전환을 보장하는 모듈입니다.
• 희소 개입 신호(Sparse Intervention Cues): 샘플은 3~15 턴의 상호작용으로 설계되었으며, 응답 신호는 희소하고 문맥 의존적입니다. 이를 통해 모델이 언제 말을 하지 말아야 하는지를 학습하도록 강제합니다.

2. 학습 전략

모델은 Qwen2.5-Omni-3B로부터 초기화되었으며, **이중 손실 목적 함수(dual-loss objective)**를 사용하여 학습됩니다:

• 언어 모델링 손실($L_{LLM}$): 표준 텍스트 생성.
• 스트리밍 제어 손실($L_{stream}$): 매 오디오 청크마다 특수 토큰 $d_t \in \{<silent>, <response>\}$를 예측하여 텍스트를 출력할지 혹은 침묵을 유지할지를 결정합니다.
• 문맥 유지 메커니즘:
  • 이력 검토(History Review): 문맥 망각을 방지하기 위해 이전 내용에 대한 질문이 시퀀스에 삽estion됩니다.
  • 이해 기반 침묵(Comprehension-Aware Silence): 모델은 응답이 필요 없는 검증된 무음 오디오 세그먼트에 대해 학습되어, 무관한 소리에 대해 잘못 트리거되는 현상을 줄입니다.

3. 추론: 비동기 FIFO 스케줄링

지연 없이 실시간 상호작용을 달성하기 위해, 저자들은 비동기 추론 방식을 구현합니다:

• 디커플링(Decoupling): 오디오 인코더는 청크를 지속적으로 처리하고 특징(feature)을 FIFO 큐에 추가합니다.
• 조건부 디코딩(Conditional Decoding): 디코더는 마지막 생성된 토큰이 <silent> 또는 "일 때만 큐에 쌓인 특징을 소비합니다. 모델이 말하고 있는 동안에는 새로운 오디오를 기다리지 않고 자기회귀적으로 계속 진행합니다.
• 결과: 이를 통해 추론 정체를 제거하고 동기식 방식 대비 첫 프레임 지연 시간을 4.5배 단축했습니다.

주요 기여

1. 오디오 상호작용 모델: 오프라인 작업(ASR, 번역, 대화)과 스트리밍 네이티브 기능(동시 통역, 선제적 도움)을 하나의 아키텍처로 통합합니다.
2. SOUNDFLOW 프레임워크: 계층적 데이터 합성, 이해 기반 학습, 비동기 추론을 포함하는 스트리밍 오디오 상호작용을 위한 완전한 파이프라인입니다.
3. StreamAudio-2M 데이터셋: 문맥에 기반한 개입 결정을 내리도록 모델을 학습시키기 위해 특별히 설계된 대규모 스트리밍 네이티브 코퍼스(2.6M 항목)입니다.
4. ProactiveSound-Bench: 명시적인 지시 없이도 모델이 선제적으로 개입할 수 있는 능력(예: 화재 경보나 유리 깨지는 소리에 대한 경고)을 테스트하기 위해 설계된 644개의 인간 설계 이벤트를 포함한 새로운 평가 벤치마크입니다.

실험 결과

모델은 8개의 벤치마크에서 평가되었으며, 세 가지 핵심적인 향상을 보여주었습니다:

1. 일반 오디오 이해 유지:

   • MMAU(일반 오디오 이해 벤치마크)에서 Audio-Interaction은 오디오 지시 하에 58.15를 기록하여, 오프라인 초기 모델(Qwen2.5-Omni-3B: 42.51)보다 높은 성능을 보였으며 더 큰 7B 오프라인 모델들과 경쟁할 만한 수준을 유지했습니다.
   • 오프라인 베이스라인들이 종종 성능 저하를 겪는 구두 지시 상황에서도 견고함을 유지합니다.

2. 경쟁력 있는 핵심 음성 성능:

   • ASR: LibriSpeech에서, 스트리밍 제약에도 불구하고 전문 ASR 모델과 유사한 3.17%(clean) 및 6.04%(other)의 단어 오류율(WER)을 달성했습니다.
   • 번역: CoVoST2에서 초기 모델 대비 BLEU 점수를 각각 +15.72(En-Zh) 및 +17.04(Zh-En) 개선하여 7B 베이스라인에 필적하는 성능에 도달했습니다.

3. 스트리밍 기능의 해제:

   • 선제적 개입(Proactive Intervention): ProactiveSound-Bench에서 Audio-Interaction은 단일 이벤트 결정에서 61.2%, 다중 이벤트 시퀀스에서 **62.8%**의 정확도를 달 기록하며, 오프라인 LALM 및 다른 스트리밍 베이스라인을 크게 앞질렀습니다.
   • 장기 스트림 안정성: 스트림이 5개의 연결된 세그먼트로 확장되어도 모델은 91% 이상의 정확도를 유지하는 반면, 베이스라인 모델들은 30% 이상 급격히 무너집니다.

의의 및 주장

본 논문은 AUDIO-INTERACTION이 현재 LALM의 오프라인 패러다임과 오디오의 연속적이고 상호작용적인 특성 사이의 간극을 메운다고 주장합니다. **오디오 상호작용 모델(LAIM)**을 정형화함으로써, 본 연구는 단일 모델이 다음을 수행할 수 있음을 입증합니다:

• 이질적인 오디오 작업(인식, 번역, 대화)을 하나의 스트리밍 네이티브 패러다임 아래 통합합니다.
• 명시적인 사용자 지시 없이도 환경적 신호(예: 안전 위험)에 기반하여 선제적 지원을 수행합니다.
• 비동기 추론을 통해 저지연, 안정적 상호작용을 유지하여 실시간 "인지-결정-응답" 루프를 가능하게 합니다.

저자들은 이 연구가 단순한 점진적 개선이 아니라, 미래 연구에 필요한 데이터, 프레임워크 및 벤치마크를 제공함으로써 통합된 스트리밍 오디오 지능을 향한 필수적인 패러다임 전환이라고 자리매김하고 있습니다.