Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs

1. 문제 제기 (Problem Statement)

최근 등장한 오디오 대형 언어 모델 (AudioLLMs) 은 복잡한 추론 (Reasoning) 작업에서는 뛰어난 성능을 보이지만, 미세한 음향 지각 (Fine-grained Acoustic Perception) 작업에서는 심각한 성능 저하를 겪는 '지각 - 추론 역전 (Perception-Reasoning Inversion)' 현상을 보입니다.

• 근본 원인: 기존 AudioLLMs 의 학습 신호가 자동 음성 인식 (ASR) 중심이라는 점입니다. ASR 은 텍스트 전사 (Transcription) 에만 집중하도록 설계되어, 화자의 감정, 억양, 화자 특성, 배경음 등 비언어적 (Paralinguistic) 및 비음성적 (Non-linguistic) 정보를 '노이즈'로 간주하고 제거하는 경향이 있습니다.
• 결과: 모델은 "무엇이 말해졌는지"는 잘 이해하지만, "어떻게 말해졌는지"나 "주변에서 어떤 소리가 났는지"를 파악하는 데 실패합니다. 예를 들어, "나는 괜찮아"라는 문장을 정확히 전사하면서도 화자의 떨리는 목소리 (고통 신호) 나 문이 닫히는 소리 (상호작용 종료 신호) 를 놓치는 경우가 많습니다.

2. 제안 방법론: 통합 오디오 스키마 (Unified Audio Schema, UAS)

저자들은 이 문제를 해결하기 위해 **UAS(통합 오디오 스키마)**를 제안했습니다. 이는 오디오 정보를 명시적이고 구조화된 JSON 형식으로 세 가지 구성 요소로 분해하여 학습하는 새로운 감독 (Supervision) 프레임워크입니다.

UAS 의 3 가지 핵심 구성 요소

1. 전사 (Transcription): ASR 과 동일한 수준의 정확한 구어 텍스트 내용.
2. 비언어적 정보 (Paralinguistics): 화자의 속성을 구조화된 필드로 정의합니다.
   • 나이 (Age), 성별 (Gender), 감정 (Emotion), 억양 (Accent), 운율 (Prosody), 음색 (Timbre) 등 6 가지 하위 필드.
3. 비음성적 사건 (Non-linguistic Events): 음성 외의 음향 환경 정보.
   • 이산적 사건 (Discrete Events): 문이 닫히는 소리, 웃음소리 등 명확한 시간 경계를 가진 소리.
   • 연속적 사건 (Continuous Events): 배경 잡음, 음악 등 지속되는 환경음.

데이터 생성 파이프라인

• 자동화 및 확장성: UAS 데이터는 수동 주석이 아닌, 기존 ASR 코퍼스에 오프 - 더 - 쉘 (off-the-shelf) 오디오 캡션 모델과 LLM 을 결합하여 대량으로 자동 생성됩니다.
• 품질 검증: 생성된 데이터는 전사 정확도, 논리적 일관성 (예: 성별과 음색의 모순 여부), 그리고 인간 검증 (95% 이상의 정확도 달성) 을 거쳐 신뢰성을 확보합니다.
• UAS-QA: 생성된 스키마를 기반으로 화자의 감정, 배경음 유무 등을 묻는 질문 - 답변 (QA) 쌍을 자동으로 생성하여 모델의 추론 능력을 강화합니다.

3. 모델 아키텍처 및 학습 (UAS-Audio)

제안된 UAS 감독 신호를 적용한 UAS-Audio 모델을 개발했습니다.

• 아키텍처: 연속형 (Continuous) 및 이산형 (Discrete) 오디오 토큰 아키텍처 모두에 적용 가능합니다. 오디오 인코더, 프로젝션 레이어, LLM 백본, 스피치 디코더로 구성됩니다.
• 학습 파이프라인 (4 단계):
  1. 이산 토큰 정렬: ASR/TTS 태스크를 통해 텍스트와 오디오 토큰의 정렬.
  2. 오디오-LLM 적응: UAS 주석 데이터만을 사용하여 프로젝션 레이어를 학습 (모델이 ASR 중심의 표현을 형성하는 것을 방지).
  3. 풀 인스트럭션 튜닝: ASR, TTS, UAS 주석 생성, UAS-QA 등 다양한 태스크 혼합 학습.
  4. GRPO (Group Relative Policy Optimization): 강화 학습을 통해 성능 추가 최적화.

4. 주요 실험 결과 (Key Results)

MMSU, MMAR, MMAU 등 주요 벤치마크에서 기존 최첨단 모델 (Qwen2.5-Omni, Kimi-Audio, Step-Audio2 등) 과 비교 평가되었습니다.

• 지각 능력의 획기적 향상: MMSU 벤치마크의 지각 (Perception) 태스크에서 55.7% 정확도를 기록하여, 기존 최강 모델 (Kimi-Audio, 44.8%) 대비 10.9%p 절대적인 향상을 보였습니다.
• 추론 능력 유지: 지각 능력이 크게 향상되었음에도 불구하고, 추론 (Reasoning) 정확도 (77.4%) 는 기존 최상위 모델 수준을 유지했습니다. 이는 지각과 추론이 상충 관계 (Trade-off) 가 아님을 입증합니다.
• 범용성: 연속형 및 이산형 아키텍처 모두에서 일관된 성능 향상을 보였으며, 음악, 환경음, 음성 등 다양한 도메인 (MMAR, MMAU) 에서도 SOTA 또는 경쟁력 있는 성능을 달성했습니다.
• 생성 능력: UAS 학습이 텍스트 - 음성 (TTS) 생성 품질을 저하시키지 않으며, 오히려 음향적 표현이 풍부해져 WER(음성 인식 오차율) 이 개선됨을 확인했습니다.

5. 의의 및 기여 (Significance & Contributions)

1. 패러다임 전환: 오디오 모델 학습이 단순한 ASR 전사에 의존하는 것에서 벗어나, 구조화된 스키마를 통한 명시적 지각 감독으로 전환해야 함을 증명했습니다.
2. 효율적인 데이터 활용: 고비용의 수동 주석 없이도, 기존 코퍼스를 자동 변환하여 고품질의 지각 지향 데이터를 대량으로 생성할 수 있는 확장 가능한 파이프라인을 제시했습니다.
3. 균형 잡힌 멀티모달 AI: "무엇을 말했는지"와 "어떻게 말했는지/어떤 소리가 났는지"를 동시에 이해할 수 있는 진정한 의미의 통합 오디오 지능 (Unified Audio Intelligence) 을 실현했습니다.

결론적으로, 본 논문은 AudioLLM 의 지각적 맹점을 해결하기 위해 UAS를 도입함으로써, 모델이 복잡한 추론 능력을 유지하면서도 인간과 유사한 미세한 음향 지각 능력을 획득할 수 있음을 입증했습니다. 이는 차세대 오디오 - 언어 모델 개발을 위한 중요한 이정표가 될 것입니다.