How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 현재 대형 오디오 언어 모델 (LALM) 의 지식 백본 (backbone) 으로 널리 사용되고 있습니다. 그러나 텍스트 전용 (text-only) 사전 학습을 통해 LLM 이 얼마나 많은 '청각적 지식 (auditory knowledge)'을 내재화했는지, 그리고 이것이 다운스트림 오디오 태스크 성능에 어떤 영향을 미치는지는 명확하지 않았습니다.

기존 연구들은 주로 아키텍처 설계, 학습 전략, 오디오 인코더 선택에 집중하며, 백본 LLM 의 선택이 청각적 이해 능력에 미치는 영향을 체계적으로 평가하지 않았습니다. 또한, LLM 이 텍스트만으로도 소리에 대한 깊은 이해를 가지고 있는지, 혹은 멀티모달 적응 (multimodal adaptation) 과정에서 어떤 역할을 하는지에 대한 실증적 근거가 부족했습니다.

2. 연구 방법론 (Methodology)

저자들은 텍스트 전용 LLM 의 청각적 지식과 멀티모달 적응 능력을 평가하기 위해 세 가지 상호 보완적인 평가 프레임워크를 도입했습니다.

2.1. 청각 지식 벤치마크 평가 (Direct Probing on AKB-2000)

• AKB-2000 구축: 오디오 연구의 폭과 깊이를 테스트하기 위해 2,000 개의 객관식 질문으로 구성된 새로운 벤치마크를 제작했습니다.
• 카테고리: 음악 (Music), 소리 (Sound), 비언어적 (Paralinguistic), 음성학 (Phonetic), 오디오 품질 (Audio Quality), 기술적 지식 (Technical) 등 6 개 주요 카테고리 및 48 개 하위 카테고리로 구성되었습니다.
• 목적: LLM 이 텍스트를 통해 소리에 대한 사실적 지식과 상식 (예: "sizzle" 소리의 출처, 음색의 감정 표현 등) 을 얼마나 알고 있는지 직접 측정합니다.

2.2. 캐스케이드 평가 (Cascade Evaluation)

• 방식: 오디오 캡셔너 (Audio Captioner) 가 오디오 샘플을 상세한 텍스트 설명으로 변환한 후, 이를 텍스트 전용 LLM 에 입력하여 원래 오디오 벤치마크 (MMAU, MMAR) 의 질문에 답하게 합니다.
• 목적: LLM 이 텍스트로 표현된 오디오 정보를 바탕으로 추론할 수 있는 능력을 평가하며, 오디오 인코더의 영향을 배제하고 LLM 자체의 추론 능력을 격리합니다.

2.3. 오디오 기반 평가 (Audio-Grounded Evaluation via End-to-End Fine-Tuning)

• 방식: 각 LLM 을 오디오 인코더 (Whisper-large-v3) 와 결합하여 DeSTA 프레임워크를 활용한 자기 증류 (self-distillation) 방식으로 LALM 으로 파인튜닝합니다.
• 목적: 텍스트 전용 LLM 의 청각적 지식이 실제 오디오 파형 입력을 처리하는 멀티모달 모델로 전환될 때 어떻게 전이되는지, 그리고 백본 선택이 최종 성능에 미치는 영향을 확인합니다.

2.4. 평가 대상 모델

• 오픈 가중치 모델: Qwen, Llama, Phi, OLMo 등 4 개 패밀리, 12 개 모델 (4B~14B 파라미터 규모).
• 프로프라이어터리 모델: GPT-5, Gemini, Claude 등 5 개 모델을 강력한 베이스라인으로 포함했습니다.

3. 주요 기여 (Key Contributions)

1. 종합적 평가 체계: 텍스트 전용 LLM 의 청각적 지식을 다각도로 평가하는 최초의 체계적인 프레임워크를 제시했습니다.
2. AKB-2000 벤치마크: 오디오 연구의 다양한 도메인을 아우르는 2,000 개의 질문으로 구성된 새로운 벤치마크를 공개했습니다.
3. 백본 선택의 중요성 입증: LALM 개발에서 백본 LLM 선택이 아키텍처나 학습 데이터보다 더 중요한 1 차적 설계 결정 사항임을 실증했습니다.
4. 코드 및 데이터 공개: 평가 코드, 벤치마크, 모델 체크포인트를 공개하여 투명성과 후속 연구를 지원합니다.

4. 주요 결과 (Key Results)

4.1. 모델 패밀리 간 청각 지식의 큰 차이

• 청각 지식은 모델 패밀리마다 현저히 달랐습니다. Qwen 패밀리가 대부분의 평가에서 Llama 를 일관되게 능가했습니다.
• Phi-4-14B는 최상위 성능을 보였으나, 작은 규모 (Phi-4-mini) 로 갈수록 성능이 급격히 하락했습니다.
• Llama 패밀리는 상대적으로 낮은 성능을 보였으며, 최신 버전인 Llama-3.1-8B 가 이전 버전보다 오히려 성능이 낮아지는 등 업데이트가 반드시 청각 지식 향상을 의미하지는 않음을 보였습니다.

4.2. 텍스트 전용 성능과 오디오 기반 성능의 강한 상관관계

• 텍스트 전용 평가 (AKB-2000, 캐스케이드) 결과와 오디오 기반 파인튜닝 결과 간에 **강한 양의 상관관계 (r=0.71~0.82)**가 있었습니다.
• 이는 고비용의 멀티모달 학습 전에 텍스트 전용 벤치마크로 백본 모델을 선별할 수 있음을 의미하며, 텍스트 성능이 오디오 적응 능력을 예측하는 신뢰할 수 있는 지표임을 보여줍니다.

4.3. 음성학 (Phonology) 과 음운론적 과제의 한계

• 모든 모델이 음성학 (Phonetic) 및 음운론 (Phonology) 관련 과제 (예: 운율, 강세, 동음이의어, 철자는 다르지만 소리는 같은 단어 등) 에서 현저히 낮은 성능을 보였습니다.
• 이는 텍스트 전용 학습이 토큰 간의 의미적 상관관계는 학습하지만, 실제 소리의 물리적 실현 (acoustic realization) 을 경험하지 못했기 때문에 발생하는 근본적인 한계로 분석되었습니다.

4.4. 캐스케이드 vs 엔드 - 투 - 엔드 (End-to-End)

• 강력한 캡셔너를 사용한 캐스케이드 파이프라인이 최신 엔드 - 투 - 엔드 LALM 들 (Audio Flamingo 3, Qwen2.5-Omni 등) 의 성능을 맞추거나 능가하는 경우가 많았습니다.
• 이는 현재 엔드 - 투 - 엔드 시스템의 병목 현상이 오디오 인코더에 있으며, LLM 이 가진 선천적인 청각 추론 능력이 충분히 활용되지 못하고 있음을 시사합니다.

4.5. 백본 선택의 영향력

• 동일한 학습 레시피와 데이터로 파인튜닝했을 때, 백본 LLM 선택만으로도 최종 LALM 성능에서 10% 이상의 절대적 차이가 발생했습니다.
• 예를 들어, Qwen2.5-7B 는 10 배 더 많은 학습 데이터를 사용한 Llama 기반 모델 (DeSTA2.5-Audio) 보다 더 나은 성능을 기록했습니다.

5. 연구의 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 백본에 내재된 청각적 지식이 오디오 이해 시스템의 모든 단계를 근본적으로 형성한다는 사실을 입증했습니다.

• 실용적 시사점: LALM 개발 시 아키텍처나 데이터 양보다 백본 LLM 의 청각적 지식 수준을 먼저 고려해야 합니다. 텍스트 전용 벤치마크 (AKB-2000) 를 통해 저비용으로 최적의 백본을 선별할 수 있습니다.
• 한계점 및 향후 방향: 텍스트 기반 학습의 한계로 인해 음성학/음운론적 과제는 여전히 취약합니다. 이를 해결하기 위해 발음 사전이나 음소 수준의 감독 학습 등 음성 인식에 특화된 학습 전략이 필요합니다.
• 시스템 설계: 엔드 - 투 - 엔드 모델의 성능 향상을 위해서는 오디오 인코더의 정밀도 향상과 함께, LLM 이 가진 추론 능력을 최대한 활용할 수 있는 아키텍처 설계가 필요함을 강조합니다.

결론적으로, 이 논문은 오디오 AI 연구에서 LLM 백본의 역할을 재정의하고, 보다 강력한 오디오 언어 모델을 구축하기 위한 데이터 중심의 접근 방식을 제안합니다.