MUGEN: Evaluating and Improving Multi-audio Understanding of Large Audio-Language Models

이 논문은 다중 오디오 이해 능력이 부족한 대규모 오디오 - 언어 모델을 평가하기 위한 'MUGEN' 벤치마크를 제안하고, 오디오 입력 순서를 다양화하는 '오디오 순열 자기 일관성' 전략과 사고 연쇄 기법을 결합하여 성능을 유의미하게 향상시킬 수 있음을 보여줍니다.

핵심

🎧 1. 문제 제기: "한 곡만 듣는 것"과 "오케스트라 전체를 듣는 것"의 차이

지금까지 인공지능 (AI) 은 주로 한 가지 소리만 들을 때를 연습했습니다. 예를 들어, "이 노래 가사가 뭐야?"라고 물으면 잘 대답했죠.

하지만 현실 세계는 훨씬 복잡합니다.

• 회의실에서는 여러 사람이 동시에 말하고, 배경에 전화벨 소리가 나고, 창문 밖엔 비 소리가 들립니다.
• AI 가 이런 여러 소리가 섞인 상황에서 "누가 화난 목소리인지?", "어떤 소리가 가장 먼저 들렸는지?"를 구분해야 합니다.

이런 **'여러 소리를 동시에 이해하는 능력'**은 아직 AI 에게는 큰 약점입니다. 이 논문은 그 약점을 찾아내기 위해 MUGEN이라는 새로운 시험지를 만들었습니다.

📝 2. MUGEN 시험지: "5 개의 소리 중 정답을 고르세요"

이 시험지는 다음과 같은 특징이 있습니다.

• 상황: AI 에게 "가장 화난 목소리를 찾아줘"라고 지시합니다.
• 선택지: AI 는 텍스트가 아니라 소리 파일 5 개를 듣습니다. (예: 1 번은 웃음소리가 섞인 화남, 2 번은 조용한 화남, 3 번은 슬픈 소리 등)
• 미션: AI 는 이 5 개의 소리를 비교해서, 지시사항에 가장 잘 맞는 소리를 골라야 합니다.
• 범위: 단순히 "무슨 말인지" (의미) 만 묻는 게 아니라, "누구의 목소리인지", "감정은 어떤지", "배경 소리는 무엇인지" 등 소리의 모든 면을 다룹니다.

🔍 3. 실험 결과: AI 들의 실수 (발견한 약점)

최신 AI 모델 7 개를 이 시험지에 넣어봤더니 놀라운 결과가 나왔습니다.

1. 의미는 잘 들으나, 감정은 못 듣습니다:

   • AI 는 "내가 배고파"라고 말하면 잘 알아듣습니다 (의미 이해).
   • 하지만 "목소리가 떨리면서 화난 건지, 슬픈 건지"를 구분하는 건 매우 어렵습니다 (감정/비언어적 이해). 마치 글자는 잘 읽지만, 화자의 표정이나 톤을 읽지 못하는 사람 같습니다.

2. 소리가 많을수록 머리가 아픕니다 (입력 확장 병목):

   • 소리가 2 개일 때는 잘 맞췄는데, 5 개로 늘어나자 정답률이 뚝 떨어졌습니다.
   • 마치 5 명 중 한 명을 찾는 게임을 할 때, 2 명만 있으면 쉽게 찾지만 5 명이 동시에 떠들면 누가 누구인지 헷갈려서 망하는 것과 같습니다.
   • 소리의 양이 늘어날수록 AI 는 혼란스러워하며 성능이 급격히 나빠졌습니다.

🛠️ 4. 해결책: "순서를 바꿔서 다시 들어보기"

AI 를 다시 훈련시키지 않고 (비용 없이), 어떻게 하면 이 문제를 해결할 수 있을까요? 연구진은 두 가지 방법을 시도했습니다.

1. 생각하기 (Chain-of-Thought): "단계별로 생각해보자"라고 AI 에게 말해주었지만, 소리를 구분하는 능력 자체는 부족해서 큰 효과가 없었습니다.
2. 순서 바꾸기 (Audio-Permutational Self-Consistency): 이게 핵심입니다!
   • AI 에게 5 개의 소리를 들을 때, 소리의 순서를 무작위로 섞어서 여러 번 듣게 했습니다.
   • 예를 들어, [A, B, C, D, E] 순서로 듣고 답을 내면, 다음엔 [C, E, A, B, D] 순서로 다시 듣고 답을 내게 한 거죠.
   • 이렇게 여러 번 들은 후, 가장 많이 나온 답을 최종 정답으로 채택했습니다.

결과: 이 방법은 AI 가 "첫 번째에 들은 소리에만 집중하는 버릇"을 고쳐주어, 정확도를 6~7% 정도나 크게 끌어올렸습니다.

💡 5. 결론: 무엇을 배웠을까요?

• 현재 상태: 최신 AI 는 소리를 '읽는' 능력은 뛰어나지만, 여러 소리가 섞인 복잡한 현실을 '이해'하는 능력은 아직 부족합니다. 특히 소리의 양이 늘어나면 혼란을 겪습니다.
• 해결의 열쇠: AI 를 더 많이 훈련시키는 것보다, 소리의 순서를 바꿔가며 여러 번 생각하게 하는 전략이 훨씬 효과적입니다.
• 미래: 이 연구는 AI 가 더 똑똑한 '청각 전문가'가 되기 위해 어떤 방향으로 발전해야 하는지 (감정 이해, 다중 소리 처리 등) 중요한 지도를 제시합니다.

한 줄 요약:

"지금 AI 는 한 곡만 들으면 잘하지만, 오케스트라 전체 소리를 들으면 헷갈려요. 그래서 소리의 순서를 바꿔가며 여러 번 들어보게 하니, 훨씬 똑똑해졌다는 연구입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 시각 및 청각 영역으로 확장되면서 대규모 오디오 - 언어 모델 (LALMs) 이 등장했습니다. 그러나 기존 연구는 주로 단일 오디오 (Single-audio) 환경에서의 이해 능력을 평가하는 데 집중되어 있습니다.
• 문제점: 실제 응용 (음성 검색 증강 생성, 화자 분석, 컨텍스트 학습 등) 에서는 여러 오디오 세그먼트를 동시에 처리하고 비교, 통합해야 하는 다중 오디오 (Multi-audio) 이해 능력이 필수적입니다.
• 기존 벤치마크의 한계:
  1. 범위 부족: 기존 평가는 주로 의미론적 (Semantic) 내용이나 사운드 이벤트에 집중하고, 감정, 억양 등 비의미론적 (Non-semantic) 속성은 간과했습니다.
  2. 입력 규모 제한: 대부분의 벤치마크는 2~3 개의 오디오 클립만 다루며, 입력 오디오 수가 증가함에 따른 성능 저하 (Input Scaling) 를 체계적으로 평가하지 못했습니다.

2. 제안 방법론: MUGEN 벤치마크 (Methodology)

저자들은 이러한 공백을 메우기 위해 MUGEN (Multi-audio Grounding and Understanding Benchmark) 을 제안했습니다.

• 데이터 구성:
  • 규모: 7 가지 차원 (스피치, 일반 오디오, 음악) 에 걸쳐 총 35 개의 태스크, 1,750 개의 테스트 인스턴스.
  • 태스크 형식: 텍스트 제약 조건 (Instruction) 을 제시하고, 5 개의 오디오 후보 중 가장 적합한 것을 선택하는 오디오 - 그라운딩 (Audio-grounding) 문제입니다.
  • 디자인 특징: 모든 선택지가 텍스트가 아닌 오디오 신호로 구성된 'Audio-as-option' 방식을 채택하여, 모델이 텍스트 변환 없이 직접 청각적 특징을 비교하도록 강제합니다. 일부 태스크는 기준 오디오 (Reference) 를 포함하여 6 개의 입력을 처리합니다.
• 평가 차원 (7 가지):
  1. 의미론 및 화용론 (Semantics & Pragmatics): 스피치 내용 및 맥락 이해.
  2. 화자 및 인구통계 (Speaker & Demographics): 화자 정체성, 억양 등.
  3. 감정 및 비언어적 상태 (Affective & Paralinguistic): 감정, 억양, 비언어적 신호 (비의미론적).
  4. 시간적 인식 (Temporal Awareness): 지속 시간, 템포 등.
  5. 음향 장면 및 이벤트 분석 (Acoustic Scene & Event): 환경음 식별.
  6. 음악 분석 (Music Analysis): 장르, 악기 등.
  7. 구성적 음향 추론 (Compositional Acoustic Reasoning): 여러 차원의 속성을 통합한 추론.

3. 주요 실험 및 결과 (Key Results)

저자들은 DeSTA2.5, Qwen2.5-Omni, Audio Flamingo 3, Gemini-3-pro 등 7 개의 최신 LALM 을 평가했습니다.

• 다중 오디오 이해의 한계:
  • 현재 LALMs 은 다중 오디오 환경에서 일관된 약점을 보입니다. 특히 비의미론적 속성 (감정, 화자 등) 에서 성능이 현저히 낮습니다.
  • 입력 확장성 문제 (Input Scaling Bottleneck): 오디오 후보 수가 2 개에서 5 개로 증가할수록 모델의 정확도가 급격히 저하됩니다.
    • 예: Qwen2.5-Omni 는 5 개 후보 시 2 개 후보 대비 정확도가 약 66% (기준 오디오 없음) ~ 48% (기준 오디오 있음) 로 떨어졌습니다.
    • 이는 입력 규모가 커질수록 모델이 정보를 효과적으로 통합하지 못함을 시사합니다.
• 의미론 vs 비의미론: 모든 모델이 의미론적 태스크에서는 상대적으로 잘 수행하지만, 비의미론적 태스크에서는 성능이 크게 떨어집니다. 이는 모델이 청각적 특징보다는 텍스트 스크립트 (ASR) 에 의존하는 경향이 있음을 보여줍니다.
• 전용 모델 vs 오픈 소스: Gemini-3-pro(Proprietary) 가 오픈 소스 모델보다 우월한 성능을 보였으나, 여전히 완벽하지는 않았습니다.

4. 개선 전략 및 효과 (Improvement Strategies)

모델 재학습 없이 적용 가능한 Training-free 전략을 검증했습니다.

• Chain-of-Thought (CoT): "단계별로 생각해보자"는 프롬프트는 의미론적 태스크에는 미미한 도움을 주지만, 청각적 지각의 한계를 해결하지는 못했습니다. 오히려 일부 모델에서는 성능이 약간 저하되기도 했습니다.
• Self-Consistency (SC): 여러 번 샘플링하여 다수결로 답을 도출하는 방식은 성능을 일부 개선했습니다.
• Audio-Permutational Self-Consistency (APSC) - 핵심 기여:
  • 방식: 오디오 후보들의 순서를 무작위로 섞은 (Permutation) 상태에서 여러 번 추론을 수행한 후, 결과를 다수결로 집계합니다.
  • 효과: 모델이 특정 오디오의 위치 (Positional Bias) 에 과도하게 의존하는 것을 방지하고, 더 견고한 예측을 가능하게 합니다.
  • 성능 향상: APSC 는 단독으로 최대 6.28% 의 정확도 향상을 보였으며, CoT 와 결합 시 6.74% 까지 향상되었습니다. 이는 입력 순서에 대한 민감성을 줄이는 것이 다중 오디오 이해의 핵심임을 증명합니다.

5. 연구의 의의 및 기여 (Significance)

1. 포괄적인 벤치마크 제시: 다중 오디오 이해를 평가하기 위해 의미론적/비의미론적 차원과 다양한 입력 규모를 모두 아우르는 최초의 체계적인 벤치마크 (MUGEN) 를 구축했습니다.
2. 모델의 맹점 규명: 최신 LALMs 이도 다중 오디오 처리, 특히 비의미론적 속성 인식 및 입력 확장성에서 심각한 한계가 있음을 밝혔습니다.
3. 실용적인 개선 방안: 복잡한 청각 이해를 위한 모델 재학습 없이, 오디오 순서 무작위화 (Permutation) 를 통한 추론 전략 (APSC) 이 효과적임을 입증하여 향후 LALM 개발 및 적용에 중요한 지침을 제공합니다.

결론

이 논문은 LALMs 이 실제 복잡한 청각 환경 (여러 소리가 섞인 상황) 에서 작동하기 위해서는 단순한 의미 이해를 넘어, 입력 규모에 따른 확장성과 비언어적 청각 특징의 통합 능력을 개선해야 함을 강조합니다. MUGEN 벤치마크와 APSC 전략은 이러한 과제를 해결하기 위한 중요한 기반을 마련했습니다.