Investigating Modality Contribution in Audio LLMs for Music

기술 요약: 음악용 오디오 LLM 에서 모달리티 기여도 조사

문제 제기
오디오 대규모 언어 모델 (Audio LLM) 은 오디오 정보를 추론 과정에 통합하여 음악에 관한 인간과 유사한 대화를 가능하게 하도록 설계되었습니다. 그러나 MuChoMusic 과 같은 최근 벤치마크는 역설을 드러냅니다. 즉, 이러한 모델들이 객관식 질문에서 높은 정확도를 달성하는 반면, 오디오를 침묵이나 소음으로 대체하는 간접 실험은 모델이 진정으로 '듣고' 있지 않을 수 있음을 시사합니다. 대신 모델들은 주로 텍스트 추론이나 사전 지식에 의존하는데, 이를 모달리티 불균형 또는 단일 모달리티 붕괴 현상이라고 합니다. 정확도 지표에 의존하는 현재 평가 방법은 오디오를 올바르게 사용하는 모델과 텍스트만으로 정답에 도달하는 모델을 구분하지 못하므로 불충분합니다. 따라서 모델의 예측에 각 모달리티 (오디오 대 텍스트) 가 기여하는 바를 정량화할 수 있는 성능 무관 (performance-agnostic) 한 방법이 시급히 필요합니다.

방법론
이를 해결하기 위해 저자들은 비전 - 언어 모델을 위해 원래 제안된 MultiModal-SHAP(MM-SHAP) 프레임워크를 오디오 LLM 도메인에 적용했습니다. 핵심 방법론은 모델 출력에 대한 입력 특징의 한계 기여도를 측정하기 위해 협력 게임 이론의 샤플리 값 (Shapley values) 에 의존합니다.

1. 마스크를 통한 특징 교란: 본 연구는 샤플리 값을 근사하기 위해 마스크 전략을 사용합니다.
   • 오디오: 원시 파형 세그먼트를 0 으로 만듭니다. 마스크 윈도우 크기는 모달리티 간의 특징 수를 균등하게 보장하기 위해 텍스트 토큰 수에 따라 동적으로 조정됩니다 ($n_A \approx n_T$).
   • 텍스트: 특정 토큰을 [MASK] 토큰으로 대체합니다. 오디오 지시자, 질문 마커와 같은 특수 토큰은 구조적 무결성을 유지하기 위해 보존됩니다.
2. 점수 계산: 확률을 측정하는 분류 작업과 달리, 본 연구는 생성 작업을 다룹니다. 저자들은 마스크가 없는 기준 실행에서 모델이 생성한 답변 (예: "Doorbell") 에 해당하는 토큰을 식별합니다. 그런 다음 오디오 및 텍스트 특징의 부분 집합이 마스크되었을 때 이러한 특정 토큰에 대한 로짓 (logits) 의 변화를 계산합니다.
3. 모달리티 기여도 지표: 본 연구는 모든 오디오 특징 ($\Phi_A$) 과 텍스트 특징 ($\Phi_T$) 에 대한 절대 샤플리 값을 집계합니다. 직접 비교를 가능하게 하기 위해 정규화된 비율을 정의합니다.
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     완벽하게 균형 잡힌 모델은 0.5 의 A-SHAP 값을 산출합니다.

실험 설정
저자들은 MuChoMusic 벤치마크에서 두 가지 최첨단 오디오 LLM 을 평가했습니다.

• MU-LLaMA: 오디오 인코더로 MERT-v1-330M 을, 언어 모델로 LLaMA 2 7B 를 사용합니다.
• Qwen-Audio: 오디오 인코더로 Whisper-large-v2 를, LLM 으로 Qwen-7B 를 사용합니다.

실험은 두 가지 조건 하에서 수행되었습니다: 이전 지시가 있는 객관식 (MC-PI) 과 이전 지시가 없는 객관식 (MC-NPI). 또한 단일 사운드 이벤트의 위치 파악과 장기 오디오 이해가 필요한 특정 질문에 대한 정성적 분석도 포함되었습니다.

주요 결과

• 정확도와 오디오 사용 간의 역관계: 정확도가 더 높은 모델 (Qwen-Audio) 은 정확도가 낮은 모델 (MU-LLaMA, A-SHAP $\approx$ 0.47–0.50) 에 비해 오디오 모달리티에 훨씬 덜 의존했습니다 (A-SHAP $\approx$ 0.21–0.23). 이는 MuChoMusic 에서의 더 높은 성능이 균형 잡힌 모달리티 사용과 상관관계가 없음을 나타냅니다.
• 객관식에서의 텍스트 우세: 두 모델 모두 특히 MC-PI 설정에서 텍스트에 대한 강한 편향을 보였으며, 이는 객관식 형식이 모델이 지각적 오디오 분석 대신 텍스트 추론이나 오답 제거를 통해 문제를 해결할 수 있게 함을 시사합니다.
• 오디오가 무시되지 않음: 전반적인 낮은 A-SHAP 점수에도 불구하고 정성적 검사 결과 오디오 특징이 여전히 의미 있게 기여하는 것으로 나타났습니다. 정답 사운드 이벤트 (예: "bell") 에 해당하는 토큰의 경우, 양의 샤플리 값이 해당 사운드를 포함하는 특정 시간 세그먼트와 일치했습니다. 그러나 오디오 기여도의 크기는 종종 텍스트보다 낮았으며, 어떤 경우에는 정답과 관련 없는 영역 (예: 정답이 종일 때 피아노 음표) 에서 강한 활성화가 발생하기도 했습니다.
• 작업 의존성: 작업이 객관식에서 개방형 오디오 설명으로 전환되었을 때, Qwen-Audio 의 A-SHAP 는 크게 증가하여 (0.73 까지) 모달리티 사용이 작업 구성에 크게 의존함을 보여주었습니다.

의의 및 주장
본 논문은 오디오 LLM 에 MM-SHAP 를 적용한 첫 사례라고 주장합니다. 주요 기여는 이러한 모델이 오디오와 텍스트를 어떻게 활용하는지 검사할 수 있는 정량적이고 성능 무관한 프레임워크를 제공하는 것입니다. 저자들은 그들의 발견이 모든 모달리티를 균등하게 사용해야 최적의 다중 모달 모델이 된다는 가정에 도전한다고 주장합니다. 모델은 단일 모달리티에 크게 의존하면서도 높은 정확도를 달성할 수 있습니다.

본 연구는 '듣기' (지각적 처리) 와 '추론' (텍스트적 추론) 사이의 격차를 강조합니다. 모델이 오디오를 완전히 무시하는 것은 아니지만, 객관식 작업에서의 낮은 기여도 점수는 현재 벤치마크가 사운드 지각 능력보다는 오답 제거 능력을 테스트하고 있을 수 있음을 시사합니다. 저자들은 MM-SHAP 가 오디오 분야의 설명 가능한 AI(XAI) 를 위한 기초적인 단계라고 결론지었으나, 복잡한 음악 개념 (멜로디, 구조) 에 대한 정답의 부재와 결과의 마스크 전략 및 윈도우 크기에 대한 민감성과 같은 한계를 인정했습니다. 향후 연구는 다양한 작업 구성에 걸쳐 오디오 정보가 다중 모달 통합을 어떻게 생존하는지 체계적으로 연구할 것을 제안합니다.