Robustness assessment of large audio language models in multiple-choice evaluation

기술 요약: 다중 선택 평가에서 대규모 오디오 언어 모델의 강건성 평가

문제 정의

대규모 오디오 언어 모델(LALM)의 평가는 다중 선택 질문 답변(MCQA) 벤치마크에 크게 의존하고 있습니다. 그러나 현재의 평가 프로토콜은 취약합니다. 선택지의 순서 변경, 질문의 패러프레이징(paraphrasing), 또는 옵션의 재구성(rewording)과 같은 미세한 언어적 변동은 성능 지표를 크게 변화시킬 수 있습니다. 또한, 기존 벤치마크에는 모델이 오디오 신호를 처리하지 않고도 텍스트 우선순위(textual priors)만을 기반으로 정답을 추론할 수 있는 "언어적 힌트"가 포함되어 있는 경우가 많습니다. 현재의 프레임워크는 일반적으로 단일 정확도 점수만을 보고하는데, 이는 모델의 불안정성을 은폐하고 실제 오디오 이해 능력과 언어적 편향을 혼동할 가능성이 있습니다. 본 논문은 만약 정확도가 진정한 모델 능력을 포착하지 못한다면, 보고된 성능 향상은 실제 발전이 아닌 평가의 취약성으로 인한 결과물일 수 있다고 주장합니다.

방법론

저자들은 오디오 신호는 일정하게 유지하면서 언어적 섭동(perturbation)에 대한 LALM의 강건성을 평가하기 위한 체계적인 평가 프레임워크를 제안합니다. 이 연구는 세 가지 벤치마크(MMAU, MMAR, MMSU)와 네 가지 모델(Audio Flamingo 2, Audio Flamingo 3, Qwen2.5-Omni-7B-Instruct, Kimi-Audio-7B-Instruct)을 대상으로 합니다.

섭동 전략

방법론은 원래의 오디오를 보존하면서 텍스트 입력(질문 및 옵션)을 수정하는 것을 포함합니다. 섭동은 개별적으로 또는 조합하여 적용됩니다:

1. 선택지 순서(Choice Ordering): 네 가지 정답 선택지의 가능한 모든 24가지 순열을 평가합니다.
2. 재구문(Rephrasing): 질문, 정답, 그리고 오답(distractors)을 gemini-2.5-flash와 gemma-3-12b-it를 사용하여 패러프레이징합니다. 이를 통해 각 요소당 6개의 변형과 원본을 포함하여 총 7개의 서로 다른 버전을 생성합니다. 수동 검증을 통해 의미적 보존을 확인했습니다.
3. 혼합 섭동(Mixed Perturbations): 모든 섭동 유형을 결합하기 위해 확률적 접근 방식(각 수정 유형당 0.5의 확률)을 사용하여 누적된 민감도를 포착하는 실질적인 환경을 구축합니다.

평가 지표

표준 평균 정확도 외에도, 본 연구는 강건성을 정량화하기 위해 두 가지 특정 지표를 도입합니다:

• 일관성 비율 (Consistency Rate, CR): 서로 다른 섭동 하에서 동일한 질문에 대한 여러 응답 간의 일치도를 측정합니다 (정답이 변하지 않는 경우에 적용 가능).
• 정확도 비율 (Correctness Rate, CoR): 모델이 평가된 모든 섭동 하에서 정답을 맞혔을 때만 해당 질문을 정답으로 간주하는 더 엄격한 지표입니다. 이는 다양한 조건에서의 모델 신뢰성을 포착합니다.

통제 변수

언어적 편향을 격리하기 위해, 저자들은 동일한 벤치마크에 대해 텍스트 전용 대규모 언어 모델(LLM)을 평가합니다 (질문과 옵션은 제공하되 오디오는 제공하지 않음). 이는 오디오 이해가 아닌 텍ual 우선순위에 기인한 성능에 대한 기준점(baseline)을 설정합니다.

주요 결과

언어적 편향 및 텍스트 전용 성능

텍스트 전용 LLM은 모든 벤치마크에서 무작위 확률을 유의미하게 상회합니다. 특히, gemma-3-27B-it는 MMAU에서 48.3%의 정확도를 달성하여(무작위 확률보다 22.6% 포인트 높음), 텍스트 전용 설정에서 여러 전용 오디오 모델(예: LTU-AS, SALMONN)보다 높은 성능을 보였습니다. MMAU와 MMAR에서 텍스트 전용 모델은 심지어 오디오 모델인 Qwen-Audio-Chat보다 높은 성능을 보이기도 하는데, 이는 현재의 벤치마크에 이용 가능한 텍스트 지름길(textual shortcuts)이 존재함을 나타냅니다.

섭동에 대한 민감도

• 선택지 순서: 모델들은 중간 정도의 민감도를 보입니다. 예를 들어, Kimi-Audio-7B-Instruct는 순서 변경으로 인해 MMAU에서 정확도의 표준 편차가 2.7% 나타납니다.
• 질문 재구문: 중간 정도의 가변성을 보이며, 이는 모델이 프롬프트의 의미적 변화를 처리할 수 있는 어느 정도의 능력을 갖추고 있음을 시사합니다.
• 정답(Ground-Truth) 재구문: 특히 Audio Flamingo 2와 Audio Flamingo 3에서 더 높은 정확도 가변성을 유발합니다.
• 오답(Distractor) 재구문: 가장 상당한 성능 저하를 야기합니다. Audio Flamingo 2는 오답이 재구문되었을 때 MMAU에서 최대 13.7%의 정확도 표준 편차를 보입니다. 모든 모델에서 오답 재구문 조건 하에 정답도 비율(CoR)이 급격히 떨어집니다 (예: MMAU에서 Audio Flamingo 2의 CoR은 0.21로 하락).

모델 비교

• Audio Flamingo 3: 가장 높은 전체 정확도를 달성하며, 선택지 순서 및 질문 재구문에 대해 상대적으로 강건함을 유지합니다.
• Qwen2.5-Omni-7B: 오답 재구문에 대해 우수한 안정성을 입증하며, 이 범주에서 가장 높은 CoR을 달립니다.
• Kimi-Audio-7B-Instruct: 정답 재구문에서는 경쟁력 있는 성능을 보이지만, 오답 재구문 및 혼합 섭동에 의해 크게 영향을 받습니다.
• Audio Flamingo 2: 지속적으로 가장 낮은 순위를 기록하며, 특히 오답 재구성에 대해 매우 약한 회복력을 보입니다.

길이 편향 (Length Bias)

본 연구는 모델이 더 긴 정답 후보를 선택하는 경향이 있음을 식별했습니다. 패러프레이징된 선택지는 대개 더 길어지기 때문에, 모델은 종종 가장 긴 옵션을 선택합니다. 예를 들어, Audio Flamingo 2는 가장 긴 선택지를 52.38%의 확률로 선택했으며, 가장 긴 선택지가 실제로 정답이었을 때는 이 비율이 70.93%까지 상승했습니다. 이는 LALM이 선택의 지름길으로 선택지의 길이에 의존할 수 있음을 시사합니다.

의의 및 기여

본 논문은 표준 MCQA 지표가 진정한 오디오 이해를 평가하기에 불충분함을 입증함으로써 LALM 평가의 결정적인 공백을 해결한다고 주장합니다. 구체적인 기여는 다음과 같습니다:

1. 언어적 편향의 정량화: 텍스트 전용 모델이 이러한 벤치마크의 상당 부분을 해결할 수 있음을 입증하여, 진정한 오디오 능력을 격리하기 위해 텍스트 전용 통제 모델이 필요함을 확립했습니다.
2. 취약성 입증: 선택지 순서나 어구의 미세한 변화(특히 오답)가 큰 성능 변화를 일으키며, 정확도 표준 편차가 최대 13.7%에 달한다는 것을 증명했습니다.
3. 길이 편향 식별: 패러프레이징이 옵션 길이를 변화시킬 때 모델이 긴 정답 후보를 선호하는 경향을 밝혀내어, 이것이 평가를 혼란스럽게 할 수 있음을 드러냈습니다.
4. 평가 프로토콜 제안: 정답도 비율(CoR)로 점수를 매기는 "혼합 섭동" 설정을 도입했습니다. 이 접근 방식은 실질적인 계산 비용으로 언어적 변동에 대한 모델의 민감도를 포착하며, 평균 정확도보다 더 신뢰할 수 있는 강건성 척도를 제공합니다.

저자들은 분야가 단일 숫자 형태의 정확도 보고를 넘어서야 한다고 결론짓습니다. 언어적 변이를 고려하고 텍스트 전용 베이스라인을 활용하는 프레임워크를 채택함으로써, 연구자들은 진정한 오디오 추론과 평가의 취약성으로 인한 결과물을 더 잘 구분할 수 있습니다.