ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions

기술 요약: ESCUCHA – 이질적인 음향 조건에서의 스페인어 음성 벤치마크

문제 정의

대규모 오디오 언어 모델(LALM)의 급격한 발전에도 불구하고, 현실적이고 이질적인 음향 조건 하에서의 음성 이해를 위한 견고한 평가 프레임워크는 여전히 부족한 실정이다. 기존의 벤치마크들은 주로 영어 중심적이며, 규범적(낭독 또는 선별된) 음성에 의존하며, 기존 데이터셋에서 파생됨에 따라 훈련-테스트 간 오염(contamination) 문제를 겪는 경우가 많다. 결정적으로, 신경 운동 장애(예: ALS, 뇌졸중 후 구어 장애)의 영향을 받은 음성과 같이 조음, 운율, 명료도 측면에서 어려움을 주는 **비규범적 음성(non-normative speech)**을 모델이 어떻게 처리하는지를 평가하는 데 있어 상당한 공백이 존재한다. 또한, 현재의 다국어 벤치마크들은 스페인어를 제외하거나, 진정한 오디오 이해를 요구하지 않는 텍스트 기반의 협소한 독해 과제만을 통해 스페인어를 평가하고 있다.

방법론

저자들은 다양한 음향 조건과 추론 능력을 가로질러 LALM을 평가하기 위해 설계된 최초의 스페인어 음성 이해 벤치마크인 ESCUCHA를 소개한다. 벤치마크 구축은 4단계 파이프라인을 따랐다:

1. 대상 및 카테고리 정교화: 질문 유형과 지각 및 추론 기술에 기반한 다중 레이블 분류 체계 정의.
2. 오디오 선택 및 질문 작성: 공공 기록(주로 YouTube)에서 "in-the-wild" 오디오 162.9시간을 소싱하였으며, 자발적 발화를 선호하도록 구성하였다. 여기에는 자기 보고된 진단 및 메타데이터를 바탕으로 한 병리적 음성(ALS 및 뇌졸중)에 대한 특정 검색 전략이 포함되었다.
3. LLM 지원 검토: LLM(Gemma-4-31B-IT)을 사용하여 카테고리 할당, 오디오 필요성, 오답(distractor)의 품질, 문법적 정확성에 대해 수동 검증을 위한 항목을 식별하였다.
4. 평가: 인간 주석가(human annotators)와 모델을 비교 벤치마킹함.

벤치마크 구성:

• 규모: 전문가가 큐레이션한 1,000개의 질문과 오디오 쌍.
• 길이: 6.7초에서 85.2분까지 다양함 (중앙값 86.2초), 총 162.9시간.
• 분류 체계: 각 질문은 9개의 지각 카테고리(예: 어휘 인식, 화자 식별, 준언어적 감정)와 10개의 추론 카테고리(예: 인과 추론, 양적 추론, 시간적 순서)를 포함하는 다중 레이블 분류 체계로 주석이 달림.
• 과제 유형:
  • MCQA (900개 항목): 2~4개의 선택지가 있는 객관식 질문.
  • 오디오 지시 이행 (AIF) (100개 항목): 지시 사항이 음성 오디오를 통해 전달되는 개방형 과제로, 모델이 제약 조건을 복구하고 따라야 함.
  • 비교 (254개 항목): 두 개의 별도 오디오 클립을 연관시켜야 하는 질문.
  • 음성 질문 (100개 항목): 프롬프트 자체가 오디오 내에 포함된 질문.
• 비규범적 서브셋: 158개 질문(15.8%)은 ALS(114개) 또는 뇌졸중 상태(44개)의 화자로부터 나온 병리적 음성을 특징으로 하며, 명료도 수준에 대한 주석이 달려 있음.

실험 설정

본 연구는 단순 전사(transcription)나 텍스트 사전 지식(text priors)을 통해 회복 가능한 능력과 실제 오디오 이해 능력을 구분하기 위해 다양한 시스템을 평가하였다:

• End-to-End LALMs: Audio-Flamingo-3, Qwen2.5-Omni, Qwen3-Omni-30B-A3B, Voxtral-Mini, Gemma-4-12B-IT, Gemini-2.5-Flash 포함.
• 계층형 시스템 (Cascaded Systems): Whisper-Large-v3를 사용하여 전사한 후 Qwen3-4B-Instruct-2507을 사용하는 파이프라인.
• 텍스트 전용 LLM: 질문과 선택지는 제공되나 오디오 입력은 없는 모델들 (Gemma-4 변체들, Qwen3-4B).
• 베이스라인: 무작위 추측, 위치 베이스라인(항상 특정 옵션 선택), 훈련된 인간 주석가.

주요 결과

• 인간-모델 격차: 훈련된 인간 주석가는 전체 정확도 **90.10%**를 달성하였으며, 이는 가장 우수한 모델인 Qwen3-Omni-30B-A3B(74.40%)를 크게 상회하였다. 다른 대부분의 오디오 모델은 49%에서 53% 사이에 분포했다.
• 병리적 음성 성능: 규범적 음성에서 병리적 음성으로 전환될 때 대부분의 모델에서 일관된 성능 저하가 관찰되었다. 예를 들어, Gemini-2.5-Flash와 Gemma-4-12B-IT는 각각 19 및 15 퍼센트 포인트 하락했다. 반면, Qwen3-Omni-30B-A3B와 Voxtral-Mini는 병리적 항목에서 점수를 유지하거나 약간 향상시켰다.
• 전사 충분성 (Transcription Sufficiency): 계층형 시스템(Whisper + LLM)은 전체 **60.00%**를 달성하여, Qwen3-Omni-30B-A3B를 제외한 모든 오디오 모델보다 높은 성적을 거두었다. 이는 벤치마크의 상당 부분이 전사본으로부터 회복 가능한 어휘적 이해에 의존하고 있음을 시사한다.
• AIF 성능: Qwen3-Omni-30B-A3B는 오디오 지시 이행(AIF)에서 **88.00%**를 기록하여, 이 특정 서브셋에 대한 인간 점수인 79.00%를 넘어섰다.
• 텍스트 전용 베이스라인: 텍스트 전용 모델은 Gemma 변체들의 경우(오디오 없이 답변을 거부함으로 인해) 무작위 추측에 가까운 점수를 보였으나, Qwen3-4B는 41.00%를 기록하여 질문 구조와 언어적 사전 지식이 오디오 없이도 부분적인 해결을 가능하게 함을 보여주었다.

의의 및 주장

본 논문은 다음과 같은 세 가지 주요 이유로 ESCUCHA가 중요한 진전이라고 주장한다:

1. 최초의 In-the-wild 스페인어 벤치마크: 실제 환경에서 추출된 스페인어 오디오와 질문을 평가하는 최초의 벤치마크로서, 큐레이션된 데이터셋의 오염 위험을 피했다.
2. 비규범적 음성 평가: 병리적 음성(ALS 및 뇌졸중)에 대한 음성 이해와 추론을 구체적으로 평가하는 최초의 벤치마크이며, 이는 깨끗한 낭독 오디오로 주로 훈련된 현재 LALM들의 지속적인 약점을 부각시킨다.
3. 포괄적인 추론 평가: MCQA와 비교, 음성, 지시 이행 과제를 결합함으로써 다양한 조건에서의 LALM 동작에 대한 폭넓은 평가를 제공하며, 인간 능력과의 상당한 성능 격차를 드러낸다.

저자들은 현재의 모델들이 특히 지시 이행 측면에서 유망함을 보여주지만, 여전히 복잡한 실제 환경의 비규범적 스페인어 음성에 어려움을 겪고 있으며, 진정한 음향적 추론은 전사만으로는 해결할 수 없는 별개의 도전 과제임을 결론지었다.