기술 요약: 대규모 사운드 임베딩 벤치마크 (MSEB) 에 대한 LLM 벤치마킹

문제 제기

청각 지능 분야는 Whisper 와 텍스트 기반 LLM 과 같은 별도의 인코더를 사용하는 캐스케이드 파이프라인과 같은 전문화된 단일 모달 시스템에서, 엔드투엔드 추론을 가능하게 하기 위해 오디오 처리를 신경망 구조에 직접 통합하는 통합형 "오디오 네이티브" 대규모 언어 모델 (LLM) 로의 패러다임 전환을 겪고 있습니다. 제미니 3 와 GPT-5 와 같은 차세대 모델들이 이러한 통합 아키텍처를 향해 나아가고 있지만, 사운드 이해의 전체 스펙트럼에 걸친 진전을 측정할 엄격한 프레임워크가 부족합니다. 기존 벤치마크는 종종 특정 작업이나 영어 전용 의미론에 초점을 맞추어 진정한 멀티모달 청각 지능에 필요한 폭을 포착하지 못합니다. 본 논문은 오디오 네이티브 LLM 이 다양한 오디오 작업 전반에 걸쳐 전문화 시스템 및 전통적인 캐스케이드 접근법과 기능적 동등성을 달성할 수 있는지 평가할 필요성에 대응합니다.

방법론

저자들은 **대규모 사운드 임베딩 벤치마크 (MSEB)**를 사용하여 제미니 및 GPT 계열을 포함한 주요 LLM 들에 대한 엄격한 실증 평가를 수행했습니다. 이 연구는 MSEB 가 정의한 여덟 가지 고유한 "슈퍼 작업"을 해결하기 위해 멀티모달 LLM 을 적응시키는 과정을 포함했습니다:

1. 전사 (Transcription): 음성에서 텍스트로의 변환.
2. 검색 (Retrieval): 음성 검색 및 지식베이스 쿼리 (동일 언어 및 교차 언어).
3. 추론 (Reasoning): 오디오 입력에 기반한 직접적인 질문 응답.
4. 분류 (Classification): 의도, 화자 성별, 사운드 이벤트 식별.
5. 재순위화 (Reranking): 전사 가설 정제.
6. 세그멘테이션 (Segmentation): 타임스탬프와 함께 중요한 용어 (키워드) 로컬라이제이션.
7. 클러스터링 (Clustering): 오디오 샘플의 비지도 그룹화.
8. 재구성 (Reconstruction): 파형 재생을 통한 임베딩 충실도 측정.

실험 설정:

• 평가 모델: 이 연구는 독점 오디오 네이티브 LLM(제미니 2.5/3 플래시, GPT-4o-mini-audio) 과 전문화 및 캐스케이드 베이스라인 (Whisper large-v3, GPT-4o-transcribe, ElevenLabs, LAION Clap, 제미니 임베딩) 을 비교했습니다.
• 프롬프트 엔지니어링: 평가를 통일하기 위해 저자들은 특정 프롬프트 템플릿을 사용하여 다양한 작업을 표준화했습니다. 생성형이 아닌 작업 (예: 검색, 세그멘테이션) 의 경우 구조화된 JSON 출력을 사용했으며, 필요에 따라 컨텍스트 창 제약을 처리하기 위해 검색 증강 생성 (RAG) 파이프라인을 활용했습니다.
• 지표: 성능은 단어 오류율 (WER), 평균 정밀도 (MAP), 정규화된 할인 누적 이득 (NDCG), F1 점수, 평균 역순위 (MRR) 와 같은 작업별 지표를 사용하여 정량화되었습니다.
• 데이터셋: 평가는 17 개 언어와 26 개 지역을 다양한 잡음 조건으로 포괄하는 SVQ(Simple Voice Questions), Speech-MASSIVE, FSD50K 데이터셋을 활용했습니다.

주요 기여

1. LLM 적응: 저자들은 작업별 프롬프팅을 통해 생성형 (추론) 과 비생성형 (검색, 분류) 도전 과제를 모두 포함하는 MSEB 오디오 작업의 다양한 범위를 해결하기 위해 멀티모달 LLM 을 성공적으로 적응시켰습니다.
2. 종합 평가: 모든 여덟 가지 MSEB 기능에 걸쳐 현대적 다국어 LLM 과 최첨단 전문화/캐스케이드 시스템 간의 정면 비교가 수행되었습니다.
3. 오디오 - 텍스트 동등성 분석: 이 연구는 직접 오디오를 처리하는 것과 전사된 텍스트를 처리하는 것 사이의 성능 격차를 분석했으며, 모델링 접근 방식 (네이티브 대 캐스케이드), 음향 강건성, 지역별 변이와 같은 차원을 검토했습니다.
4. 공개 기여: 결과는 공개 리더보드에 기여되었으며, MSEB 툴킷을 확장하여 구현이 오픈소스로 공개되었습니다.

결과

실증 결과는 단일 "최적" 모델링 접근 방식이 보편적으로 우월하다는 것이 나타나지 않는 복잡한 지형을 보여줍니다:

• 모달리티 격차: 오디오 네이티브 모델과 텍스트 기반 대응 모델 (또는 정답 전사본) 사이에는 여전히 상당한 성능 격차가 존재합니다. 일부 모델 (예: 제미니 3 플래시) 은 추론 작업에서 이 격차를 좁히는 데 유망한 모습을 보이지만, 다른 모델들은 원시 오디오를 처리할 때 지시 따르기에서 어려움을 겪습니다 (예: GPT-4o-mini-audio 가 대화식 채움 없이 그대로의 전사를 생성하지 못함).
• 작업별 성능:
  • 전사: 전문화 ASR 모델 (GPT-4o-transcribe, ElevenLabs) 은 단어 오류율 (WER) 에서 오디오 네이티브 LLM 을 크게 능가했습니다.
  • 분류: 제미니 모델은 의도 및 사운드 분류에서 강력한 성능을 보였으며, 종종 LAION Clap 과 같은 전문화 모델을 능가했습니다. 다만, 저자들은 이것이 부분적으로 테스트 데이터 오염 (모델이 사전 학습 중 벤치마크 데이터를 접했을 가능성) 에 기인할 수 있다고 의심합니다.
  • 검색 및 재순위화: 오디오 네이티브 모델은 재순위화에서 moderate 한 성공을 보였으나, 초기 검색을 위한 전문화 임베딩 (제미니 임베딩) 을 사용하는 캐스케이드 접근법에는 일반적으로 뒤처졌습니다.
  • 세그멘테이션: LLM 은 ASR 기반 모델에 비해 중요한 용어 세그멘테이션, 특히 타이밍 정확도에서 부진한 성능을 보였습니다.
• 강건성과 지역: 지역별 성능 변이는 상당했습니다. 여러 모델은 특정 지역에서 WER 이 100% 를 초과하는 이상치를 생성했습니다. 음향 강건성은 작업에 따라 달랐으며, 추론 점수는 잡음 수준과 관계없이 정체되어 환경적 잡음보다는 모델 용량이 병목 현상임을 시사했습니다.
• 데이터 오염: 저자들은 잠재적인 데이터 오염을 확인했는데, 극도로 높은 WER 을 보이는 지역에서 높은 제로샷 의도 분류 점수와 검색 성공률은 모델이 벤치마크 데이터를 암기했거나 검색이 문자 그대로의 전사 정확도와 분리되어 있을 수 있음을 시사합니다.

중요성과 주장

본 논문은 오디오 네이티브와 캐스케이드 아키텍처 간의 선택이 우월성의 이분법적 결정이 아니라, 지연 시간, 비용, 추론 깊이와 관련된 특정 사용 사례 요구 사항에 크게 의존한다고 결론지었습니다.

• 동등성 상태: 저자들은 오디오 네이티브 모델이 빠르게 진화하고 있지만, 성능과 강건성 측면에서 여전히 상당한 모달리티 격차가 존재한다고 주장합니다. "나는 입력한다"와 "나는 말한다" 모달리티는 아직 모든 작업에서 완전한 기능적 동등성을 달성하지 못했습니다.
• 아키텍처 미래: 이 논문은 음성 및 언어 구성 요소 간의 결합 여부와 관계없이, 이러한 모듈이 최적의 다운스트림 성능을 달성하기 위해 공동 설계되고 공동 최적화되어야 한다고 주장합니다.
• 겸손한 전망: 저자들은 현재 분야의 상태에 대해 겸손한 입장을 견지하며, "최적" 모델링 접근 방식에 대한 실증적 증거는 여전히 결론이 나지 않았다고 명시합니다. 그들은 데이터 오염이나 작업별 편향으로 인한 능력 과대평가를 방지하기 위해 오디오 네이티브 표준으로의 전환에는 MSEB 와 같은 엄격한 프레임워크가 필요하다고 강조합니다.

향후 연구는 고 파라미터 프런티어 모델 (예: Gemma 3, Qwen2.5-Omni) 로의 평가 확장과 RAG 파이프라인에 최신 멀티모달 임베딩 모델을 통합하는 것을 제안합니다.