Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification

=== 기술 요약: 폐쇄형 집합 음원 식별을 위한 오디오-언어 모델 및 전통적 분류기의 계층적 벤치마크 ===

1. 문제 정의

일상적인 소리(예: 사이렌, 초인종, 흐르는 수도꼭지)의 출처를 식별하는 작업은 인간에게는 매우 쉬운 일이지만, 역사적으로는 고정된 레이블 어휘(예: AudioSet)를 위해 학습된 목적 특화형 오디오 분류기를 필요로 해왔습니다. 네이티브 오디오 입력을 갖춘 범용 멀티모달 대규모 언어 모델(LLM)과 오디오 기반 LLM, 그리고 자기 지도 학습 인코더의 등장은 제품 개발자들에게 다음과 같은 중요한 실무적 질문을 던집니다: 관심 있는 소리의 집합이 고정되어 있을 때, 어떤 클래스의 방법을 사용해야 하며, 그 답변을 얼마나 신뢰할 수 있는가?

문제는 이러한 방법론적 가족들이 서로 다른 평가 패러다임 때문에 상호 교환이 불가능하다는 점에 있습니다. 멀티모달 LLM은 후보 목록을 제공받아 답을 선택하도록 프롬프트를 줄 수 있습니다. 반면, 고정 어휘 태거(tagger)는 후보 목록이라는 개념이 없으며, 사후적으로 타겟 분류 체계에 매핑하여 점수를 산출해야 합니다. 제로샷 모델은 텍스트 유사도를 기반으로 후보를 순위 매기며, 오픈 보캐블러리 LLM은 2차 채점을 필요로 하는 자유 텍{ext}을 생성합니다. 이러한 근본적으로 다른 설정들을 단순히 원시 정확도(raw accuracy)로 비교하는 것은 "더 나은 오디오 이해력"과 "더 쉬운 과제 프레이밍"을 혼동할 위험이 있습니다.

2. 방법론

데이터셋

본 연구는 2,242개의 짧은 오디오 클립을 활용하며, 이는 23개의 세밀한 클래스(예: 사이렌 - 경찰차, 초인종 - 무선)로 구성되며, 다시 이들은 11개의 더 넓은 카테고리(예: 사이렌, 초인종)로 통합됩니다.

평가 프레임워크: 4개 계층 (Four Tiers)

평가 패러다임의 불일치를 해결하기 위해, 저자들은 11개의 방법을 단일 리더보드가 아닌 네 가지 별도의 계층으로 그룹화했습니다. 모든 방법은 동일한 데이터셋과 정답(ground truth)에 대해 평가됩니다.

• 계층 A (과업 인지형 폐쇄 집합, 완전 일치): 네 개의 Gemini 모델과 오픈 웨이트 모델인 Kimi-Audio-7B-Instruct에 오디오 클립, 23개의 알파벳으로 된 고정 후보 레이블 리스트, 그리고 하나의 알파벳을 정확히 선택하기 전 추론(chain-of-thought)을 수행하라는 지침을 제공합니다. 점수는 문자열의 완전 일치 여부를 기준으로 합니다.
• 계층 B (과업 불가지론적 고정 어휘, 사후 매핑): 네 개의 전통적 분류기(YAMNet, PANNs, Whisper-AT, SSLAM)를 23개 클래스 분류 체계를 모른 채 실행합니다. 이들은 고유의 약 527개 클래스인 AudioSet 어휘를 바탕으로 점수를 출력합니다. 예측값은 수동으로 구축된 룩업 테이블(exact 또는 approximate 매칭으로 태깅됨)을 통해 타겟 분류 체계로 매핑되며, 가장 높은 순위의 매핑된 레이블을 기준으로 점수를 산출합니다.
• 계층 C (제로샷 오디오-텍스트 유사도): CLAP에 23개의 후보를 자연어 설명 형태로 제공합니다. CLAP은 생성적 추론 없이 오디오와 텍스트 임베딩 간의 코사인 유사도를 통해 후보의 순위를 매깁니다.
• 계층 D (오픈 보캐블러리 생성 및 LLM 판정 채점): BAT(오디오 기반 LLM)를 자유 텍스트 질의응답 모드로 실행합니다. 이 답변은 독립적인 LLM 판정기(Gemini-2.5-flash-lite)에 의해 동의어나 유사 표현을 허용하는 방식으로 정답 여부가 채점됩니다.

지표

연구는 원시 정확도 대신 **매크로 평균 정밀도(Precision), 재현율(Recall, TPR), F1 스코어, 그리고 허위 미검출률(False-Negative Rate, FNR)**을 보고합니다. 이는 환경 음향 분류(ESC) 문헌의 관례를 따르는 것이며, 이산적인 예측 클래스가 존재하지 않는 계층 D에서도 지표가 명확하게 정의되도록 보장합니다.

이차 분석

계층 A의 네 가지 Gemini 모델에 대해, 저자들은 8,968개의 사고 체인(chain-of-thought) 트레이스를 분석하여 추론 전략(예: 상세한 음향 분석 vs. 전체적인 패턴 매칭)과 신뢰도 보정(confidence calibration)의 특성을 파악했습니다.

3. 주요 결과

계층 및 세밀도별 성능

• 카테고리 수준 (11개 클래스): 과업 불가지론적 방법들(계층 B 및 C)이 놀라울 정도로 우수한 성능을 보입니다. SSLAM(계층 B)과 CLAP(계층 C)은 최상위 계층 A 모델인 Gemini-3.1-Pro-Preview의 F1 점수(87.3%~89.1%)와 대등하거나 이를 능가합니다(85.6%).
• 세밀한 수준 (23개 클래스): 성능 지형이 변화합니다. Gemini-3.1-Pro-Preview는 **56.7%**로 가장 높은 F1을 달성합니다. CLAP이 50.6%로 그 뒤를 바짝 쫓습니다. 전통적 태거들(계층 B)은 성능이 급격히 하락하여, SSLAM은 38.0%, YAMNet은 23.7%를 기록했습니다.
• Kimi-Audio-7B-Instruct: 계층 A의 유일한 오픈 웨이트 모델로서, 카테고리 F1에서 **67.5%**라는 경쟁력 있는 성적을 냈으나, 세밀한 수준의 F1에서는 **32.9%**로 떨어져 계층 A 모델 중 최하위를 기록했습니다. 특히, 36개의 샘플(원래 2,242개 중 1.6%)이 반복 루프나 거부 반응으로 인해 점수를 산출할 수 없는 답변을 생성하였으며, 이들은 평가에서 제외되었습니다. 이에 따라 이 모델의 평가 세트는 N=2,206이 되었으며, Gemini 모델들은 제외된 샘플이 0%였습니다.

구조적 오류 모드

카테고리와 세밀한 수준 사이의 정확도 격차는 단순한 노이즈가 아니라 특정 구조적 실패에 집중되어 있습니다:

• 거리 판단: 모델들은 *멀리서 들리는 물 흐르는 소리(Water Running - Distant Source)*와 *가까운 소리(Close Source)*를 구분하지 못합니다 (계층 A 모델들의 F1 ≈ 0).
• 음향적 모호성: *무선 초인종(Doorbell - Wireless)*은 음향적 유사성 때문에 *가전제품 알람(Appliance Alarm)*이나 *기계식 초인종(Doorbell - Mechanical)*으로 자주 혼동됩니다.
• 사이렌 하위 유형: 모델들은 강한 사전 확률(prior)을 보입니다. 예를 들어, 일부는 불확실한 상황에서 기본적으로 *경찰차(Police)*로 설정하는 경향이 있고, 다른 모델은 *구급차(Ambulance)*로 설정합니다. Kimi-Audio는 모든 사이렌 하위 유형을 구급차로 붕괴시키며 극단적인 편향을 보입니다 (경찰차 샘플의 98%를 구급차로 예측).

추론 및 신뢰도 분석 (Gemini 모델)

• 장황함 vs. 정확도: 가장 정확한 모델(Gemini-3.1-Pro-Preview)은 가장 간결하며(평균 52단어/응답), 가장 부정확한 모델(Gemini-2.5-Pro)은 가장 장황합니다(360단어). 응답 길이는 정확도를 예측하지 못합니다.
• 전략 혼동(Strategy Confound): "전체적인 패턴 매칭"이 "상세한 음향 분석"보다 높은 정확도를 낸다는 상관관계가 나타났으나, 이는 **난이도 혼동(difficulty confound)**입니다. 모델들은 쉽고 명확한 소리에 대해서는 전체적인 판단을 내리고, 어려운 사례에 대해서는 상세한 분석으로 전환합니다. 클래스 난이도를 통제하면 이러한 전략 효과는 사라집니다.
• 신뢰도 보정: 모델들은 보정이 제대로 이루어지지 않았습니다. **92~100%**의 오답이 높은 확신을 가진 언어(예: "명확하게", "분명히")와 함께 제시되었습니다. 사고 체인 내에서 정답과 오답을 구분할 수 있는 신뢰할 만한 언어적 신호는 존재하지 않습니다.

4. 주요 기여

1. 4계층 평가 프레임키: 동일한 데이터에 대해 과업 인지형 LLM, 과업 불가지론적 태거, 제로샷 모델, 오픈 보캐블러리 LLM을 비교하는 구조화된 접근 방식을 제시하며, 왜 계층 간 비교가 엄격한 순위 매기기가 아닌 방향성 있는 비교여야 하는지를 명시했습니다.
2. 포괄적 벤치마크: 11개 방법과 23개 클래스 및 11개 카테고리에 대한 전체 지표(Precision, Recall, F1, FNR)와 혼동 행렬을 제공하며, Kimi-Audio-7B-Instruct의 최초 폐쇄형 평가를 포함했습니다.
3. 추론 분석: 8,968개의 LLM 트레이스를 분석하여 응답 길이가 정확도를 예측하지 못하며, 겉으로 보이는 전략-정확도 상관관계는 난이도에 의해 혼동되며, 현재의 모델들이 신뢰할 만한 불확실성 신호를 제공하지 못한다는 점을 밝혀냈습니다.

5. 의의 및 실무적 가이드라인

본 논문은 모든 세밀도와 과업 프레이밍에서 압도적인 단일 방법론은 존재하지 않는다고 주장합니다.

• 광범위한 범주화의 경우: 과업 불가지론적 태거(SSLAM, PANNs) 또는 제로샷 모델(CLAP)이 충분히 효과적이며, 샘플당 LLM 호출을 요구하지 않습니다.
• 세밀한 식별의 경우: 후보 리스트를 명시적으로 제공하는 과업 인지형 LLM(계층 A) 또는 제로샷 유사도(계층 C)가 현재로서는 가장 강력한 옵션이지만, 여전히 특정 음향적 구별(거리, 방향성 및 음향적으로 인접한 하위 유형)에는 어려움을 겪습니다.
• 오픈 웨이트 모델의 생존 가능성: Kimi-Audio-7B-Instruct는 폐쇄형 과업을 위한 실행 가능한 자가 호스팅 대안이 될 수 있지만, 세밀한 정확도의 손실과 평가 지표에서 제외되어야 하는 파싱 불가능한 출력 발생이라는 비용이 따릅니다.

본 연구는 "전체적인 판단이 상세한 분석보다 낫다"는 관찰이 난이도 혼동에 의한 것임을 결론지으며, 현재의 모델들이 틀렸을 때를 알리는 신뢰할 만한 신호를 거의 제공하지 못한다는 점이 인간 개입(human-in-the-loop)이 필요한 프로덕션 배포 환경에서 치명적인 한계라고 경고합니다.