🤖 AI

A Multi-Branch Hierarchy-Aware Framework for Heterogeneous Audio Classification

본 논문은 이질적인 오디오 분류 작업에서 최첨단 계층적 F1 점수를 달画하기 위해 CLAP 기반 표현, 증강된 학습 데이터, 그리고 KNN 기반 후처리를 활용하는 DCASE 2026 챌린지용 다중 분기 계층 인식 프레임워크를 제시한다.

원저자: Beile Ning, Jiayi Yu, Zitong Wang, Yufei Hu, Wenjun Xu, Yuanhang Qian, Zhongxin Bai, Gongping Huang

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Beile Ning, Jiayi Yu, Zitong Wang, Yufei Hu, Wenjun Xu, Yuanhang Qian, Zhongxin Bai, Gongping Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 도시를 걷고 있다고 상상해 보세요. 당신의 귀는 사이렌 소리, 개 짖는 소리, 창문을 때리는 빗소리, 그리고 환호하는 군중의 소리 등 혼란스러운 소리의 향연에 노출되어 있습니다. 당신의 뇌는 단순히 '소음'을 듣는 것이 아니라, 이 소리들을 즉각적으로 머릿속의 파일 분류함에 분류합니다. 뇌는 사이렌 소리가 '비상 차량'(상위 레벨)이며, 구체적으로는 '경찰차'(두 번째 레벨)라는 것을 알고 있습니다.

DCASE 2026 챌린지는 컴퓨터에게 바로 이 작업을 수행하도록 요구했습니다. 즉, 무질서한 실제 세계의 오디오 녹음을 듣고 이를 특정 '광범적 음향 분류 체계(Broad Sound Taxonomy, BST)'로 분류하는 것입니다. 핵심은 컴퓨터가 특정 소리를 정확히 맞히는 동시에, 그 소리가 올바른 큰 카테로리에 속하는지도 확인해야 한다는 점이었습니다. 만약 '경찰차'라고 추측했다면, 실수로 그것을 '새 소리'라고 불러서는 안 됩니다.

우슈 대학교(Wuhan University) 팀이 이 챌린지에서 우승하기 위해 어떻게 이들의 '슈퍼 리스너(super-listener)'를 구축했는지, 쉬운 비유를 통해 설명해 드립니다.

1. 핵심 두뇌: "CLAP" 번역기

이 시스템의 중심에는 CLAP이라 불리는 사전 학습된 AI가 있습니다. CLAP을 수백만 권의 책을 읽고 수백만 곡의 노래를 들은 다국어 통역사라고 생각해보세요. CLAP은 오디오를 텍스트와 연결함으로써 소리의 '의미'(예: "이것은 파티 소리 같다")를 이해합니다.

하지만 CLAP은 일반론적인 성격이 강합니다. 큰 개념은 잘 파악하지만, 매우 유사한 두 소리를 구별하는 데 필요한 아주 미세하고 구체적인 디테일은 놓칠 때가 있습니다. 팀은 이 일반론적인 모델에게 전문화된 도구 세트를 제공해야 했습니다.

2. 특화된 도구: 세 가지 다른 "귀"

CLAP이 디테일을 들을 수 있도록 돕기 위해, 팀은 세 가지 특화된 '음향 분지(acoustic branches)'를 추가했습니다. 당신의 메인 두뇌에 서로 다른 주파수에 맞춰진 세 쌍의 추가 귀를 달아준다고 상상해 보세요.

Log-Mel 귀: 이 귀는 악기의 *음높이(pitch)*와 *음색(timbre)*을 듣는 음악가와 같습니다. 소리의 '형태'를 인식하는 데 탁월합니다.
MFCC 귀: 이 귀는 언어의 구조를 분석하는 언어학자와 같습니다. 소리를 그 구성 요소 단위로 분해합니다.
Log-STFT 귀: 이 귀는 소리의 파동을 찍는 고속 카메라와 같습니다. 시간의 흐름에 따른 소리의 급격한 변화를 포착합니다.

마법 같은 지점: 팀은 단 하나만 선택하지 않았습니다. 세 가지 '귀'가 모두 소리를 듣게 한 다음, 그 의견들을 CLAP의 '두뇌'와 결합했습니다. 결과적으로 Log-STFT 귀가 독자적으로 가장 민감한 청취자로 나타났으며, 핵심적인 역할을 수행했습니다.

3. 훈련 장소: 더 크고 깨끗한 도서관

시스템을 가르치기 위해서는 방대한 양의 소리 예시 도서관이 필요했습니다.

문제점: 원래의 도서관(BSD10k)은 훌륭했지만 규모가 다소 작았습니다. 그들은 두 번째로 더 큰 도서관(BSD35k)을 발견했지만, 그곳은 엉망이었습니다. 마치 어떤 책은 제목이 잘못 달려 있거나 신뢰할 수 없는 저자가 쓴 책들이 섞여 있는 도서관과 같았습니다.
해결책: 그들은 BSD-Grand라는 새로운 도서관을 만들었습니다. 그들은 엄격한 사서처럼 행동했습니다.
- 그들은 '저자(업로더)'를 확인하여 동일한 소리를 1,000번씩 스팸처럼 올리지 않았는지 검사했습니다.
- '교사 모델(teacher model)'을 사용하여 레이블을 재검토하고, 제목이 틀린 책들은 폐기했습니다.
- 결과: 잘못된 데이터 때문에 혼란을 겪지 않도록 돕는, 더 깨в고, 더 크며, 더 다양한 훈련 세트를 구축했습니다.

4. 규칙집: 계층을 인식하는 사고방식

이 챌린지는 AI가 소리의 '가계도(family tree)'를 존중하도록 요구했습니다.

평면적 접근 방식: 이는 특정 카테고리를 모른 채 단순히 23개의 구체적인 정답만을 암기하는 학생과 같습니다. 이 학생은 '경찰차'를 맞혔더라도, 그것이 '비상 차량'에 속한다는 사실을 깨닫지 못할 수 있습니다.
계층적 접근 방식: 팀은 AI에 '규칙집'을 심어주었습니다. 그들은 두 가지 전략을 사용했습니다.
1. 전역 분류기 (Global Classifier): AI는 5개의 큰 그룹과 23개의 작은 그룹을 동시에 학습합니다. 이는 마치 학생이 단원의 제목과 세부 단락을 동시에 공부하는 것과 같습니다.
2. 지역 분류기 (LCL): AI는 먼저 큰 카테고리를 결정한 다음, 범위를 좁혀 구체적인 소리를 선택합니다. 만약 큰 카테고리가 '자연'이라고 판단했다면, '교통' 관련 소리는 아예 고려 대상에서 제외합니다. 이는 어처구니없는 실수를 방지합니다.

5. 최종 다듬기: "KNN" 이웃 감시단

학습이 끝난 후에도 AI는 때때로 망설였습니다. 이를 해결하기 위해 팀은 KNN (K-Nearest Neighbors) 후처리 단계를 추가했습니다.

비유: AI가 어떤 소리가 '고양이'인지 '강아지'인지 확신하지 못한다고 가정해 봅시다. 맹목적으로 추측하는 대신, AI는 자신의 '기억 저장소'에 있는 훈련 소리들을 살펴봅니다. 현재 소리와 가장 유사한 10개의 소리를 찾는 것입니다. 만약 그 이웃 중 9개가 '고양이'였다면, AI는 자신의 추측을 '고양이'로 업데이트합니다.
지식 증류 (Knowledge Distillation): 그들은 또한 이 '이웃 감시단' 로직을 학습 도중에도 사용하여 AI를 가르쳤습니다. 즉, "이웃들이 어떻게 생각하는지 보고, 그들과 일치하도록 노력하라"고 말하는 것과 같습니다.

결과: 그들은 어떻게 해냈는가?

팀은 단일 모델부터 투표를 통해 결정을 내리는 '위원회' 형태의 모델까지 총 네 가지 버전의 시스템을 제출했습니다.

베이스라인 (Baseline): 개선 사항이 적용되지 않은 시작점은 **78.45%**였습니다.
최고의 단일 모델: "Log-STFT 귀"와 "이웃 감시단"을 사용했을 때, 점수는 **80.84%**로 뛰어올랐습니다.
앙상블 (위원회): 그들의 가장 뛰어난 시스템은 Log-STFT 귀, Log-Mel 귀, 평면 분류기, 그리고 지역 분류기를 하나의 슈퍼 팀으로 결합한 것이었습니다. 이들의 투표 결과를 평균함으로써, 그들은 **81.25%**라는 점수를 달성했습니다.

요약하자면:
이 팀은 새로운 종류의 청각을 발명한 것이 아닙니다. 대신 일반적인 AI(CLAP)에게 전문화된 귀를 달아주고, 훈련용 도서관을 정비하며, 논리적인 소리의 가계도를 따르도록 강제하고, 최종 결정을 내리기 전에 '이웃'에게 자문을 구하게 함으로써 더 똑똑한 시스템을 구축했습니다. 이러한 조합을 통해 그들은 세상의 혼란스러운 소리들을 높은 정확도로 분류할 수 있었습니다.

기술 요약: 이종 오디오 분류를 위한 다중 분기 계층 인식 프레임워크

1. 문제 정의

본 연구는 다양한 콘텐츠, 녹음 조건 및 메타데이터 품질을 특징으로 하는 실제 녹음 데이터의 소리 이벤트 및 음향 장면을 인식하는 것을 목표로 하는 DCASE 2026 챌린지의 Task 1을 다룹니다. 이 챌린지는 **광범위한 소리 분류 체계(Broad Sound Taxonomy, BST)**에 따라 이종 오디오 녹음을 탐지하고 분류하는 데 중점을 둡니다.

분류 작업은 다음과 같이 계층적으로 구성됩니다:

상위 레벨(Top-level): 5개의 광범위한 클래스.
두 번째 레벨(Second-level): 상위 레벨 클래스 아래에 그룹화된 23개의 구체적인 카테고리.

주된 평가 지표는 **계층적 F1 점수(Hierarchical F1 score, Hier. F1)**입니다. 따라서 성공적인 시스템은 구체적인 두 번째 레벨 클래스를 정확하게 예측할 뿐만 아니라, 그에 대응하는 상위 레벨 카테고리와의 일관성을 유지해야 합니다.

2. 방법론

제안된 시스템은 CLAP(Contrastive Language-Audio Pretraining) 오디오-텍스트 표현을 기반으로 구축되었으며, 데이터셋 확장, 다중 분기 음향 모델링, 계층 인식 예측 정교화라는 세 가지 핵심 전략을 통해 이를 강화합니다.

2.1. 데이터셋 확장: BSD-Grand

데이터 다양성을 개선하고 레이블 노이즈를 완화하기 위해, 저자들은 BSD-Grand라는 확장된 훈련 세트를 구축했습니다. 이 데이터셋은 공식 BSD10k-v1.2 훈련 데이터와 필터링된 BSD35k의 하위 집합을 결합합니다.

필터링 전략: BSD35k 하위 집합은 카테고리별 메타데이터 정제(업로더별 템플릿 및 노이즈가 있는 설명 제거), BSD10k-v1.2 모델을 사용한 교사 모델(Teacher-model) 필터링, 그리고 편향을 줄이기 위한 업로더 수준의 제약(업로더당 샘플 수를 200개로 제한)을 거쳤습니다.
결과: 최종 BSD-Grand 훈련 매니페스트는 20,529개의 샘플(BSD10k-v1.2에서 10,956개, BSD35k에서 9,573개)을 포함합니다.

2.2. 다중 분기 음향 프레임워크

이 아키텍처는 CLAP이 포착하는 고수준의 의미론적 정보를 보완하기 위해 **특징별 음향 분기(feature-specific acoustic branches)**를 도입하여 표준 CLAP 모델을 확장합니다.

음향 분기: 세 개의 서로 다른 분기가 각기 다른 음향 특징을 처리하며, 각 분기는 입력을 압축된 임베딩으로 인코딩한 후 게이트형 잔차 융합(gated residual fusion) 모듈을 통해 CLAP 오디오 임베딩과 결합됩니다.
- log-Mel 분기: 어텐션 풀링(attention pooling)을 갖춘 다중 팽창 주파수 동적 컨볼루션(Multi-Dilated Frequency Dynamic Convolution, MDFD) 인코더를 사용합니다.
- MFCC 분기: 평균-최대 풀링(mean-max pooling)을 사용하는 잔차 시간 지연 신경망(residual TDNN)을 사용합니다.
- log-STFT 분기: 시간적 풀링(temporal pooling)을 사용하는 6계층 트랜스포머(Transformer)를 사용합니다.
텍스트 적응: **하이웨이 게이트 어댑터(Highway Gate Adapter)**가 log-STFT 분기에 특화되어 적용됩니다. 이는 학습 가능한 하이웨이 게이트에 의해 제어되는 CLAP 텍스트 임베딩으로부터 태스크 특화 잔차 표현( $\Delta t$ )을 생성하여, 사전 학습된 의미를 보존하면서 텍스트 표현을 적응적으로 정교화합니다.

2.3. 계층 인식 예측 헤드

5개의 상위 레벨과 23개의 두 번째 레벨 카테고리 간의 계층적 관계를 활용하기 위해, 시스템은 세 가지 분류 헤드 변형을 조사합니다.

Flat Head: 상위 레벨 분류 체계를 무시하고 융합된 표현을 23개 클래스로 직접 투영합니다.
Global Classifier (GC) Head: 상위 레벨과 두 번째 레벨 카테고리에 대한 예측을 동시에 출력하는 멀티 태스크 학습 방식으로, 가중 합산된 크로스 엔트로피 손실을 통해 최적화됩니다.
Local Classifier per Level (LCL) Head: 각 레벨에 대해 별도의 분류기를 훈련시키되, 추론 시에는 하향식 교정 메커니즘(예: 확률 곱셈)을 사용하여 계층적 일관성을 강제하고 상위 레벨의 오류가 하위 레벨로 전파되는 것을 방지합니다.

2.4. KNN 기반 사후 처리 및 지식 증류

시스템은 예측을 정교화하기 위해 K-최근접 이웃(K-Nearest Neighbors, KNN) 전략을 사용합니다.

사후 처리: 훈련된 log-STFT 모델과 원래의 CLAP 임베딩에서 추출한 결합된 특징 표현을 사용하여 훈련 임베딩 뱅크를 구축합니다. 평가 샘플의 경우, 최종 예측은 모델의 출력과 뱅크 내 $k$ -최근접 이웃으로부터 유도된 이웃 사전 확률(neighbor prior)의 가중 결합입니다.
지식 증류: KNN 기반의 이웃 사전 확률은 훈련 중 소프트 감독(soft supervision)을 위해서도 사용됩니다. 학생 모델은 정답 레이블과 교사 모델에 의해 생성된 KNN 기반 타겟 분포를 모두 사용하여 최적화됩니다.

3. 실험 결과

실험은 BSD10k-v1.2 데이터셋에 대해 5-겹 교차 검증(5-fold cross-validation)을 사용하여 수행되었습니다.

3.1. 구성 요소 분석

데이터셋 영향: 베이스라인(BSD10k-v1.2)에서 BSD-Grand로 이동했을 때 Hier. F1이 **78.45%**에서 **79.64%**로 향상되었습니다.
특징 분기: 음향 분기 중, log-STFT 분기가 가장 강력한 단일 모델 성능(80.54% Hier. F1)을 보였으며, 이는 log-Mel(79.95%)과 MFCC(80.13%)를 능가하는 수치입니다.
예측 헤드: Flat 헤드가 단일 헤드 변형 중 가장 높은 성능(80.57%)을 달성했으며, LCL(80.20%)과 GC(80.01%)가 그 뒤를 이었습니다.
사후 처리: log-STFT 모델에 KNN 기반 사후 처리를 적용했을 때 성능이 80.84% Hier. F1로 더욱 향상되었습니다.

3.2. 제출된 시스템 성능

저자들은 네 가지 시스템을 제출하였으며, 최상의 결과는 다음과 같이 요약됩니다.

System 1 (단일 모델): KNN 사후 처리가 적용된 log-STFT 아키텍처. 80.84% Hier. F1을 달성했습니다.
System 3 (앙상블, 5-fold CV): 5-겹 교차 검증으로 훈련된 KD-log-STFT, log-Mel, Flat, LCL 모델의 앙상블. 이 시스템은 최고 종합 성능인 81.25% Hier. F1을 달성했습니다.
System 4 (확장 앙상블): MFCC 및 GC 헤드를 포함하는 확장 앙상블. 81.18% Hier. F1을 달성했습니다.

모든 제출된 시스템은 베이스라인인 78.45%를 크게 상회했습니다.

4. 의의 및 주장

본 논문은 제안된 프레임워크가 다음과 같은 과정을 통해 CLAP 기반 베이스라인에 대해 일관된 개선을 보여준다고 주장합니다.

데이터셋 확장: BSD-Grand의 구축은 데이터 다양성을 높이는 동시에 레이블 노이즈와 업로더 편향을 효과적으로 줄입니다.
특징 다양화: 특징별 음향 분기(특히 log-STFT)의 통합은 CLAP의 풍부한 의미론적 정보와 상호 보완하며, 텍스트-오디오 정렬에만 의존하는 한계를 해결합니다.
계층적 일관성: 계층 인식 헤드(특히 하향식 교정이 적용된 LCL)와 KNN 기반 정교화의 사용은 예측이 BST 분류 체계 구조를 준수하도록 보장합니다.
앙상블 시너지: 상호 보완적인 음향 특징과 분류 전략을 가진 모델들을 결 조합함으로써 최상의 결과를 얻었으며, 이는 이종 오디오 분류를 위한 앙상블 학습의 이점을 강조합니다.

저자들은 자신들의 최상 앙상블 시스템(System 3)이 **81.25%**의 Hier. F1을 달성함으로써, DCASE 2026 Task 1 챌린지를 위한 다중 분기 음향 모델링 및 계층 인식 정교화의 유효성을 입증했다고 결론짓습니다.