⚡ electrical engineering

Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss

본 논문은 풍부한 미라벨링 데이터를 효과적으로 활용하기 위해 컨디셔널 믹스업(conditional mixup)과 임베딩 레벨의 대조 학습 손실(embedding-level contrastive loss)을 결结合한 준지도 음향 이벤트 탐지 프레임워크를 제안하며, 이를 통해 DESED 데이터셋에서 최첨단 성능을 달성한다.

원저자: Nian Shao, Xian Li, Xiaofei Li

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nian Shao, Xian Li, Xiaofei Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 로봇에게 시끄러운 주방에서 서로 다른 소리를 인식하는 법을 가르치려 한다고 상상해 보세요. 믹서기가 돌아가는 소리, 개가 짖는 소리, 혹은 물이 흐르는 소리 같은 것들 말이죠. 이 작업은 **음향 이벤트 탐지(Sound Event Detection, SED)**라고 불립니다.

이 작업을 통해 로봇을 가르치는 것은 마치 아이에게 몇 장의 플래시 카드만 보여주며 말을 배우게 하는 것과 같습니다. 당신에게는 주방 소리가 담긴 수많은 녹음 데이터(레이블이 없는 데이터)가 있지만, 누군가가 믹서기가 정확히 언제 시작해서 언제 멈췄는지 정성스럽게 적어둔 기록(레이블이 있는 데이터)은 아주 적습니다. 이러한 정밀한 기록이 없으면 로봇은 혼란에 빠집니다.

이 논문은 이 적은 수의 "기록된" 예시와 방대한 양의 "기록 없는" 예시를 모두 사용하여 로봇을 훈련시키는 새로운 방법을 제시합니다. 그 방법은 다음과 같이 간단히 설명할 수 있습니다.

1. 시작점: "선생님"과 "학생"

연구진은 이미 방대한 오디오 라이브러리로부터 소리에 대해 많은 것을 배운 똑똑한 로봇(AT-Frame이라는 사전 훈련된 모델)에서 시작했습니다. 이 로봇을 이미 듣는 능력은 뛰어나지만 특정 이벤트를 포착하는 법을 배워야 하는 학생이라고 생각해 보세요.

레이블이 없는 녹음 데이터를 사용하여 학생을 가르치기 위해, 연구진은 선생님을 사용했습니다. 선생님은 학생보다 약간 더 안정적인 형태의 학생 복사본입니다. 선생님은 레이블이 없는 녹음 데이터에 어떤 소리가 들어있는지 추측하고, 학생은 그 추측에 맞추려고 노력합니다. 이를 "의사 레이블링(pseudo-labeling)"이라고 합니다.

2. 문제점: 재료를 잘못 섞는 것

훈련을 더욱 효과적으로 만들기 위해, 연구진은 **믹스업(Mixup)**이라는 기법을 사용했습니다. 개가 짖는 소리와 믹서기 소리, 두 가지 오디오 클립이 있다고 가정해 봅시다.

기존 방식: 이 두 소리를 함께 섞습니다.
- 만약 50:50으로 섞는다면, 그들은 로봇에게 이렇게 말합니다: "이것은 개와 믹서기가 동시에 발생하는 새로운 소리이다." (이것은 **합성(Composition)**입니다).
- 만약 90:10으로 섞는다면(대부분은 개 소리, 아주 약간의 믹서기 소리), 그들은 로봇에게 이렇게 말합니다: "이것은 그냥 개 소리인데, 믹서기 소리가 배경 소음으로 아주 조금 섞여 있는 것이다." (이것은 **섭동(Perturbation)**입니다).

문제는 기존의 훈련 시스템이 모든 상황에 동일한 믹싱 규칙을 사용했다는 점입니다. 하지만 "선생님"(의사 레이블링)은 동시 발생 이벤트를 학습하기 위해 50:50 믹스가 필요했고, "셀프 체크"(대조 학습)는 소리가 너무 변하지 않아야 한다는 것을 배우기 위해 90:10 믹스가 필요했습니다. 잘못된 믹스를 사용하는 것은 로봇을 혼란스럽게 만들었습니다.

3. 해결책: "조건부 믹스업(Conditional Mixup)"

저자들은 조건부 믹스업이라는 스마트한 스위치를 발명했습니다.

스위치: 이들은 믹싱 비율(람다 값)을 살펴봅니다.
믹스가 균형 잡혀 있다면 (50:50): 시스템은 이를 **합성(Composition)**으로 취급합니다. 그리고 로봇에게 "이봐, 여기서는 두 소리 모두 실제 상황이야! 두 소리를 함께 감지하는 법을 배워!"라고 말합니다.
믹스가 불균형하다면 (90:10): 시스템은 이를 **섭동(Perturbation)**으로 취급합니다. 그리고 로봇에게 "주된 소리는 여전히 개 소리야. 믹서기 소리는 그저 작은 오류일 뿐이야. 혼란스러워하지 마!"라고 말합니다.

이 스위치를 사용함으로써, 로봇은 모든 섞인 오디오 클립에 대해 올바른 지침을 받게 됩니다.

4. 비법: "임베딩 레벨 대조 손실(Embedding-Level Contrastive Loss)"

보통 로봇은 자신들의 최종 답변(예: "이것이 개인가? 예/아니오")을 맞추도록 교육받습니다. 이 논문은 로봇의 뇌 내부(임베딩)에서 일어나는 두 번째 층위의 훈련을 추가합니다.

이렇게 생각해보세요:

표준 훈련: 선생님이 "저건 개야"라고 말합니다.
새로운 대조 훈련: 선생님이 "개 짖는 소리에 믹서기 소리를 조금 섞더라도, 네 머릿속에 느껴지는 그 소리의 '느낌'은 여전히 개 소리처럼 느껴져야 해"라고 말합니다.

이는 로봇이 사소한 배경 소음과 관계없이 "개 소리"라는 것이 실제로 무엇인지에 대한 매우 강력한 내부적 이해를 구축하도록 강제합니다. 이는 로봇이 레이블이 없는 데이터를 훨씬 더 효과적으로 사용하는 데 도움을 줍니다.

결과

이 두 가지 아이디어—조건부 믹스업(스마트 스위치)과 임베딩 대조 학습(내부 느낌 체크)—을 결합함으로써, 로봇은 자신의 직무를 훨씬 더 잘 수행하게 되었습니다.

표준 테스트(DESED 검증 세트)에서 이 새로운 시스템(ATST-SEDv2)은 이 특정 작업에서 기록된 역대 최고 점수를 달랐습니다:

PSDS1 점수(타이밍의 안정성과 정확도를 측정)에서 0.645를 기록했습니다.
PSDS2 점수(소리의 유형을 얼마나 잘 식별하는지 측정)에서 0.822를 기록했습니다.

요약하자면, 이 논문은 단순히 로봇에게 더 많은 데이터를 준 것이 아니라, 매 상황에 맞는 올바른 "믹싱 레시피"를 사용하여 로봇이 데이터를 더 지능적으로 해석하는 법을 가르친 것입니다.

기술 요약: 조건부 믹스업(Conditional Mixup) 및 임베딩 레벨 대조 학습을 이용한 준지도 학습 기반 음향 이벤트 탐지

문제 정의

음향 이벤트 탐지(Sound Event Detection, SED)는 음향 환경 분석의 핵심적인 구성 요소이지만, 프레임 단위 레이블 데이터의 부족으로 인해 상당한 어려움에 직면해 있습니다. 최근의 발전은 대규모 사전 학습된 오디오 파운데이션 모델(예: ATST-Frame, BEATs, AST)을 활용하여 강력한 표현력을 제공하지만, 이러한 모델을 효과적으로 미세 조정(fine-tuning)하는 것은 여전히 어렵습니다. 기존의 준지도 학습 방식은 주로 일관성 정규화(예: Mean Teacher)와 의사 레이블링(pseudo-labeling)에 의존합니다. 그러나 이러한 방법들은 대규모 사전 학습된 인코더에 적용하기에는 불충분할 수 있는데, 이는 일관성 목적 함수가 원래의 자기 지도 사전 학습 작업보다 약하기 때문입니다. 또한, Mixup 적용 시 특정한 기술적 불일치가 존재합니다:

**의사 레이블 학습(Pseudo-label learning)**은 Mixup을 **구성(composition)**으로 취급하며, 혼합된 샘플이 소스 클립 모두의 콘텐츠를 보존한다고 봅니다.
**대조 학습(Contrastive learning)**은 Mixup을 **섭동(perturbation)**으로 취급하며, 보조 샘플이 입력값을 섭동시키는 역할만 수행한다고 봅니다.
현재의 프레임워크는 이러한 상충하는 관점들을 단일 준지도 학습 파이프라인 내에서 통합하는 데 어려움을 겪고 있습니다.

방법론

제안된 연구인 ATST-SEDv2는 임베딩 레벨의 자기 지도 대조 목적 함수를 준지도 미세 조정 프레임워크에 통합함으로써 ATST-SED 베이스라인을 확장합니다. 아키텍처는 ATST-SED 인코더(CRNN과 사전 학습된 ATST-Frame 모델의 결합)와 비선형 SED 분류기로 구성됩니다.

1. 조건부 믹스업 (Conditional Mixup)

Mixup의 구성 뷰와 섭동 뷰 사이의 의미론적 불일치를 해결하기 위해, 저자들은 조건부 믹스업을 제안합니다. 보간 계수 $\lambda$ (Beta 분포에서 추출됨)는 임계값 $\tau$ 를 기준으로 믹스업 모드를 결정합니다:

구성 모드 ( $0.5 \le \lambda \le \tau$ ): 보조 신호가 입력과 공존하는 것으로 취급됩니다. 혼합된 샘플은 선형 보간을 통해 형성되지만, 타겟 레이블은 소스 레이블의 논리적 OR(supervised의 경우) 또는 의사 레이블의 합(semi-supervised의 경우 1로 클램핑)이 됩니다.
섭동 모드 ( $\tau < \lambda \le 1$ ): 보조 신호가 섭동으로 취급됩니다. 혼합된 샘플은 유사하게 형성되지만, 타겟 레이블은 원래 입력 샘플의 레이블을 유지합니다.

2. 손실 함수 (Loss Functions)

학습 목적 함수는 세 가지 구성 요소의 결합으로 이루어집니다:

지도 학습 손실 (Supervised Loss): 레이블이 있는 데이터에 대한 이진 교차 엔트로피(BCE).
의사 레이블 손실 (Pseudo-Label Loss): 조건부 믹스업 모드에 따라 적절한 손실 함수를 적용하는 통합 손실( $L_{cp-psd}$ )입니다. 여기에는 증강되지 않은 데이터에 대한 Mean Teacher 손실이 포함됩니다.
임베딩 레벨 대조 손실 ( $L_{con}$ ): ATST-Frame 사전 학습에서 영감을 얻은 이 손실은 증강된 뷰(views) 간의 임베딩을 정렬합니다.
- **섭동 쌍(Perturbation pairs)**의 경우, 목적 함수는 입력과 섭동된 뷰 사이의 유사성을 최대화합니다.
- **구성 쌍(Composition pairs)**의 경우, 목적 함수는 혼합된 뷰와 두 소스 샘플의 교사(teacher) 임베딩 평균 사이의 유사성을 최대화합니다.
- 대조 학습을 용이하게 하고 표현력 붕괴(representation collapse)를 방지하기 위해, 훈련 중에 인코더에 프로젝터(projector)와 예측기(predictor)가 부착됩니다.

전체 손실은 BCE, 의사 레이블 손실, 그리고 대조 손실의 가중 합입니다.

주요 기여

조건부 믹스업: 보간 계수에 따라 의미론적 뷰를 동적으로 선택함으로써, 단일 준지도 학습 프레임워크 내에서 구성 및 섭동 Mixup을 통합하는 새로운 전략을 제시했습니다.
통합 손실 설계: 결정 레벨(decision-level) 감독과 임베딩 레벨 감독이 미세 조정 과정에서 서로를 보완할 수 있도록 하는 대응하는 의사 레이블 및 임베딩 레벨 대조 손실을 설계했습니다.
최첨단 성능 (SOTA): 추론 아키텍처를 변경하지 않고도 DESED 검증 세트에서 새로운 최고 성능을 달이어냈습니다.

실험 결과

실험은 강한 레이블(strongly labeled), 약한 레이블(weakly labeled), 그리고 레이블이 없는 데이터를 사용하는 DESED 데이터셋을 대상으로 수행되었습니다.

베이스라인 비교: 제안된 방법(ATST-SEDv2)은 제안된 방법이 적용되지 않은 ATST-SED(베이스라인) 대비 PSDS1에서는 0.583에서 0.607로, PSDS2에서는 0.810에서 0.817로 성능을 향상시켰습니다.
경량 모델: CRNN 베이스라인에 적용했을 때도 성능 향상(PSDS1: 0.384 $\to$ 0.403)을 보여, 다양한 모델 용량에 걸친 효과를 입증했습니다.
절제 연구 (Ablation Studies):
- 대조 손실만 사용했을 경우, 1단계(stage-1) 모델보다 성능은 개선되었으나 의사 레이블 손실과 결합했을 때보다는 효과가 낮았습니다.
- 구성 전용 브랜치와 섭동 전용 브랜치 모두 개별적으로 효과적이었으나, 모든 구성 요소를 결합했을 때 최상의 결과를 얻었습니다.
최첨단 성능 (SOTA): cSEBB 후처리를 통해, ATST-SEDv2는 0.645 PSDS1 및 0.822 PSDS2를 달성하여 ATST-SED, MAT-SED, PMAMiter2를 포함한 이전의 SOTA 방법들을 넘어섰습니다.

의의

본 논문은 제안된 접근 방식이 Mixup 전략의 의미론적 불일치를 해결함으로써 레이블이 없는 데이터를 효과적으로 활용한다고 주장합니다. 임베딩 레벨의 대조 목적 함수를 의사 레이블링과 함께 도입함으로써, 이 방법은 경량 모델과 사전 학습 기반 모델 모두의 준지도 미세 조정을 강화합니다. 결과적으로 본 연구는 결정 레벨 및 임베딩 레벨 감독을 성공적으로 통합하여 복잡한 다중 음원(polyphonic) 오디오 장면에서 시간적 안정성과 태깅 정확도를 향상시킬 수 있음을 입증하며, DESED 벤치마크에서 새로운 최첨단 성능을 확립했습니다.