Device Invariance using Domain Adaptation on Acoustic Scene Classification

당신이 로봇에게 세상의 소리를 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 북적이는 도시 거리와 조용한 공원, 그리고 시끄러운 지하철역의 차이를 알기를 원합니다. 이 분야를 '음향 장면 분류(Acoustic Scene Classification)'라고 부릅니다. 오랫동안 과학자들은 로봇에게 이러한 소리를 가르치기 위해 딥러닝—예시를 통해 학습하는 컴퓨터 시스템—을 사용해 왔습니다. 그들은 이 작업을 위해 두 가지 주요 유형의 '두뇌'를 사용합니다. 하나는 소리를 그림처럼 바라보는 것(CNN, 즉 합성곱 신경망)이고, 다른 하나는 한 번에 전체 이야기를 주목하는 것(트랜스포머, Transformer)입니다.

하지만 까다로운 문제가 하나 있습니다. 만약 당신이 실험실의 고성능 마이크로 로봇을 가르친다면, 로봇을 밖으로 데리고 나가 저가형 휴대폰 마이크를 사용할 때 로봇이 혼란을 느낄 수 있습니다. 소리는 동일한 '장면'이지만, 녹음 장치가 소리의 '풍미'를 바꾸기 때문입니다. 이것을 '도메인 변화(domain shift)'라고 합니다. 이는 마치 누군가에게 화창한 날 세단으로 운전하는 법을 가르쳐 놓고, 눈보라 속에서 트럭을 완벽하게 운전하기를 기대하는 것과 같습니다. 이를 해결하기 위해 과학자들은 로봇이 마이크의 차이는 무시하고 실제 장면에만 집중할 수 있도록 설계된 기술 세트인 '도메인 적응(Domain Adaptation)'을 사용합니다. 하지만 여기서 중요한 질문이 생깁니다. 과연 동일한 해결책이 모든 종류의 로봇 두뇌에 효과가 있을까요?

IIT Mandi의 연구진들이 작성한 이 논문은 바로 그 질문을 파고듭니다. 그들은 어떤 조합이 가장 잘 작동하는지 알아보기 위해 두 가지 인기 있는 '해결책' 방법을 서로 다른 로봇 두뇌에 테스트했습니다. 그들은 한 가지 방법이 신뢰할 수 있는 범용 도구인 반면, 다른 한 가지 방법은 특정 유형의 두뇌에서만 작동하는 까다로운 식성을 가지고 있다는 것을 발견했습니다.

설정: 다양한 마이크가 있는 방음 실험실

아이디어를 테스트하기 위해 저자들은 DCASE 2020 데이터셋이라는 거대한 음성 녹음 모음집을 사용했습니다. 버스, 메트로 역, 공원 등 10가지 유형의 장면이 담긴 거대한 오디오 클립 라이브러리를 상상해 보세요. 연구진은 이 녹음본들을 녹음된 장치에 따라 나누었습니다. 그들은 '실제' 장치(실제 마이크 등)와 '시뮬레이션된' 장치(컴퓨터로 생성된 마이크 버전)를 구분했습니다.

그들은 다음과 같은 도전 과제를 설정했습니다: 장치 A(소스)의 녹음본만을 사용하여 로봇을 학습시킨다. 그다음, 장치 B, C, S1, S2, S3(타겟)의 녹음본으로 로봇을 테스트한다. 로봇은 이 다른 장치들에 대해 학습된 적이 없으므로, 이는 훈련 조건과 테스트 조건이 일치하지 않는 실제 상황을 나타냅니다.

그들은 세 가지 '두뇌'(특징 추출기)를 테스트했습니다:

1. PaSST: 현대적인 트랜스포머 기반 모델 (정교하고 전역적인 사고를 하는 존재로 생각하세요).
2. DcaseNet: 다양한 소리 작업에 훈련된 CNN 기반 모델 (경험이 풍부한 전문가).
3. Custom CNN: 처음부터 직접 만든 단순한 2층 구조의 CNN (초보 학생).

두 가지 "해결" 방법

연구진은 로봇이 일반화할 수 있도록 돕기 위해 두 가지 특정 도메인 적응 기술을 시도했습니다.

1. DANN (도메인 적대적 신경망): '숨바꼭질' 게임을 상상해 보세요. 로봇은 소스 장치와 타겟 장치 사이의 특징이 너무나 유사하여 '탐정'(도메인 판별기)이 둘을 구별할 수 없도록 만듭니다. 목표는 특징을 '장치에 무관하게(device-agnostic)' 만드는 것입니다.
2. CDAN (조건부 도메인 적대적 네트워크): 이것은 더 발전된 형태의 게임입니다. 단순히 장치 유형을 숨기는 것을 넘어, 로봇은 자신의 '추측(장면에 대한 예측)'까지도 숨겨야 합니다. 로봇은 소리 특징과 로봇의 예측된 레이블 모두를 바탕으로 탐정이 차이점을 알아낼 수 없게 만듭니다.

결과: 하나가 모두에게 맞지는 않는다

실험 결과는 놀랍고도 구체적이었습니다.

범용 도구: DANN
DANN 방식은 이야기의 믿음직한 영웅이었습니다. 이 방식은 전반적으로 잘 작동했습니다.

• Custom CNN(초보자)의 경우, DANN은 정확도를 크게 높였습니다. 예를 들어, 장치 A에서 장치 B로 이동할 때 정확도가 낮은 0.243에서 0.386으로 뛰어올랐습니다.
• DcaseNet의 경우에도 도움이 되어, 동일한 시나리오에서 정확도가 0.58에서 0.711로 향상되었습니다.
• 화려한 PaSST 트랜스포머에 대해서도 DANN은 평균적으로 약 **8.5%**의 정확도 상승을 제공하며 견고한 리프트를 보여주었습니다.

까다로운 식성: CDAN
반면 CDAN은 훨씬 더 선택적이었습니다.

• CDAN은 CNN 기반 모델들에는 훌륭하게 작동했습니다. Custom CNN의 경우 정확도를 0.243에서 0.33으로 개선했으며(장치 C와 같은 다른 시나리오에서는 0.246에서 0.48로 더 높게 올라갔습니다),
• 하지만 PaSST 트랜스포머에 CDAN을 적용했을 때, 모델은 완전히 실패했습니다. 모델은 수렴조차 하지 못했습니다(학습을 끝내지 못했습니다). 저자들은 트랜스포머의 특징이 너무 역동적이고 전역적이어서, CDAN 게임의 '탐정'이 혼란을 겪고 훈련이 붕괴되었다고 언급했습니다.

"왜": 두 두뇌의 이야기

왜 CDAN이 트랜스포머에서 실패했을까요? 저자들은 이것이 이 두뇌들이 정보를 처리하는 방식 때문이라고 제안합니다.

• CNN(Custom CNN 및 DcaseNet 포함)은 국소적인 세부 사항에 집중하며 "가우시안 성질"(데이터의 매끄럽고 예측 가능한 분포)을 가집니다. 이는 CDAN이 로봇의 예측에 따라 훈련을 조건화할 때 안정적으로 만듭니다.
• 트랜스포머(PaSST 포함)는 "전역적 귀납 편향(global inductive bias)"을 가지고 한 번에 전체 그림을 봅니다. 이들의 특징은 더 역동적이고 다양합니다. CDAN이 훈련을 유도하기 위해 로봇의 예측을 사용하려 할 때, 트랜스포머의 예측은 너무 격렬하여 시스템을 붕괴시켰습니다.

시사점

이 연구의 핵심 교훈은 도메인 적응 도구를 가져와서 아무 딥러닝 모델에나 맹목적으로 적용해서는 안 된다는 것입니다. 이 논문은 DANN이 단순한 CNN이든 복잡한 트랜스포머를 사용하든 잘 작동하는 견고하고 범용적인 도구임을 시사합니다. 그러나 CDAN은 CNN에는 빛을 발하지만 트랜스포머에게는 재앙이 될 수 있는 특화된 도구입니다.

음향 장면 분류의 세계에서, 만약 당신이 트랜스포머 기반 모델을 사용하고 있다면 DANN을 고수하는 것이 더 안전한 선택입니다. 만약 CNN을 사용하고 있다면, CDAN을 통해 더 나은 결과를 얻을 수도 있습니다. 연구진은 결론적으로, 적절한 도구가 항상 적절한 작업에 선택될 수 있도록 하기 위해, 이러한 방법들이 왜 다르게 행동하는지를 이해하기 위해 특징들의 통계적 속성을 더 깊이 파고드는 후속 연구가 필요하다고 말합니다.