Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification

기술 요약: 미분 가능한 초렛 적분 융합을 이용한 파라미터 효율적 듀얼 인코더 구조 기반 수중 음향 분류

문제 정의

수중 음향 분류는 해양 보안에서 환경 보존에 이르기까지 다양한 응용 분야에서 매우 중요합니다. 그러나 수중 환경은 다중 경로 간섭, 주파수 의존적 감쇄, 주변 소음 등 확률적 왜곡의 특성을 가집니다. 수작업으로 제작된 특징량(예: LOFA, DEMON)에 의존하는 전통적인 방식은 이러한 가변적인 조건 하에서 견고성이 떨어지는 한계가 있습니다. 딥러닝은 특징 추출을 자동화했지만, 단일 표현 방식은 다음과 같은 내재적 한계에 직면합니다:

• 스펙트로그램(Spectrograms): 조화적 의존성(harmonic dependencies)은 잘 모델링하지만, 시간-주파수 변환 과정에서 관련 음향 특징을 필터링하여 놓칠 수 있습니다.
• 파형(Waveforms): 미세한 위상 역학 및 광대역 이벤트(예: 공동 현상/cavitation)를 보존하지만, 노이즈가 많고 복잡하여 모델이 직접 처리하기 어려울 수 있습니다.

또한, 이러한 작업을 위해 대규모 파운데이션 모델을 배포하는 것은 계산 비용이 많이 들며, 라벨링된 수중 음향 데이터의 제한된 가용성으로 인해 과적합(overfitting)이 발생하기 쉽습니다. 이러한 모델을 전체 미세 조정(full fine-tuning)하는 것은 종종 비현실적입니다.

방법론

본 논문은 원시 음향 파형과 로그 멜 스펙트로그램을 동시에 처리하는 파라미터 효율적 듀얼 인코더 신경망 구조를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

1. PEFT를 적용한 듀얼 인코더 백본

시스템은 두 개의 병렬 브랜치를 활용합니다:

• 파형 인코더(Waveform Encoder): 비생물학적, 기계적 선박 신호에 적합한 AVES-nonbio(자기 지도 학습 기반 동물 발성 인코더) 아키텍처로 초기화되었습니다.
• 스펙트로그램 인코더(Spectrogram Encoder): AudioSet 및 ImageNet에서 사전 학습된 **Audio Spectrogram Transformer (AST)**로 초기화되었습니다.

도메인 적응을 가능하게 하면서 전체 미세 조정을 피하기 위해, 사전 학습된 백본 파라미터는 동결(frozen)됩니다. 대신, 파라미터 효율적 미세 조정(PEFT) 모듈이 삽입됩니다. 본 연구는 두 가지 특정 PEFT 전략을 평가합니다:

• 저계수 적응(Low-Rank Adaptation, LoRA): 쿼리 랭크 $r \in \{16, 32\}$로 테스트되었습니다.
• 히스토그램 기반 파라미터 효율적 튜닝(Histogram-based Parameter-efficient Tuning, HPT): 히스토그램 빈 카운트 $b \in \{16, 32, 64\}$로 테스트되었습니다.

각 인코더는 내부 레이어 전반에 걸쳐 공유되는 별도의 독립적인 미세 조정 파라미터 세트를 유지하여 적응 과정을 규제합니다.

2. 미분 가능한 초렛 적분 융합 (Differentiable Choquet Integral Fusion)

두 브랜치의 출력을 결합하기 위해 새로운 결정 수준 융합 메커니즘이 도입됩니다. 정적인 융합 방식(예: 평균화)과 달리, 이 접근 방식은 **초렛 적분(Choquet integral)**을 사용하여 파형과 스펙트로그램 표현 사이의 비가산적 상호작용(중복성 또는 시너지)을 모델링합니다.

초렛 적분을 엔드 투 엔드(end-to-end) 학습을 위해 미분 가능하게 만들기 위해, 저자들은 **소프트-소트 게이팅 메커니즘(soft-sort gating mechanism)**을 제안합니다:

• 학습 가능한 퍼지 측도(fuzzy measures, $g_w$ 및 $g_s$)가 각 클래스별로 최적화되어, 각 표현의 독립적 기여도와 중요도를 정량화합니다.
• 소프트-소트 게이트 벡터($s$)는 시그모이드 함수를 사용하여 파형($p_w$)과 스펙트로그램($p_s$) 브랜치의 상대적 신뢰도에 따라 예측을 조건부로 라우팅합니다.
• 융합된 분포는 초렛 적분의 연속적 근사치로 계산되며, 이를 통해 네트워크가 환경적 왜곡에 의해 덜 손상된 표현에 동적으로 주의를 집중할 수 있도록 합니다.

3. 최적화 전략

모델은 다음과 같은 복합 다목적 손실 함수($L_{total}$)를 사용하여 학습됩니다:
$$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$$
여기서 $CE$는 교차 엔트로피 손실이며, 융합된 예측은 개별 브랜치 손실보다 두 배 더 높은 가중치를 부여받아 협력적 의사결정을 우선시하는 동시에 각 인코더가 차별적인 특징을 학습하도록 보장합니다.

주요 결과

제안된 프레임워크는 DeepShip(4개 클래스) 및 ShipsEar(5개 클래스 + 노이즈) 데이터셋에서 평가되었습니다.

• 단일 인코더 대비 성능: 듀얼 인코더 아키텍처는 모든 튜닝 전략에서 독립적인 단일 인코더 베이스라인(파형 전용 및 스펙트로그램 전용 모두)보다 일관되게 우수한 성능을 보였습니다.
• PEFT 효율성:
  • PEFT(LoRA 및 HPT)를 사용한 듀얼 인코더 모델은 단일 인코더 상태 최고 성능(SOTA) 모델(예: ResNet-50, ConvNeXtV2, SSAST)과 대등하거나 때로는 이를 능가하는 분류 정확도를 달-성했습니다.
  • 구체적으로, Dual LoRA 및 Dual HPT 프레임워크는 약 100k 개의 파라미터만을 최적화했음에도 불구하고, 훨씬 더 많은 학습 파라미터를 요구하는 대부분의 전체 미세 조정 단일 인코더 네트워크(예: 단일 인코더의 경우 ~85k–90k, 듀얼 전체 미세 조정의 경우 ~175k)보다 뛰어난 성능을 보였습니다.
  • DeepShip 데이터셋에서 Dual LoRA (r=16)는 **71.6%**의 정확도를 달성하여, 방대한 파라미터 감소를 고려할 때 전체 미세 조정된 AST(72.3%) 및 AVES(67.9%)를 능가했습니다.
• 해석 가능성: 학습된 퍼지 측도 분석을 통해 클래스별 의존성 변화가 드러났습니다. 예를 들어, 선형 프로빙(linear probing) 시 DeepShip의 "Tanker" 클래스에서는 네트워크가 스펙트로그램(0.18)보다 파형(0.22)에 더 높은 가중치를 할당한 반면, "Cargo" 클래스에서는 스펙트로그램을 크게 선호했습니다. 이는 모델이 특정 음향 특성에 따라 최적의 표현을 동적으로 선택할 수 있음을 확인시켜 줍니다.
• 강건성: 듀얼 인코더 방식은 특히 ShipsEar 데이터셋에서 Dual HPT 방식이 단일 모드 전체 미세 조정 방식을 통계적으로 앞질렀던 낮은 오경보 영역(pAUC0.30)에서 우수한 성능을 보였습니다.
• 표현 정렬: 중심 커널 정렬(Centered Kernel Alignment, CKA) 분석 결과, 초기 레이어는 안정적으로 유지되었으나 깊은 레이어는 전체 미세 조정된 베이스라인과 더 많이 괴리되었습니다. 파형 브랜치는 스펙트로그램 브랜치보다 베이스라인과의 유사성이 낮게 나타났으며, 이는 파형 브랜치가 더 높은 용량의 튜닝이 필요한 주요 병목 구간임을 시사합니다.

의의 및 주장

본 논문은 성능과 자원 제약 사이의 균형을 맞춘 고급 해양 음향 인식용 계산 효율적 프레임워크를 제시한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 이중 표현 시너지: 시간적(파형) 데이터와 스펙트럼(스펙트로그램) 데이터의 융합이 단일 모달리티보다 높은 정확도를 제공함을 입증하여, 수중 채널의 비정상성(non-stationary) 문제를 효과적으로 완화합니다.
2. 파라미터 효율성: PEFT 모듈(LoRA 및 HPT)을 통해 제한된 데이터셋에서 과적합 위험을 완화하면서 대규모 파운데이션 모델을 수중 도메인에 적응시킬 수 있음을 증명했습니다.
3. 미분 가능한 융합: 성능을 향상시킬 뿐만 아니라 해석 가능성을 제공하는 새로운 미분 가능한 초렛 적분 레이어를 도입했습니다. 학습된 퍼지 측도를 분석함으로써, 시스템이 클래스별 음향 특성 및 환경적 왜곡에 따라 표현 간의 의존도를 어떻게 동적으로 전환하는지 보여줍니다.
4. 운용상의 이점: 동적 게이팅 메커니즘을 통해 시스템은 국부적인 환경 노이즈에 의해 덜 손상된 표현을 우선시할 수 있으며(예: 스펙트럼 토날 성분이 마스킹될 때 파형으로 전환), 이는 실제 배포를 위한 강건한 솔루션을 제공합니다.

저자들은 이 프레임워크가 과도한 계산 비용 없이 고성능 수중 음향 분류를 위한 실행 가능한 경로를 구축한다고 결론지었습니다. 향-후 연구로는 PEFT 통합 백본의 하드웨어 효율성 및 양자화 방법에 대한 조사가 제안되었습니다.