BASENet: Band-Adapted Speech Enhancement Network with Cross-Band Attention

BASENet 기술 요약: 교차 대역 어텐션을 이용한 대역 적응형 음성 향상 네트워크

1. 문제 제기

음성 향상 모델은 전통적으로 전체 주파수 스펙트럼에 걸쳐 균일한 계산 용량을 적용합니다. 이러한 접근 방식은 저주역 임계 대역(critical bands)은 좁고 지각적으로 밀집되어 있는 반면(기본 주파수 및 고조파 인코딩), 고주파 대역은 넓고 지각적 예민도가 낮은 인간의 청각 시스템이 가진 비균일한 스펙트럼 해상도를 무시합니다. 기존의 최첨단(SOTA) 모델들은 종종 비용이 많이 드는 전체 대역 셀프 어텐션(full-band self-attention)이나 양방향 연산에 의존하여 실시간 배포를 저해합니다. 또한, 많은 서브 대역(sub-band) 접근 방식은 모든 대역에 균일한 용량을 적용하거나, 지각적 중요도에 따라 인코더 깊이를 조절하지 않고 공유된 순환 레이어에 의존합니다. 따라서 청각 원리로부터 체계적으로 용량을 도출하면서도, 대역 간 일관성을 유지하고 인과적(causal)이며 실시간 추론을 지원하는 아키텍처가 필요합니다.

2. 방법론

제안된 BASENet(Band-Adapted Speech Enhancement Network)은 인코더 용량을 인간의 청각 지각에 맞추도록 설계된 주파수 적응형 아키텍처입니다.

• 지각적 동기에 기반한 주파수 분해:
  입력 스펙트로그램은 Bark 스케일을 기준으로 $B$개의 겹치지 않는 주파수 대역으로 분할됩니다. 경계값은 지각적으로 구별되는 영역(기본/고조파, 포먼트, 마찰음) 사이의 전이를 기준으로 결정됩니다. 각 대역 $b$에 대해, 헤르츠(Hz)당 Span되는 Bark 단위의 수를 나타내는 임계 대역 밀도($\rho_b$)가 계산됩니다. 이 지표는 해당 대역의 지각적 밀도를 정량화합니다.

• 밀도 기반 용량 할당:
  균일한 아키텍처와 달리, BASENet은 임계 대역 밀도의 폐쇄형 함수(closed-form function)로서 인코더 깊이($L_b$)를 할당합니다:
  $$L_b = \left\lfloor L_{\max} \cdot \frac{\rho_b}{\max_{b'} \rho_{b'}} \right\rceil$$
  이 규칙은 지각적으로 밀집된 저주파 대역이 미세한 고조파 구조를 모델링할 수 있도록 더 깊고 넓은 브랜치를 할당받는 것을 보장하며, 넓은 고주파 대역은 더 얕고 가벼운 브랜치에 의해 처리되도록 합니다. 이는 대역별 하이퍼파라미터 튜닝의 필요성을 제거합니다.

• 스케일링된 용량 대역 처리:
  각 대역은 전용 인코더 브랜치 $L_b$에 의해 처리됩니다. 아키텍처는 조밀한 연결성과 주파수 축을 따른 지수적 팽창 컨볼루션(exponentially dilated convolutions)을 갖춘 **인버티드 레지듀얼 블록(inverted residual blocks)**을 활용합니다. 깊은 브랜치는 저주파에서의 피치 및 고조파 세부 사항을 포착하기 위해 더 큰 수용 영역(receptive field)을 발달시키는 반면, 얕은 브랜치는 스펙트럼상 더 매끄러운 고주파 콘텐츠를 효율적으로 처리합니다.

• 교차 대역 어텐션(Cross-Band Attention):
  독립적으로 처리되는 대역 간의 일관성을 복원하기 위해 교차 대역 어텐션 모듈이 도입되었습니다. 이 모듈은 $O(N^2F^2)$의 복잡도를 유발하는 전체 시간-주파수 그리드에 어텐션을 수행하는 대신, 각 대역 내의 주파수 빈(bin)들에 대해 키(key)와 값(value)을 평균화하여 압축된 글로벌 컨텍스트를 계산합니다. 이러한 대역 수준의 요약본들이 결합되며, 각 대역은 이 공유된 컨텍스트를 참조합니다. 이 메커니즘은 선형 복잡도 $O(NF_bB)$로 작동하며 프레임 단위의 인과적 추론을 지원합니다.

• 시계열 모델링 및 디코더:
  교차 대역 융합 후, 특징들은 시간적 모델링을 위한 단방향 또는 양방향 GRU를 사용하는 **합성곱 순환 네트워크(CRN)**에 의해 처리됩니다. 네트워크는 시간-주파수 크기 마스크와 향상된 위상 스펙트로그램을 예측하여 깨끗한 신호를 재구성하는 마스크 및 위상 추정 패러다임을 따릅니다.

3. 주요 기여

1. 지각적으로 스케일링된 인코더: 단일 폐쇄형 방정식을 통해 Bark 스케일의 임계 대역 밀도로부터 대역별 용량을 직접 도출하는 새로운 설계 규칙을 제시하여, 수동적인 대역별 튜닝을 제거했습니다.
2. 효율적인 교차 대역 어텐션: 압축된 주파수 풀링 표현을 사용하여 대역 간의 고조파 및 포먼트 의존성을 모델링하며, 선형 복잡도를 달성하고 실시간 인과적 처리를 가능하게 하는 모듈입니다.
3. 경량화된 스트리밍 가능 아키텍처: 0.83 M 파라미터와 7.3 G MACs만으로 고품질의 향상을 달성하는 모델입니다. 양방향 GRU를 단방향 변형으로 교체하기만 하면 아키텍처 재설계 없이도 네이티브하게 인과적 추론을 지원하므로 스트리밍에 적합합니다.

4. 실험 결과

모델은 VoiceBank+DEMAND 데이터셋에서 평가되었습니다.

• 성능: BASENet-3(3개 대역 사용)은 PESQ 3.55 및 **STOI 96%**를 달성했습니다.
• 효율성 비교: PESQ $\ge$ 3.50을 달성한 모든 방법 중 BASENet은 가장 적은 파라미터(0.83 M)를 보유하고 있습니다. SE-Mamba(PESQ 3.55)와 성능은 동일하면서도 4.5배 적은 MACs와 2.7배 적은 파라미터를 사용합니다. 또한 MP-SENet(PESQ 3.50)보다 훨씬 낮은 계산 비용으로 이를 능가합니다.
• 인과적 변형: BASENet의 인과적 버전(0.81 M 파라미터)은 PESQ 3.44를 달성하여 여러 비인과적 베이스라인(예: CMGAN 3.41, DPT-FSNet 3.33)을 능가하였으며, 이는 자원이 제한된 장치에서의 실시간 스트리밍 적합성을 입증합니다.
• 절제 연구(Ablation Studies): 교차 대역 어텐션을 제거했을 때 가장 큰 성능 저하(-0.13 PESQ)가 발생하여 고조파 관계 모델링의 결정적 역할을 확인했습니다. 밀도 기반 깊이 할당을 균일한 깊이로 대체했을 때도 상당한 성능 저하(-0.11 PESQ)가 나타나, 3개의 대역이 최적의 스펙트럼 컨텍스트 균형을 제공함을 시사했습니다. 더 미세한 대역 분할(8 또는 12개 대역)은 오히려 성능을 저하시켰습니다.

5. 의의

본 논문은 **지각적으로 스케일링된 용량(perceptually scaled capacity)**이 음성 향상에 매우 효과적인 귀납적 편향(inductive bias)임을 입증합니다. 모델 깊이를 청각 해상도와 체계적으로 정렬함으로써, BASENet은 우수한 품질-효율성 트레이드오프를 달성합니다. 본 연구는 높은 성능과 계산 제약 사이의 긴장을 해결하며, 보청기나 라이브 음성 통신과 같이 실시간 추론이 필수적인 분야에 적합한, 네이티브 인과적 스트리밍이 가능한 경량 솔루션을 제공합니다. 향후 연구에서는 음성의 상향식(bottom-up) 고조파 구조를 더욱 활용하기 위해 하삼각 어텐션 마스크(lower-triangular attention masks)를 탐색하는 것이 제안되었습니다.