기술 요약: 클라우드 부스트 기반 저연산 다채널 음성 향상

1. 문제 정의

웨어러블 기기(예: 스마트 안경, 히어러블)의 배포에는 엄격한 계산 및 지연 시간 제약 조건 하에서의 고충실도 실시간 음성 향상이 필수적입니다. 경량화된 온디바이스 모델(예: TinyGRU)은 효율성을 제공하지만, 파라미터 수와 층의 깊이가 줄어들어 복잡한 음향 장면을 모델링하는 능력이 제한되며, 이로 인해 서버 측 솔루션에 비해 성능이 현저히 떨어집니다. 반대로, 최첨단 서버 모델(예: 대규모 SpatialNet)은 낮은 신호 대 잡음비(SNR) 조건에서도 견고함을 달성하지만, 에지 배포를 하기에는 계산 비용이 너무 높습니다.

공간 필터링과 신경망을 결합한 기존의 하이브리드 접근 방식은 경량 에지 추정기의 정확도에 종속되어 있습니다. 즉, 에지 모델이 복잡한 장면에서 타겟을 식별하는 데 실패하면 빔포머가 무너집니다. 또한, 지연된 서버 출력에 에지 모델을 조건화하는 기존의 지식 부스팅(Knowledge Boosting) 프레임워크는 일반적인 음성 향상 분야에서 완만한 이득만을 보여주었습니다. 이는 통신 지연이 존재할 때, 단순히 지연된 출력에 조건화하는 것만으로는 비정상적(non-stationary) 노이즈의 급격한 스펙트럼 변화를 포착하기에 불충분하다는 것을 시사합니다.

2. 방법론

저자들은 스펙트럼 세부 사항은 빠르게 변하지만, 공간 통계량(예: 도래각)은 더 느리게 진화하며 통신 지연에 강건하다는 관찰을 활용하여, 에지와 서버 모델 간의 성능 격차를 메우는 협업 프레임 형태의 프레임워크를 제안합니다. 이 시스템은 동결된(frozen) 사전 학습된 고용량 서버 측 모델(SpatialNet)과 경량 에지 측 모델(TinyGRU)로 구성됩니다.

본 프레임워크는 세 가지 핵심 기술을 통합합니다:

2.1. 추가 입력으로서의 지연된 서버 출력

서버는 다채널 입력을 처리하고 향상된 스펙트로그램을 에지 장치로 전송합니다. 네트워크 지연($\tau$)을 고려하기 위해, 이 향상된 출력은 지연된 사전 정보(prior)로 취급됩니다. 이는 에지 모델의 공간 컨볼루션 모듈 이전에 원시 다채널 마이크 입력과 함께 연결됩니다. 이를 통해 에지 모델은 서버의 타겟 음성 추정치를 담고 있는 직접적인 참조 신호를 가질 수 있으며, 이는 다채널 입력을 단일 채널 표현으로 축소하는 데 도움을 줍니다.

2.2. 계층별 특징 부스팅 (Layerwise Feature Boosting)

최종 서버 출력에만 의존하는 대신, 본 프레임워크는 서버 모델의 중간 표현(intermediate representations)을 에지 모델의 내부 상태를 가이드하도록 전달합니다.

• 추출: 서버의 SpatialNet의 네 가지 특정 깊이(입력 인코딩, 그리고 4, 8, 12번 레이어)에서 특징을 샘플링합니다.
• 압축 및 변조: 이 특징들은 학습된 $1 \times 1$ 컨볼루션을 통해 압축되고 시간적으로 지연됩니다. 그 후 특징별 선형 변조(FiLM)를 사용하여 에지 모델(TinyGRU)의 레이어에 주입됩니다.
• 메커니즘: 압축된 특징은 각 타임 프레임에 대한 스케일($\gamma$) 및 시프트($\beta$) 파라미터를 생성하여 에지 모델의 은닉 상태를 변조합니다. 이를 통해 초기 서버 특징은 저수준의 스펙트럼 조건화를 제공하고, 더 깊은 특징은 후기 처리 단계에서 정교한 음성-노이즈 분리 단서를 제공합니다.

2.3. 협업 다채널 위너 필터 (Collaborative Multichannel Wiener Filter, MCWF)

최종 향상 단계에서는 MCWF 빔포머를 위한 새로운 퓨전 전략을 채택합니다.

• 공분산 퓨전: 시스템은 서버와 에지 모델 각각에 대해 입력과 추정된 타겟 음성 사이의 교차 공분산 벡터를 계산합니다.
• 적응형 가중치: 지연으로 인해 서버 통계량은 과거의 음향 장면을 반영하고, 에지 통계량은 현재의 장면을 반영합니다. 프레임워크는 에지 모델의 최종 선형 레이어에 의해 예측된 적응형 가중치 $\alpha(t)$를 사용하여 이 벡터들을 퓨전합니다.
  • 정적인 환경에서는 지연되었지만 품질이 높은 서버 통계량을 선호합니다(낮은 $\alpha$).
  • 급격하게 변하는 환경(예: 갑작스러운 노이즈 발생)에서는 현재의 상태이지만 품질이 낮은 에지 통계량을 선호합니다(높은 $\alpha$).
• 스무딩 및 빔포밍: 퓨전된 통계량은 MCWF 계수를 계산하기 전에 시간 가변적 재귀 스무딩을 거치며, 이 계수들은 다채널 입력에 적용되어 최종 향상된 신호를 생성합니다.

3. 주요 기여

1. 협업 프레임워크: 서버 모델을 고정된 상태로 유지하면서, 중간 표현 수준의 가이드와 공간 통계량 퓨전을 도입하여 서버의 공동 학습 없이도 에지 추론을 부스팅하는 새로운 아키텍처를 제시했습니다.
2. 세 갈래의 기술: (1) 지연된 입력 연결, (2) FiLM을 통한 계층별 특징 부스팅, (3) 적응형 퓨전을 포함한 협업 MCWF의 통합을 이루었습니다.
3. 효율성: 제안된 방식은 에지 장치에서의 추가적인 계산 오버헤드를 최소화하면서(< 파라미터 및 연산량 5% 증가) 상당한 성능 향상을 달rem합니다.

4. 실험 결과

실험은 8채널 원형 마이크 어레이를 사용하여 DNS-Challenge 데이터셋에서 수행되었으며, 서버-에지 간 통신 지연이 64ms인 표준 및 도전적(낮은 SNR) 조건을 모두 시뮬레이션했습니다.

• 성능 이득: 전체 협업 프레임워크는 에지 전용 베이스라인(TinyGRU+MCWF)보다 성능이 크게 향상되었습니다.
  • 표준 조건: SI-SDR이 1.97 dB(베이스라인)에서 5.74 dB로 개선되었습니다.
  • 도전적 조건: SI-SDR이 -1.16 dB(베이스라인)에서 2.33 dB로 개선되었습니다.
• 절제 연구 (Ablation Study):
  • 지연된 서버 출력을 추가하는 것만으로 SI-SDR이 약 1.1 dB 개선되었습니다.
  • 계층별 특징 부스팅을 추가하면 추가적인 이득(~1.4 dB)이 발생했습니다.
  • 협업 MCWF가 최종적인 부스트를 제공함으로써, 공간 통계량 퓨전의 가치를 입증했습니다.
• 확장 모델과의 비교: 파라미터는 198%, 연산량은 109% 더 많은 "TinyGRU-Large" 모델은 표준 조건에서 2.75 dB SI-SDR만을 기록하여, 단 1.5%의 파라미터만 추가한 제안 방법(5.74 dB)에 비해 현저히 낮은 성능을 보였습니다. 이는 성능 향상이 단순한 모델 스케일링이 아닌 서버-에지 간의 협업에서 기인함을 확인시켜 줍니다.
• 지연 시간 민감도: 시스템은 지연 시간이 64ms에서 128ms로 증가함에 따라 점진적인 성능 저하를 보였으나, 베이스라인보다는 여전히 높은 성능을 유지했습니다.

5. 의의 및 주장

본 논문은 이 협업 프레임워크가 자원이 제한된 웨어러블 기기에서 고품질의 실시간 음성 향상을 위한 유망한 경로를 제공한다고 주장합니다. 지연에 강한 공간 통계량과 중간 서버 표현을 활용함으로써, 시스템은 경량 에지 모델과 고용량 서버 솔루션 사이의 성능 격차를 효과적으로 좁힙니다. 저자들은 본 방식이 에지 측의 계산 오버헤드를 무시할 만한 수준으로 유지하면서도 서버급 성능 향상을 달성함으로써, 웨어러블 오디오 프로세싱에서의 지연 시간, 계산 제약, 오디오 충실도 사이의 핵심적인 트레이드오프 문제를 해결한다고 강조합니다.