From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks

기술 요약: 음성 향상 네트워크에서 동적 가지치기 마스크를 활용한 보조 신호 특성 추정

문제 제기
보조 청각 장치 (예: 보청기) 와 같은 임베디드 오디오 장치의 음성 향상 (SE) 시스템은 점점 더 딥러닝에 의존하고 있습니다. 이러한 시스템은 견고성과 원활한 사용자 경험을 보장하기 위해 음성 활동 감지 (VAD), 신호 대 잡음비 (SNR) 추정, 음향 장면 분류, 음성 품질 예측 (SQP) 과 같은 작업을 위한 보조 모듈을 종종 필요로 합니다. 그러나 이러한 보조 작업을 위해 별도의 딥러닝 모델을 배포하는 것은 엣지 장치에서 계산적으로 불가능하며, 클라우드 기반 추론은 지연 시간과 개인정보 보호 문제를 야기합니다. 동적 채널 가지치기 (DynCP) 는 적응적으로 채널을 비활성화하여 SE 계산을 줄이기 위해 제안되었지만, 이러한 가지치기를 주도하는 내부 메커니즘이 전용 모델 없이도 이러한 보조 작업을 수행하기에 충분한 정보를 포함하고 있는지는 여전히 불분명합니다.

방법론
저자들은 DynCP 기반 SE 모델 (구체적으로 Conv-FSENet 아키텍처) 이 생성하는 이진 가지치기 마스크에서 직접 보조 신호 특성을 추정하는 프레임워크를 제안합니다.

• 데이터 파이프라인: 시스템은 훈련 및 테스트 데이터를 연속적인 스트림으로 처리합니다. 깨끗한 음성 및 잡음 단편을 혼합하여 잡음이 섞인 입력 ($x$) 을 생성하고, 이를 SE 모델이 처리하여 향상된 음성 ($\hat{s}$) 을 생성합니다. 다양한 작업 (VAD, 성별, 억양, 잡음 카테고리, SNR, SI-SDR, PESQ, F0) 에 대한 정답 레이블은 메타데이터에서 추출하거나 표준 라이브러리 (예: librosa, pyworld) 를 사용하여 계산되며, 단시간 푸리에 변환 (STFT) 프레임 레이트에 맞춰 정렬됩니다.
• 특성 추출: SE 모델은 각 처리 블록에서 활성화된 합성곱 채널을 나타내는 이진 가지치기 마스크 ($G$) 의 텐서를 생성합니다. 차원을 축소하고 정보가 없는 상수 마스크를 제거하기 위해 저자들은 최소 표준 편차 임계값 ($\tau$) 을 기준으로 $G$ 를 필터링하여 동적 특성 부분집합 ($\tilde{G}$) 을 생성합니다.
• 예측 모델: 저자들은 $\tilde{G}$ 에서 목표를 예측하기 위해 간단한 해석 가능한 선형 모델 (분류를 위한 로지스틱 회귀, 회귀를 위한 선형 회귀) 을 사용합니다. 이진 입력을 사용함으로써 예측은 가중 합으로 계산되어 계산 오버헤드를 최소화할 수 있습니다.
• 기준선 및 비교: 성능은 원시 STFT 로그 크기 및 예측된 억제 마스크를 사용하는 기준선과 비교됩니다. 연구는 또한 특정 네트워크 블록의 특성, 가장 정보량이 많은 상위 $N$ 개 특성, 그리고 원시 (이진화되지 않은) 게이트 점수를 사용하는 것의 영향을 평가합니다.
• 화자 검증 (SV): 추가 실험으로, 저자들은 음성 활성 프레임에 걸쳐 가지치기 마스크를 집계하여 발화 단위 임베딩을 생성한 후, 표준 선형 백엔드 (WCCN 및 LDA) 를 사용하여 화자 검증으로 평가합니다.

주요 기여

1. 창발적 행동 분석: 이 논문은 DynCP 게이트 서브넷이 학습한 잠재 표현을 조사하여, 계산 효율성만을 위해 훈련되었음에도 불구하고 관련 음향 및 음성 특성을 암묵적으로 인코딩하고 있음을 보여줍니다.
2. 종합적 해결책: 저자들은 DynCP 마스크를 여러 보조 작업 (VAD, 잡음 분류, SNR, 품질 지표 등) 을 위한 통합 정보 소스로 재사용하여 별도의 계산 집약적 예측 모델의 필요성을 제거합니다.
3. 효율성 및 해석 가능성: 이진 마스크에 간단한 선형 예측기를 사용함으로써, 이 접근 방식은 무시할 수 있는 계산 오버헤드로 높은 성능을 달성합니다. 선형 계수는 특정 신호 특성에 기여하는 네트워크의 어떤 부분이 해당하는지에 대한 일정한 해석 가능성을 제공합니다.

결과

• 분류: 간단한 예측기는 VAD 에서 93%, 잡음 분류에서 84%, 그리고 (상위 64 개 특성을 사용한 경우) 잡음 분류에서 59% 의 정확도를 달성했습니다. 성별 분류는 성공적이었으나, 억양 분류는 우연 수준에 근접하여 수행되었는데, 이는 SE 행동이 억양에 크게 영향을 받지 않기 때문일 가능성이 높습니다.
• 회귀: 모델은 F0 추정에 0.86 의 $R^2$ 를 달성했습니다. 품질 지표의 경우, PESQ 에 대해 0.2 의 평균 절대 오차 (MAE) 와 SI-SDR 에 대해 3.2 dB 를 달성했습니다.
• 특성 효율성: 약 202 개의 전체 특성 집합을 사용하는 것과 비교하여 상위 64 개의 가장 정보량이 많은 특성만 사용하여도 성능이 유사하게 유지되어, 보조 모델을 매우 소형화할 수 있음을 시사합니다.
• 원시 점수 대 이진 마스크: 이진화 전의 원시 게이트 점수는 내부 상태 정보를 더 많이 유지하므로, 특히 잡음 분류 및 F0 추정의 경우 일반적으로 이진 마스크보다 우수한 성능을 보였습니다. 그러나 이진 마스크는 가장 낮은 계산 비용을 제공했습니다.
• 화자 검증: 가지치기 마스크는 STFT 기준선보다 낮은 성적을 보이며 중립적인 등오류율 (EER) 결과만 산출했습니다. 저자들은 이는 시간적 풀링 또는 SE 모델이 화자 무관한 표현을 학습했기 때문일 수 있다고 제안합니다.
• 계산 비용: 전체 특성 집합을 사용하여 21 개의 목표를 예측하는 오버헤드는 활성 채널에 따라 프레임당 총 계산량의 약 0.6% 에서 0.93% 입니다.

의의 및 한계
이 논문은 DynCP 모델이 "창발적 행동"을 보이며 게이트 서브넷이 잡음 수준 및 음성 활동과 같은 신호 특성에 따라 자원을 할당하도록 학습한다고 주장합니다. 이는 DynCP 가 SE 효율성을 최적화함과 동시에 견고한 시스템 행동 및 사용자 피드백을 위한 보조 데이터를 제공하는 이중 목적 메커니즘으로 기능할 수 있음을 시사합니다.

저자들은 이러한 발견의 성숙도에 대해 겸손한 태도를 유지합니다. 그들은 다음과 같은 몇 가지 한계를 인정합니다:

• 선형 모델은 가산적 기여를 가정하며 상관된 입력과 함께 어려움을 겪을 수 있습니다.
• 특성 공선성은 계수 중요도의 해석을 복잡하게 만듭니다.
• 게이트 서브넷 내의 시간적 평활화는 빠르게 변화하는 목표의 추정을 방해할 수 있습니다.
• 윈도우화된 정답 (예: PESQ) 은 순간적인 신호 품질을 완전히 대표하지 못할 수 있습니다.

이 작업은 음성을 향상시키고, 계산을 절약하며, 동시에 보조 데이터를 생성할 수 있는 단일 모델 파이프라인을 향한 초기 단계로 자신을 위치시키며, 오디오 처리 분야에서 동적 모델 및 다중 작업 훈련에 대한 추가 연구를 장려합니다.