Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement

기술 요약: DNN 기반 음성 향상을 위한 음소 재구성을 위한 시간-주파수 가중치 손실 함수

문제 정의
딥 뉴럴 네트워크(DNN) 기반 다채널 음성 향상(MCSE), 특히 신호 대 왜곡비(SDR)에 기반한 기존의 훈련 손실 함수는 모든 시간-주파수(TF) 영역을 균등하게 취급한다. 이러한 접근 방식은 특정 음소의 명료도에 결정적인 미세한 스펙트럼 단서들을 간과한다. 음성학적 관점에서 볼 때, 명료도는 자음 전이, 파열음의 폭발음, 마찰음의 노이즈 밴드와 같이 국소적인 음향 단서에 크게 의존하며, 이러한 단서들은 정체된 모음 영역에 비해 불균형적으로 높은 언어적 정보를 담고 있다. 또한, 마스킹 효과는 음성과 노이즈의 크기가 비슷할 때 가장 심각하게 나타나며, 이는 이러한 단서들의 전달력을 저하시킨다. 기존의 주파수 가중치 적용 SDR 공식들은 음소 수준의 동작을 개선해 왔으나, 음성의 존재 여부, 음성-노이즈 간의 경쟁, 그리고 과도적 역동성(transient dynamics)을 하나의 미분 가능한 가중치 프레임워크 내로 명시적으로 통합하지는 못했다.

방법론
저자들은 국소적인 음성-노이즈 상호작용에 따라 목적 함수를 조절하는 TF 가중치 SDR 프레임워크를 제안한다. 핵심 손실 함수는 다음과 같이 정의된다:
$$L_w = -10 \log_{10} \frac{\sum_{f,t} w(f, t) |S_{proj}(f, t)|^2}{\sum_{f,t} w(f, t) |E_{dist}(f, t)|^2}$$
여기서 $w(f, t)$는 각 TF 빈(bin)의 기여도를 제어하는 비음수 가중치이다. 본 논문은 세 가지 특정 가중치 기법을 조사한다:

1. SIR–음성 존재 ($L_{SIR \cdot SP}$): 이 기법은 음성-노이즈 경쟁을 명시적으로 모델링한다. 이는 국소 신호 대 간섭비(SIR)에 기반한 게이팅 함수와 음성 크기($|S(f, t)|$)에 기반한 게이팅 함수를 결합한다. 가중치는 SIR이 낮음에도 불구하고 음성이 활성화되어 있는 TF 빈을 강조하는 한편, 노이즈가 지배적이거나 에너지가 미미한 영역은 가중치를 낮춘다.
2. SIR–음성 존재–스펙트럼 플럭스 ($L_{SIR \cdot SP \cdot SF}$): 약한 크기를 가질 수 있으나 지각적 관련성이 높은 과도적 음성 단서(예: 파열음)를 처리하기 위해, 이 기법은 프레임 단위의 스펙트럼 플럭스(spectral flux) 메트릭을 포함한다. 스펙트럼 플럭스는 연속된 프레임 사이의 스펙트럼 에너지 상대적 증가량을 측정한다. 가중치 함수는 SIR 및 음성 존재 게이트에 스펙트럼 플럭스에 의존하는 항을 곱하여, 급격히 변화하는 구조에 대한 민감도를 높인다.
3. 학습 가능한 가중치 ($L_{learn}$): 데이터 기반의 대안으로서, 이 기법은 ANSI 1997 대역 중요도 가중치로 초기화된 시간 독립적 스펙트럼 파라미터를 사용하여 훈련 과정에서 학습한다.

제안된 프레임워크는 LibriSpeech을 백색 잡음(WN) 및 음성 형태 잡음(SSN)과 혼합하고, 4채널 바이노럴 보청기 구성을 위한 실내 임펄스 응답(RIR)으로 시뮬레이션된 데이터셋을 사용하여 FaSNet 엔드 투 엔드 시간 영역 적응형 빔포머로 구현되었다.

주요 결과
실험적 평가는 객관적 지표(SDR, SIR, SAR, 주파수 가중치 변형 버전, STOI)와 음소 수준 인식 지표(단어 오류율 - WER, 음소 정확도 - PA)를 사용하여 수행되었다.

• 발화 수준 성능: 백색 잡음 조건에서, $L_{SIR \cdot SP \cdot SF}$ 손실은 SIR 및 주파수 가중치 SIR에서 가장 강력한 전반적 개선을 달了. 가중치 손실들은 일반적으로 왜곡(SDR) 및 아티팩트(SAR) 측면에서 베이스라인과 유사한 성능을 유지하면서도, 국소 SIR에만 의존하는 손실(예: $L_{logSIR}$)에 비해 다양한 노이즈 유형에 대해 더 일관된 간섭 억제력을 보여주었다.
• 음성 인식: 백색 잡음 하에서, 모든 제안된 가중치 손실은 대부분의 신호 대 간섭비(SIR) 수준에서 베이스라인보다 낮은 WER을 기록했다. 음성 형태 잡음(SSN) 하에서는 결과가 덜 일관적이었으나, $L_{SIR \cdot SP \cdot SF}$는 중-고 SIR 수준에서 베이스라인 대비 약간의 우위를 보였다.
• 음소 수준 분석: 제안된 $L_{SIR \cdot SP \cdot SF}$ 손실은 백색 잡음 조건에서 특히 자음과 모음 모두에 대해 음소 정확도(PA)를 유의미하게 향상시켰다. 자음의 경우, 이 방법은 주파수 가중치 SDR을 유사하게 유지하면서 간섭 억제력(높은 SIR)을 개선했다.
• 과도적 구조 재구성: SIR 수준에 따른 파열음 인식 분석 결과, $L_{SIR \cdot SP \cdot SF}$는 중-고 SIR 수준(0 dB 이상)에서 베이스라인을 크게 능가했다. 스펙트럼 분석에 따르면, 이 손실은 중등도 및 높은 입력 SIR 수준에서 6–13 대역의 깨끗한 스펙트럼 형태를 베이스라인보다 더 밀접하게 추적하며 파열음의 중주파 구조를 더 잘 재구성한다.

의의 및 주장
본 논문은 제안된 TF 가중치 프레임워크가 SDR 최적화를 불안정하게 만들지 않으면서 음성-노이즈 경쟁에 따라 TF 빈의 기여도를 성공적으로 재형성한다고 주장한다. 주요 기여는 음성 존재, 국소 SIR, 그리고 스펙트럼 플럭스를 통한 과도적 역동성을 명시적으로 모델링하는 것이 간섭 억제 및 음소 수준 재구성을 개선한다는 점을 입증한 것이다.

저자들은 자신들의 접근 방식이 전역적으로 균등한 손실보다 지각적 우선순위를 더 잘 반영하며, 특히 자음과 과도적 단서에 있어 그러하다고 주장한다. 결과는 SIR 기반 또는 순수하게 학습된 스펙트럼 프로파일에 의존하는 것보다 SIR 인지 및 스펙트럼 플럭스 기반 변조를 포함하는 것이 더 견고함을 시사한다. 이는 과도적 특성과 중주파 음성 구조를 보존하는 것이 중요한 청각 보조 시나리오와 관련된 환경에서 매우 중요하다. 본 연구는 청취 테스트를 대체하려는 것이 아니라, 명료도 및 음소 재구성을 위한 재현 가능한 객관적 대리 지표를 제공하는 데 목적이 있다.