Differentiable Time-Varying IIR Filtering for Real-Time Speech Denoising

이 논문은 전통적인 DSP 의 해석 가능성과 딥러닝의 적응력을 결합하여, 실시간으로 가변적 IIR 필터 계수를 예측하는 1 백만 파라미터의 저지연 모델인 TVF 를 제안하고, 이를 통해 비정상 잡음 환경에서 효과적인 음성 향상 성능을 입증했습니다.

핵심

🎧 핵심 아이디어: "똑똑한 귀마개"를 만나다

상상해 보세요. 시끄러운 카페에서 친구와 대화하고 싶다고 가정해 봅시다.
기존의 기술들은 두 가지 방식으로 문제를 해결했습니다.

1. 전통적인 DSP (디지털 신호 처리): 마치 고정된 커튼을 치는 것과 같습니다. 특정 주파수 (예: 낮은 웅성거림) 를 막아주지만, 소리가 변하면 커튼을 다시 조절할 수 없어 효과가 떨어집니다.
2. 최신 딥러닝 (블랙박스 모델): 마치 마법사가 소리를 듣고 "이건 소음, 이건 목소리"라고 판단해서 소리를 재구성합니다. 성능은 좋지만, 어떻게 작동하는지 알 수 없고 (블랙박스), 가끔은 목소리가 기계처럼 들리거나 인위적인 소리가 날 수 있습니다.

이 논문에서 제안한 **TVF (Time-Varying Filtering)**는 이 두 가지의 장점을 합친 세 번째 선택지입니다.

비유: TVF 는 **"소리에 맞춰 실시간으로 모양을 바꾸는 지능형 커튼"**입니다.
소리가 변하면 커튼의 구멍 크기와 위치를 순식간에 조절해서, 목소리는 통과시키고 소음은 막아냅니다. 하지만 이 커튼은 마법사가 아니라, 우리가 이해할 수 있는 물리 법칙 (전기 회로 원리) 으로 만들어져 있어 항상 투명하고 안전합니다.

---

🔍 어떻게 작동할까요? (3 단계 프로세스)

이 시스템은 크게 세 부분으로 나뉩니다.

1. 귀 (신경망 백본): "지금 무슨 소리가 들리니?"

시스템은 소리를 1 초의 50 분의 1 정도인 아주 짧은 조각 (프레임) 으로 잘라냅니다.

• 역할: AI 가 이 조각을 분석해서 "지금 이 순간에는 저음 소음이 심하네?", "중음역에 목소리가 있네?"라고 판단합니다.
• 특징: 이 AI 는 매우 가볍습니다 (약 100 만 개의 파라미터). 스마트폰이나 이어폰 같은 작은 기기에서도 실시간으로 돌아갈 수 있을 만큼 빠릅니다.

2. 손 (IIR 필터 캐스케이드): "소리를 다듬어라"

AI 가 판단한 내용을 바탕으로, **35 개의 필터 (여과기)**가 연쇄적으로 작동합니다.

• 역할: 마치 35 개의 서로 다른 크기의 **체 (체질)**가 줄지어 서 있는 것과 같습니다.
  • AI 가 "이 주파수는 소음이니까 막아줘"라고 하면, 해당 체의 구멍을 아주 작게 줄입니다.
  • "목소리야, 통과시켜줘"라고 하면 구멍을 크게 엽니다.
• 핵심: 이 필터들은 고정된 게 아니라, 매 순간 AI 의 지시에 따라 모양이 바뀝니다. 그래서 소음이 갑자기 변해도 (예: 카페에서 갑자기 커피 머신 소리가 나더라도) 즉시 적응합니다.

3. 안전장치 (가시성과 안정성): "왜 그런 소리가 날까?"

기존의 딥러닝 모델은 "왜 소리가 왜곡되었는지" 알기 어렵습니다 (블랙박스). 하지만 TVF 는 완전히 투명합니다.

• 비유: TVF 는 "내가 지금 500Hz 대역의 소음을 20dB 만큼 줄였다"라고 명확하게 보고합니다.
• 효과: 덕분에 소리가 인위적으로 변질되거나 (로봇 목소리 등), 갑자기 찌익거리는 소리 (아티팩트) 가 날 확률이 매우 낮습니다.

---

🏆 왜 이것이 특별한가요? (결과)

연구진은 이 모델을 기존 기술들과 비교 실험했습니다.

1. 고정된 커튼 (Static PEQ) vs TVF:
   • 고정된 커튼은 소리가 변하면 효과가 떨어집니다. 하지만 TVF 는 소리에 맞춰 실시간으로 변해서 훨씬 좋은 결과를 냈습니다.
2. 마법사 (DeepFilterNet3) vs TVF:
   • 마법사 (딥러닝) 는 데이터가 엄청나게 많을 때 최고 성능을 냅니다. 하지만 데이터가 적을 때는 실수를 하거나 인위적인 소리를 냅니다.
   • TVF 는 데이터가 적어도 (소규모 데이터셋) 매우 안정적으로 작동하며, 사람이 들었을 때의 **자연스러움 (음질)**은 오히려 더 좋았습니다.

결론적으로:
TVF 는 "데이터가 부족해도 잘 작동하고, 소리가 인위적으로 변하지 않으며, 우리가 그 작동 원리를 100% 이해할 수 있는" 완벽한 소음 제거 솔루션입니다.

---

💡 한 줄 요약

"이 기술은 소음에 맞춰 실시간으로 모양을 바꾸는 '지능형 커튼'을 만들어, 목소리는 선명하게 남기고 소음만 깔끔하게 제거하면서도, 그 작동 원리가 투명하고 안전하도록 설계되었습니다."

이 기술은 향후 스마트폰, 이어폰, 화상 회의 시스템 등 작은 기기에서도 고품질의 소음 제거를 가능하게 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

음성 처리 분야에서 딥러닝은 혁신을 가져왔지만, 저전력 및 실시간 애플리케이션 (예: 엣지 AI) 에서는 여전히 전통적인 디지털 신호 처리 (DSP) 가 필수적입니다. 그러나 기존 DSP 는 동적이고 비정상적인 (non-stationary) 잡음에 적응하기 위해 수동 조정이 필요하다는 한계가 있습니다.

반면, 완전히 제약받지 않은 딥러닝 기반 모델은 파형 매칭에는 뛰어나지만 '블랙박스' 특성을 가지며, 인위적인 아티팩트 (artifacts) 를 생성하여 청각적 음질을 저하시킬 수 있습니다. 또한, 기존 차분 가능한 DSP (DDSP) 연구들은 주로 오프라인 처리나 비인과적 (non-causal) 처리에 의존하여 실시간 적용에 한계가 있었습니다.

핵심 문제: 실시간으로 작동하면서도, DSP 의 해석 가능성 (interpretability) 과 딥러닝의 적응성을 모두 갖춘 저지연 음성 향상 모델을 개발하는 것.

2. 방법론 (Methodology)

저자들은 TVF (Time-Varying Filtering) 라는 새로운 모델을 제안했습니다. 이는 경량 신경망 백본을 사용하여 35 개의 2 차 IIR 필터 (biquad) 캐스케이드의 계수를 실시간으로 예측하는 하이브리드 접근법입니다.

• 모델 아키텍처:
  • 입력: 48kHz 샘플링률에서 1024 샘플 (약 21ms) 단위의 비겹침 프레임.
  • 백본 (Backbone): 1024 샘플의 크기 스펙트럼을 1D 컨볼루션 레이어로 처리한 후, 256 은닉 크기의 2 층 GRU (Gated Recurrent Unit) 를 통과시킵니다. GRU 는 시간적 일관성을 보장하여 필터 계수의 급격한 변화를 방지하고 클릭/팝 같은 아티팩트를 제거합니다.
  • 출력: 각 프레임당 35 개의 biquad 필터에 대한 3 가지 제어 파라미터 (이득 $g$, 품질 계수 $q$, 중심 주파수 $f_0$) 를 예측합니다. 총 파라미터 수는 약 101 만 개입니다.
• 필터링 구조:
  • 저주파 억제 필터 1 개, 대역 통과 공진 필터 33 개, 고주파 롤오프 필터 1 개로 구성된 35 개 필터 캐스케이드.
  • 주파수 대역은 음성 기본 주파수 (1000Hz 이하) 에서는 선형 간격으로, 고주파 대역에서는 넓게 분포되도록 설계되었습니다.
• 효율적인 구현 (IIR 필터링):
  • 학습 시에는 심혈관 처리 (systolic processing) 방식을 벡터화된 텐서 공식으로 변환하여 $K \times N$ 깊이의 중첩 루프를 $N+K-1$로 줄여 병렬 계산을 가능하게 했습니다.
  • 추론 (Inference) 시에는 낮은 지연 시간 (21ms) 을 유지하기 위해 표준 직렬 구현을 사용합니다.
• 초기화 전략: 학습 안정성을 위해 최종 선형 레이어의 이득 파라미터를 0dB 근처 (약간의 노이즈 추가) 로 초기화하여 모델이 '전체 통과 (all-pass)' 상태부터 시작하도록 하여, 신호를 억제하는 나쁜 지역 최소값 (local minima) 에 갇히는 것을 방지했습니다.

3. 주요 기여 (Key Contributions)

1. 실시간 ML 제어 Biquad 체인: 실시간 음성 제거를 위해 신경망이 제어하는 시간 가변 IIR 필터 캐스케이드를 최초로 구현했습니다.
2. 해석 가능성과 적응성의 통합: 블랙박스 딥러닝과 달리, TVF 는 스펙트럼 수정이 명시적이고 조정 가능한 완전한 해석 가능한 처리 체인을 제공합니다.
3. 저지연 및 경량화: 100 만 개 미만의 파라미터로 엣지 장치 배포에 적합하며, 21ms 의 매우 낮은 지연 시간을 달성했습니다.
4. 효율적인 학습 알고리즘: IIR 필터 캐스케이드의 학습 병목 현상을 해결하기 위해 벡터화된 심혈관 처리 방식을 도입했습니다.

4. 실험 결과 (Results)

Valentini-Botinhao 데이터셋을 사용하여 정적 DDSP 이퀄라이저 (Static PEQ) 와 최신 딥러닝 모델인 DFNet3와 비교 평가했습니다.

• 객관적 지표 (Objective Metrics):
  • SI-SDR: TVF 는 입력 신호 대비 5.32dB 향상 (13.71dB) 을 보였으며, DFNet3(14.58dB) 과 유사한 성능을 보였습니다.
  • PESQ/POLQA: TVF 는 DFNet3 보다 높은 점수를 기록하여 (PESQ: 2.14 vs 2.12, POLQA: 3.50 vs 3.28), 인간이 지각하는 음질 측면에서 더 우수함을 입증했습니다.
  • eSTOI: 입력 신호와 유사한 점수를 유지하여 음성 내용 (음성 정보) 을 잘 보존하고 있음을 확인했습니다.
• 지각적 품질 (Perceptual Quality):
  • MOS-Noise: TVF 는 배경 잡음 제거 능력 (MOS-Noise: 3.61) 에서 DFNet3(2.90) 보다 월등히 뛰어났습니다.
  • MOS-Overall: 잡음 제거와 신호 보존의 균형이 가장 잘 잡혀 전체 점수 (2.64) 가 가장 높았습니다.
• 적응성 분석:
  • 스펙트로그램 분석 결과, TVF 는 음성이 없는 구간에서는 전체 스펙트럼에 -40dB 이득을 적용하여 잡음을 제거하고, 음성이 시작되면 해당 주파수 대역은 0dB 로 유지하며 나머지를 억제하는 등 동적으로 적응하는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 TVF가 복잡한 딥러닝 모델의 '블랙박스' 특성과 전통적인 DSP 의 경직성 사이의 간극을 성공적으로 메웠음을 보여줍니다.

• 구조적 편향 (Inductive Bias) 의 이점: TVF 는 물리적으로 제약된 IIR 파라미터를 사용함으로써 자연스럽지 않은 신경 합성 아티팩트를 방지합니다. 이는 데이터가 제한된 환경 (Valentini-Botinhao 와 같은 소규모 데이터셋) 에서 오히려 더 강력한 일반화 성능을 발휘하게 합니다.
• 실용성: 100 만 개 미만의 파라미터와 21ms 지연 시간은 모바일 및 엣지 디바이스에서의 실시간 음성 향상 애플리케이션에 매우 적합합니다.
• 향후 과제: 더 대규모의 데이터셋으로 학습하여 SOTA 모델들과의 비교를 강화하고, 스테레오 및 멀티채널 오디오 처리로 확장하는 것이 향후 연구 방향입니다.

결론적으로, TVF 는 파형 매칭의 정밀도보다는 인간이 지각하는 음질, 해석 가능성, 그리고 안정성을 우선시하는 새로운 패러다임을 제시하며, 실시간 엣지 AI 기반 음성 처리 분야에서 중요한 진전을 이루었습니다.