⚡ electrical engineering

SE-AGCNet: An End-to-End Framework for Joint Speech Enhancement and Loudness Control in Meeting Scenarios

이 논문은 회의 시나리오에서 음성 품질과 ASR 정확도를 향상시키는 동시에 목표 음량을 달성하기 위해, 기존의 이산적인 파이프라인의 한계를 극복하고자 음성 향상과 자동 이득 제어를 공동으로 최적화하는 엔드 투 엔드 프레임워크인 SE-AGCNet을 소개한다.

원저자: Jinming Zhang, Wei Rao, Xionghu Zhong, Eng Siong Chng

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinming Zhang, Wei Rao, Xionghu Zhong, Eng Siong Chng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 오디오 품질이 엉망인 방에서 회의를 진행하고 있다고 상상해 보십시오. 어떤 사람들은 방 뒤쪽에서 속삭이고 있고, 다른 사람들은 앞쪽에서 소리를 지르고 있으며, 에어컨 소리와 타이핑 소리가 배경에서 끊임없이 웅웅거립니다.

전통적으로 이 오디오를 수정하는 것은 서로 대화하지 않는 두 명의 별개 작업자를 고용하는 것과 같았습니다:

소음 제거 전문가 (Speech Enhancement): 이들의 역할은 배경 소음을 닦아내는 것입니다. 하지만 배경 소음을 제거하는 데 너무 집중한 나머지, 때로는 조용한 속삭임까지 실수로 "청소"하여 완전히 사라지게 만들기도 합니다.
볼륨 조절 전문가 (Automatic Gain Control): 이들의 역할은 모든 사람이 동일한 볼륨으로 들리도록 하는 것입니다. 하지만 만약 이들이 소음 제거 전문가보다 먼저 일을 한다면, 배경 소음의 볼륨을 높여 상황을 더 악화시킬 수 있습니다. 반대로 소음 제거 전문가가 일을 마친 후에 일을 한다면, 소음 제거 전문가가 실수로 삭제해 버린 부분의 볼륨을 다시 높이게 될 수도 있습니다.

이 논문은 SE-AGCNet이라는 새로운 솔루션을 소개합니다. 이것을 두 명의 별개 작업자가 아니라, 두 가지 작업을 동시에 관리하는 단 한 명의 숙련된 오케스트라 지휘자라고 생각하십시오.

작동 원리: "결합 학습(Joint Training)" 접근 방식

소음 제거와 볼륨 조정을 별개의 단계로 처리하는 대신, SE-AGCNet은 컴퓨터가 두 가지를 동시에 수행하도록 가르칩니다.

시너지 효과: 이 시스템은 특별한 기술을 배웁니다. 즉, "볼륨 조절 전문가"가 나중에 어쨌든 조용한 목소리를 키울 것이라는 점을 인지하여, "소음 제거 전문가"에게 조용한 목소리에는 부드럽게 대처하라고 지시하는 것입니다. 이를 통해 조용한 화자의 목소리가 지워지는 것을 방지합니다.
결과: 시스템은 배경 소음을 제거하면서도 조용한 음성을 온전히 유지하며, 그 후 모든 사람이 마이크 바로 옆에 앉아 있는 것처럼 완벽하게 볼륨을 조절합니다.

학습 데이터: "시뮬레이션 공장"

이 시스템을 구축하는 데 있어 가장 큰 장애물 중 하나는, 실제 회의에서 흔히 발생하는 것처럼 노이즈가 섞인 음성과 급격하게 변하는 볼륨이 동시에 존재하는 기존의 오디오 데이터 라이브러리가 없었다는 점입니다.

이를 해결하기 위해 저자들은 SE-AGC-DataGen이라 불리는 데이터 시뮬레이션 파이프라인을 구축했습니다.

비유: 실험실의 사운드 엔지니어가 깨끗한 음성 녹음본을 가져와서, 이를 현실적인 회의 소음(팬 소리나 키보드 소리 등)과 섞고, 그다음 인위적으로 어떤 사람은 매우 작게, 어떤 사람은 매우 크게 들리도록 만드는 것을 상상해 보십시오. 이들은 이 과정을 수천 번 반복하여 AI를 위한 "연습 체육관"을 만듭니다.
목표: 이를 통해 AI는 실제 혼란스러운 회의를 위해 수천 시간의 실제 엉망인 회의를 먼저 녹음할 필요 없이, 현실 세계의 회의에서 발견되는 바로 그 종류의 혼돈을 다루는 연습을 할 수 있습니다.

성공 측정 방법: "라우드니스 자(Loudness Ruler)"

저자들은 단순히 듣고 소리가 좋다고 판단한 것이 아니라, 인간의 귀가 실제로 작동하는 방식과 더 유사한 표준화된 "라우드니스(음량)" 측정법을 사용했습니다.

기존 방식: 단순한 온도계(RMS)처럼 볼륨을 측정하는 방식인데, 이는 오해의 소지가 있을 수 있습니다.
새로운 방식: LUFS(Full Scale 대비 라우드니스 단위)를 사용하는 것입니다. 이것은 "지각적 자"라고 생각하십시오. 이는 단순히 물리적인 전기 신호가 아니라, 인간에게 소리가 얼마나 크게 느껴지는지를 측정합니다. 이들은 명확하고 균형 잡힌 음성을 위한 표준인 -23 LUFS라는 특정 "편안한 구역"을 목표로 삼았습니다.

결과: 어떤 일이 일어났는가?

그들이 SE-AGCNet을 기존의 "별개 작업자" 방식들과 비교 테스트했을 때 다음과 같은 결과가 나타났습니다:

더 나은 명료도: 음성이 더 선명하게 들렸으며, 배경 소음은 더 효과적으로 감소했습니다.
완벽한 볼륨: 시스템은 소리의 왜곡 없이 조용한 화자의 볼륨은 높이고 큰 화자의 볼륨은 낮추어 목표로 했던 "편안한 구역"으로 성공적으로 가져왔습니다.
더 똑똑한 컴퓨터: 정제된 오디오를 음성 인식(ASR) 컴퓨터에 입력했을 때, 컴퓨터의 오류가 줄어들었습니다. 이는 매우 중요한데, 볼륨이 너무 낮거나 소음이 너무 높으면 컴퓨터가 말한 내용을 이해할 수 없기 때문입니다.

요약하자면

이 논문은 소음 제거와 볼륨 조절을 하나의 스마트한 시스템으로 통합하는 새로운 프레임워크인 SE-AGCNet을 제시합니다. 이들은 두 작업을 함께 학습시킴으로써, 각각 따로 수행할 때 발생하는 실수들을 피합니다. 이 시스템은 맞춤 제작된 시뮬레이션 회의 데이터를 담은 "연습 체육관"을 사용하여 학습하며, 이러한 결합된 접근 방식이 실제 회의 상황에서 더 선명한 음성, 더 나은 볼륨 균형, 그리고 더 정확한 음성 인식 결과를 가져온다는 것을 입증합니다.

기술 요약: SE-AGCNet

1. 문제 정의

회의 시나리오를 위한 기존의 오디오 파이프라인은 일반적으로 음성 향상(Speech Enhancement, SE)과 자동 이득 제어(Automatic Gain Control, AGC)를 별개의 직렬 연결된 모듈로 취급합니다. 이러한 분리는 다음과 같은 심각한 성능 제한을 초래합니다:

계층적 순서 문제: AGC를 SE 이전에 적용하면 음성과 배경 소음이 무차별적으로 증폭되어 신호 대 잡음비(SNR)가 저하되고 후속 디노이징이 복잡해집니다. 반대로 SE 이후에 AGC를 적용하면 SE 출력의 품질에 성능이 크게 의존하게 됩니다. 즉, 잔류 소음이 의도치 않게 증폭될 수 있습니다.
과도한 억제: SE 모델은 저음량의 음성(예: 원거리 또는 작은 목소리의 화자)을 소음으로 잘못 분류하여 과도하게 억제하는 경향이 있습니다.
결합 최적화의 부재: 기존의 통합 프레임워크들은 종종 AGC를 분리된 후처리 단계로 취급하거나 재현 불가능한 독자적인 타겟 생성 방식에 의존하며, 이는 모델이 소음 억제와 볼륨 정규화 사이의 시너지 효과를 학습하는 능력을 제한합니다.

2. 방법론: SE-AGCNet

저자들은 SE와 AGC를 단일 학습 과정 내에서 공동으로 최적화하는 엔드 투 엔드 딥러닝 프레임워크인 SE-AGCNet을 제안합니다. 이 시스템은 시간-주파수 도메인에서 작동하여, 노이즈가 섞이고 볼륨 불균형이 있는 입력 파형을 깨끗하고 볼륨이 균형 잡힌 출력으로 변환합니다.

아키텍처

본 프레임워크는 2단계 아키텍처를 채택합니다:

음성 향상 (SE) 모듈:
- 백본(Backbone): MP-SENet을 기본 아키텍처로 사용합니다.
- 입력/출력: 노이즈가 섞인 입력의 크기(magnitude) 및 위상(phase) 스펙트럼을 처리합니다.
- 학습 전략: 타겟은 깨끗하지만 볼륨이 불균형한 음성입니다. 이를 통해 SE 모듈이 소음은 억제하면서도 후속 AGC 모듈을 위해 음량 변화를 보존하도록 강제합니다.
- 비대칭 가중치 부여(Asymmetric Reweighting): 모델이 작은 음성을 과도하게 억제하는 것을 방지하기 위해 비대칭 손실 전략을 적용합니다. 예측된 크기가 타겟 크기보다 낮을 경우, 손실 기여도에 $\alpha = 10.0$ 의 계수를 곱합니다.
자동 이득 제어 (AGC) 모듈:
- 입력: SE 모듈으로부터 전달받은 RMS 정규화된 향상된 크기 스펙트럼을 입력으로 받습니다.
- 아키텍처: 세 가지 구성 요소로 이루어져 있습니다:
  - 주파수 도메인 처리: 주파수 인지 특징을 추출하기 위한 두 개의 2D 컨볼루션 레이어.
  - 시간적 처리: 시간적 시퀀스를 처리하기 위한 2개 층의 양방향 LSTM (BiLSTM).
  - 스펙트럼 재구성: 크기 스펙트럼을 재구성하기 위한 전치 컨볼루션(Transposed convolutions).
- 정규화: 목표 음량인 -23 LUFS를 달성하기 위해 피크 정규화를 0.4로 적용합니다. 상대적인 진폭 제어를 학습하기 위해 입력과 타겟에 대해 독립적인 RMS 정규화를 사용합니다.
- 손실 전략: 조건부 가중치 메커니즘을 사용하여 무음 타겟 영역에서 양의 에너지를 예측할 경우 10배의 페널티를 부여함으로써 소음 증폭을 방지합니다.

결합 학습 목적 함수

전체 손실 함수는 SE 손실과 AGC 손실을 결합합니다:
$L_{total} = L_{MP-SENet} + \lambda_{AGC} \times L_{AGC}$
여기서 $\lambda_{AGC} = 0.9$ 입니다. 커리큘럼 학습 전략을 사용하여 5 에포크 동안 SE 모듈을 사전 학습한 후 전체 프레임워크를 공동 최적화합니다.

3. 주요 기여

A. SE-AGCNet 프레임워크

SE와 AGC의 공동 학습을 가능하게 하는 유연한 엔드 투 엔드 프레임워크입니다. 이 프레임워크는 다양한 기존 SE 아키텍처와의 통합을 지원하며, 리버베레이션(잔향), 배경 소음, 화자의 거리 및 움직임으로 인한 상당한 볼륨 차이 등 회의실 음향의 특수한 과제들을 해결합니다.

B. SE-AGC-DataGen 파이프라인

공개된 AGC 데이터셋의 부족을 인지하여, 저자들은 LibriAGC 데이터셋을 생성하기 위한 포괄적인 데이터 시뮬레이션 파이프라인을 개발했습니다.

소스: LibriTTS를 기반으로 합니다.
시뮬레이션 단계:
1. 2~5명의 화자 결합.
2. 실제 회의 역동성을 시뮬레이션하기 위해 기본 조정 및 4가지 증강 모드(갑작스러운 스파이크, 점진적 변화, 변동 등)를 포함한 볼륨 프로세싱 수행.
3. 회의실 음향을 모사하기 위해 DNS Challenge의 35개 클립을 사용하여 5~25 dB SNR로 노이즈 믹싱.
타겟: SE 학습용(깨끗하고 볼륨이 불균형한 상태)과 AGC 학습용(깨끗하고 볼륨이 균형 잡힌 상태)의 구별된 타겟을 생성합니다.

C. 표준화된 라우드니스(Loudness) 평가

객관적이고 지각적으로 의미 있는 평가를 제공하기 위해 ITU-R BS.1770 및 EBU R128에 기반한 표준화된 라우드니스 지표를 도입했습니다:

통합 라우드니스 (Integrated Loudness, LUFS): 목표치를 -23 LUFS로 설정합니다.
단기 라우드니스 (Short-term Loudness, St LUFS): 근거리와 원거리 음성이 공존하는 회의 상황에서 흔히 발생하는 게이팅 편향을 피하기 위해 3초 슬라이딩 윈도우를 사용합니다.
라우드니스 범위 (Loudness Range, LRA): 동적 범위를 정량화하며, 균형 잡힌 음성을 위해 3~6 LU를 최적값으로 식별합니다.

4. 실험 결과

데이터셋

실험은 다음 데이터셋을 대상으로 수행되었습니다:

LibriAGC: 시뮬레이션된 데이터셋 (훈련 데이터 9,487개, 테스트 데이터 1,406개).
실제 환경 데이터셋: MMCSG (CHiME-8 챌린지) 및 AliMeeting-far (원거리 부분).

성능 지표

음성 품질: PESQ, SIGMOS (Loudness MOS 포함), DNSMOS.
AGC 성능: LUFS, St LUFS, LRA.
다운스트림 ASR: 단어 오류율 (WER) 및 음절 오류율 (CER).

주요 결과

라우드니스 제어: SE-AGCNet은 일관되게 목표 라우드니스인 -23 LUFS를 달s하며, St LUFS 또한 목표치에 근접하고 LRA는 최적 범위인 3~6 LU 내에 머무릅니다. 반면, 기존의 계층적 방식(SE + pyagc)이나 단독 SE 모델은 일관된 음량을 유지하지 못하거나 과도한 LRA를 보였습니다.
음성 품질 및 ASR:
- LibriAGC 테스트 세트에서 SE-AGCNet은 기존 MP-SENet 및 계층적 베이스라인 모델들보다 PESQ, SIGMOS, DNSMOS 점수에서 우수한 성능을 보였습니다.
- 실제 환경 데이터셋에서 테스트된 모든 시스템 중 가장 낮은 WER/CER을 달성했습니다.
- 이러한 개선은 특히 데이터가 제한적인 ASR 모델(예: stt_en_conformer_ctc_large)에서 두드하게 나타났으며, 이는 본 프레임워크가 오디오 품질 변화에 민감한 시스템에 매우 유익함을 시사합니다.
비교: SE-AGCNet은 AGC를 별도의 후처리 단계로 취급하는 것보다 공동 최적화가 더 우수함을 입증하였으며, SE가 작은 음성을 소음으로 오분류하는 위험을 완화하고 AGC가 잔류 소음을 증폭하는 것을 효과적으로 방지합니다.

5. 의의

본 논문은 SE-AGCNet이 계층적 오디오 파이프라인의 한계에 대한 원칙적인 해결책을 제공한다고 주장합니다. SE와 AGC 사이의 시너지를 활용함으로써, 본 프레임워크는 SE 모듈이 저음량의 음성 콘텐츠를 보존하는 동시에 AGC 모듈이 볼륨 정규화를 처리하도록 보장합니다. 그 결과:

향상된 오디오 품질: 작은 목소리를 과도하게 무음화하지 않으면서도 더 나은 소음 억제를 실현합니다.
최적의 라우드니스: 회의 시나리오에 적합한 일관된 목표 라우드니스 수준을 달성합니다.
다운스트림 유용성 강화: 자동 음성 인식(ASR) 시스템의 인식 오류를 크게 감소시킵니다.

저자들은 오픈 소스 코드와 핵심적인 결핍이었던 공개 AGC 데이터셋 문제를 해결한 새로운 SE-AGC-DataGen 파이프라인을 통해 연구의 재현성을 강조합니다. 향-후 연구 과제로 더 복나로운 음향 조건으로의 프레임워크 확장 및 경량화된 실시간 모델 탐색을 언급하였습니다.