DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation

당신이 시끌벅적한 파티에 있다고 상상해 보세요. 모두가 동시에 떠들고 있습니다. 당신의 뇌는 친구의 목소리에 집중하고 잔 부딪히는 소리나 음악의 베이스 음은 무시하는 초강력 필터 역할을 합니다. 이것을 "음성 분리(speech separation)"라고 부릅니다. 이제, 로봇이나 컴퓨터 프로그램이 이 작업을 수행하려고 한다고 상상해 보세요. 컴퓨터가 귀만 가지고 있다면 두 사람이 동시에 말할 때 혼란에 빠질 것입니다. 하지만 컴퓨터에게 눈까지 있다면, 누가 말하고 있는지 알아내기 위해 입술이 어떻게 움직이는지 관찰할 수 있습니다. 이것이 "시각-오디오 음성 향상(audio-visual speech enhancement)"입니다. 이는 마치 탐정이 미스터리를 풀기 위해 마이크와 카메라를 모두 사용하는 것과 같습니다. 하지만 현실 세계는 무질서합니다. 카메라는 흐릿해질 수 있고, 사람들이 프레임 밖으로 걸어나갈 수도 있으며, 조명이 최악일 수도 있습니다. 만약 컴퓨터가 흔들리는 카메라에 너무 과하게 의존한다면, 엉뚱한 사람의 목소리를 가져올 수도 있습니다. 연구자들이 답을 찾고자 하는 핵심 질문은 이것입니다: 어떻게 하면 카메라가 도움을 주되, 카메라가 실패하더라도 시스템이 무너지지 않도록 만들 수 있을까?

여기, Wei Zhou와 그 팀의 연구진이 만든 새로운 프레임워크인 DAVE가 있습니다. DAVE를 증거가 불분명해져도 당황하지 않는 똑똑한 2단계 탐정 사무소라고 생각해보세요.

"올인원(All-in-One)" 탐정의 문제점

이 문제에 대한 기존의 대부분의 시도는 마치 카메라 화면에 눈을 딱 붙인 채 소리를 들으려는 탐정과 같았습니다. 그들은 처음부터 비디오와 오디오를 하나로 섞어버렸습니다. 만약 비디오가 흐릿하거나 사람의 얼굴이 가려지면, 전체 시스템이 혼란에 빠져 엉뚱한 추측을 하기 시작했습니다. 그것은 마치 안개 낀 안경을 쓰고 퍼즐을 맞추려는 것과 같았습니다. 안경을 사용하려고 애쓸수록 오히려 그림이 더 나빠졌습니다.

저자들은 이러한 "결합된" 접근 방식이 위험하다고 주장합니다. 현실 세계에서 시각 신호는 자주 저하되기 때문입니다. 나쁜 비디오를 사용하여 오디오를 고치려고 강요하는 대신, DAVE는 다른 길을 택합니다. 바로 두 가지를 **분리(decouple)**하는 것입니다. 즉, "오디오를 깨끗하게 만드는" 작업과 "누가 말하고 있는지 알아내는" 작업을 분리합니다.

1단계: 더 나은 훈련 체육관 구축 (DAVE-Corpus)

탐정이 실제 범죄를 해결하기 전에는 연습이 필요합니다. 문제는, 이러한 컴퓨터를 훈련시킬 만큼 실제의 무질서한 회의 기록이 충분하지 않다는 점입니다. 대부분의 훈련 데이터는 너무 깨끗하고 완벽해서, 마치 녹음실처럼 정제되어 있어 시끄러운 카페테리아 상황에는 대비가 되어 있지 않습니다.

이를 해결하기 위해 팀은 219,411개의 서로 다른 오디오 혼합물을 포함하는 거대한 훈련 체육관인 DAVE-Corpus를 구축했습니다. 그들은 단순히 새로운 회의를 녹음한 것이 아니라, 기존의 공개 회의 녹음본을 사용하여 교묘한 "조합적(combinatorial)" 방법으로 재믹싱했습니다. 수천 개의 서로 다른 음성 클립을 가져와 디지털 믹서기에 넣고 무작위로 섞은 뒤, 현실적인 에코(예: 큰 홀에서 말하는 듯한 소리)와 배경 소음을 추가한다고 상상해 보세요. 그들은 심지어 목소리가 서로 구별될 수 있을 만큼 충분히 다르게 들리도록 만들었습니다. 이 거대한 데이터셋은 AI가 완벽한 비디오 피드 없이도 현실 세계의 복잡한 소리를 처리하는 법을 배우게 했습니다.

2단계: 두 개의 트랙 시스템

DAVE는 서로 간섭하지 않는 두 개의 별도 팀으로 업무를 나눕니다.

1. 오디오 전용 클리너(The Audio-Only Cleaner): 이 팀의 유일한 임무는 지저분한 소음을 가져와 두 개의 깨끗한 음성 스트림으로 분리하는 것입니다. 이들은 비디오를 전혀 보지 않습니다. 이들은 "점진적 다중 목적(progressive multi-objective)" 전략을 사용하여 매우 견고하게 훈련됩니다. 즉, 이들은 단순히 소음이 얼마나 적은가뿐만 아니라, 음성을 얼마나 이해하기 쉬운지, 화자의 고유한 목소리가 얼마나 잘 보존되는지, 그리고 인간의 귀에 얼마나 자연스럽게 들리는지를 기준으로 평가받습니다.
2. 시각 탐정(The Visual Detective): 오디오가 두 개의 익명 스트림으로 분리되면, 이 팀이 투입됩니다. 이들은 비디오를 보고 어떤 스트림이 어떤 사람의 것인지 결정합니다. 하지만 여기서 영리한 점은, 이들이 단 하나의 카메라 뷰만을 신뢰하지 않는다는 것입니다. 이들은 네 가지 서로 다른 단서의 "가중치 융합(weighted fusion)"을 사용합니다:
   • 음성 지문(Voiceprint): 목소리가 누구와 닮았는가? (이것이 가장 중요한 단서입니다).
   • 입술 싱크(Lip-Sync): 입술이 소리에 맞춰 움직이는가?
   • SyncNet: 오디오-비주얼 매칭을 위한 특화된 검사.
   • 키포인트(Keypoints): 얼굴이 흐릿하더라도 입의 움직임을 추적함.

만약 비디오가 형편없다면(흐릿하거나 가려진 경우), 시스템은 음성 지문에 크게 의존합니다. 비디오가 선명하다면, 네 가지 단서를 모두 사용합니다. 이렇게 하면 카메라가 실패하더라도 시스템이 멈추지 않고, 이미 깨끗하게 정리된 오디오에 더 의존하게 됩니다.

3단계: "인증된" 안전망

마지막 기술은 저자들이 "인증된 선택적 향상(certified selective enhancement)"이라고 부르는 것입니다. 다음과 같은 규칙이 있다고 상상해 보세요: "우리는 공식 점수를 망치지 않을 확신이 있을 때만 오디오를 건드릴 수 있다."

현실 세계에서는 가끔 우리가 비교할 수 있는 "완벽한 참조 모델"(예: 화자가 있어야만 하는 소리의 녹음본)이 없을 때가 있습니다. 이런 경우, DAVE는 GAN(현실적인 소리를 생성하도록 학습된 AI의 일종)을 사용하여 배경 소음을 제거하고 볼륨을 조절하는 것과 같은 추가적인 정제 단계를 적용합니다. 그러나 완벽한 참조 모델이 존재하는 테스트 단계에서는 이러한 추가 단계를 적용하지 않습니다. 이는 시스템이 실수로 "공식" 점수를 악화시키지 않도록 보장합니다. 이는 AI가 허용된 곳에서만 위험을 감수하도록 보장하는 안전 프로토콜입니다.

결과

팀이 "실제 환경 오디오-비주얼 음성 향상 챌린지(Real-World Audio-Visual Speech Enhancement Challenge)"에서 DAVE를 테스트했을 때, 결과는 인상적이었습니다.

• 트랙 1(실제 환경의 혼합 시나리오)에서, DAVE는 공식 베이스라인을 큰 차이로 앞질렀으며, 신호 대 잡음비(SNR)를 16 dB 이상 개선했고, 음성 이해 오류율(CER)을 1.025에서 0.171로 낮추었습니다.
• 트랙 2(비디오가 의도적으로 흐릿하게 하거나 프레임이 누락되도록 손상된 경우)에서도 DAVE는 강력한 모습을 보였습니다. 비디오가 좋지 않은 상황에서도 8.93 dB의 신호 품질과 0.220이라는 낮은 오류율을 달ach했습니다.

핵심적인 교훈은, "정제"와 "식별"을 분리하고 현실적인 대규모 데이터셋으로 훈련함으로써, DAVE는 훌륭한 오디오를 얻기 위해 완벽한 비디오가 반드시 필요하지 않다는 것을 증명했다는 점입니다. 이는 언제 눈을 믿고 언제 귀를 믿어야 하는지 아는 시스템이며, 이를 통해 보조 청취나 인간-컴퓨터 상호작용과 같은 실제 응용 분야에서 훨씬 더 신뢰할 수 있는 파트너가 될 수 있음을 보여줍니다.