Revisiting Active Speaker Detection: An In-the-Wild Benchmark for Generalization and Robustness

기술 요약: 실세계 환경에서의 일반화 및 강건성 확보를 위한 능동적 화자 탐지(Active Speaker Detection)의 재고

문제 정의
능동적 화자 탐지(Active Speaker Detection, ASD)는 비디오 프레임 내에 보이는 사람이 실제로 말하고 있는지를 식별하는 것을 목표로 한다. 이 분야는 상당한 진전을 이루었으나, 최근의 최첨단 모델들은 지배적인 벤치마크인 AVA-ActiveSpeaker에서 매우 높은 성능(예: >95% mAP)을 보고하고 있다. 그러나 AVA는 전적으로 영화 콘텐츠로 구성되어 있어, 실제 배포 시나리오의 복잡성을 반영하지 못한다. 결과적으로, 현재의 벤치마크와 비디오 컨퍼런스, 소셜 미디어, 라이브 방송과 같은 실제 응용 분야 사이에는 상당한 도메인 격차가 존재한다. 영화 데이터로 학습된 기존 모델들은 저대표 언어, 소음이 심한 배경, 붐비는 장면, 역동적인 카메라 움직임 등 실제 환경의 특성을 일반화하는 데 실패한다. 본 논문은 포괄적인 벤치마크가 이러한 과제들을 체계적으로 다루지 못하기 때문에, 현실적인 조건 하에서 ASD는 여전히 해결되지 않은 문제라고 주장한다.

방법론: UniTalk 데이터셋
이러한 격차를 해소하기 위해 저자들은 실제 세계의 시청각 환경의 다양성과 복잡성을 반영하도록 설계된 새로운 대규모 벤치마크 데이터셋인 UniTalk를 소개한다. 데이터셋 구축은 엄격한 4단계 파이프라인을 따른다:

1. 비디오 소싱: 후보 비디오는 다인 참여 토크쇼, 기자 회견, 거리 인터뷰와 같은 특정 복잡한 시나리오를 타겟팅하여 키워드 검색(GPT-4 보조)을 통해 YouTube에서 수집되었다. 언어적 다양성을 보장하기 위해 키워드는 여러 언어로 번역되었다.
2. 콘텐츠 필터링: 과도한 폐쇄(occlusion), 낮은 해상도(<480px), 불량한 오디오(음성 부재 또는 압도적인 음악), 또는 민감하거나 부적절한 콘텐츠가 포함된 비디오를 자동 및 수동 필터를 통해 제거하였다.
3. 얼굴 추적 생성: S3FD를 이용한 탐지와 그리디 트래킹(greedy tracking)을 사용하여 프레임 간 얼굴을 연결하는 자동 파이프라인을 통해 구조화된 얼굴 시퀀스를 생성하였다. 추적된 경로(track)는 매끄럽게 처리되었으며, 끊긴 부분은 보간되었다. 최소 1초 이상 지속되는 트랙만 유지되었다.
4. 어노테이션: 2단계의 다회차 레이블링 프로세스가 적용되었다. 어노테이터들은 엄격한 기준(예: 의미적 내용을 담은 언어적 신호 vs 기침이나 웃음과 같은 비언어적 발성)에 따라 프레임 단위의 발화 상태를 레이블링하였다. 최종 레이블은 높은 정밀도와 재현율을 보장하기 위해 다수결 합의를 거쳤다.

데이터셋 특성 및 평가 프로토콜
UniTalk는 44.5시간의 비디오, 48,693개의 얼굴 트랙, 그리고 **4백만 개 이상의 얼굴 크롭(face crops)**으로 구성되어 있으며, 이는 AVA(38.5시간), ASW(23시간), Talkies(4.2시간)의 규모를 능가한다. 데이터셋은 세 가지 주요 난이도 축을 기준으로 큐레이션되었다:

• 저대표 언어: 기존 벤치마크에서 드물게 등장하는 언어(예: 동아시아 언어)를 포함하며, 언어적 변이를 분리하기 위해 깨끗한 오디오와 결합되었다.
• 소음이 심한 배경: 명확한 음성이 존재하지만 주변 소음이나 음악이 강한 비디오를 포함하여, 음향적 어려움을 분리하였다.
• 붐비는 장면: 여러 명의 가시적인 화자, 폐쇄(occlusion), 빠른 카메라 움직기를 특징으로 하여 시각적 복잡성을 분리하였다.
• 어려운 사례(Hard Examples): 위에서 언급한 난이도 요소 중 적어도 두 가지 이상이 결합된 서브셋이다.

평가 프로토콜은 **평균 정밀도(mAP)**를 주요 지표로 사용한다. 종합 점수 외에도, 테스트 세트는 위에서 언급한 네 가지 진단적 하위 그룹으로 분할되어 특정 스트레스 조건 하에서의 모델 강건성을 분석한다.

주요 기여

1. UniTalk 벤치마크: 영화 기반 벤치마크에는 없는 실제 세계의 과제(언어 다양성, 소음, 혼잡도)를 체계적으로 다루는 새로운 대규모 데이터셋을 제공한다.
2. 진단적 평가: 단순히 총합 점수에 의존하는 대신, 특정 실패 모드(언어, 소음, 혼잡도)를 분리하여 분석하는 세밀한 평가 프레임워크를 제공한다.
3. 미해결 상태에 대한 실증적 증거: AVA에서 포화 상태에 도달한 모델들이 UniTalk에서는 크게 실패함을 보여줌으로써, ASD가 실제 환경에서는 아직 해결되지 않은 문제임을 입증한다.

실험 결과
저자들은 다양한 최첨단 ASD 모델(ASDNet, ASC, TalkNet, LoCoNet, LASER, TalkNCE 포함)을 UniTalk에서 평가하였다:

• 성능 저하: AVA에서 95 mAP 이상의 성능을 보고했던 모델들이 UniTalk에서는 크게 하락하였다. 가장 우수한 성능을 보인 TalkNCE 모델은 AVA에서의 완벽에 가까운 성능과 달리, UniTalk 전체에서 단 83.2 mAP를 기록하였다.
• 하위 그룹 성능 저하: 특정 하위 그룹에서 성능이 더욱 저하되었다: 저대표 언어 86.7 mAP, 소음 배경 84.1 mAP, 붐비는 장면 84.9 mAP, 그리고 여러 과제가 동시에 발생하는 "Hard" 서브셋에서는 77.9 mAP를 기록하였다.
• 교차 데이터셋 일반화: UniTalk로 학습된 모델은 다른 벤치마크(AVA, Talkies, ASW)에 대해 우수한 일반화 능력을 보였다. 예를 들어, UniTalk로 학습된 TalkNCE 모델은 AVA에서 88.0 mAP, Talkies에서 91.4 mAP, ASW에서 90.4 mAP를 달성한 반면, AVA로 학습된 모델은 UniTalk로 전이되었을 때 저조한 성능(77.5 mAP)을 보였다.
• 사전 학습의 유용성: 단 3시간의 AVA 데이터로 UniTalk 사전 학습 모델을 미세 조정(fine-tuning)했을 때, AVA에서 92.4 mAP를 달성하여 전체 AVA 데이터셋으로 학습된 모델(95.5 mAP)의 성능에 근접하였다. 이는 UniTalk가 매우 전이 가능한 표현(transferable representations)을 제공함을 나타낸다.

의의 및 주장
본 논문은 UniTalk가 ASD 평가의 더 현실적인 새로운 표준을 확립한다고 주장한다. 저자들은 기존의 AVA와 같은 벤치마크가 모델이 좁고 각본된 영화 패턴에 과적합되도록 허용함으로써 실제 준비도를 과대평가할 수 있다고 논한다. 반면, UniTalk는 ASD가 실제 조건 하에서는 여전히 열린 과제임을 드러낸다. 이 데이터셋은 두 가지 목적을 수행한다:

1. 평가: 다양한 실제 세계 요인에 대한 실패 모드를 식별하고 강건성을 측정하기 위한 엄격한 테스트베드를 제공한다.
2. 학습 자원: 모델이 강건하고 전이 가능한 표현을 학습할 수 있도록 하는 효과적인 사전 학습 소스로 작용하여, 특정 다운스트림 도메인으로의 신속한 적응을 용이하게 한다.

저자들은 결론적으로 UniTalk가 영화 기반 데이터셋의 한계를 넘어, 제약 없는 실제 환경에서 작동할 수 있는 탄력적인 ASD 모델을 개발하는 데 귀중한 자원이라고 밝히며, 이를 통해 분야의 발전을 도모하고자 한다.