기술 요약: VSRo-200

문제 정의

시각적 음성 인식(VSR), 즉 입술 읽기(lip reading)는 시각적 음성의 본질적인 모호성(예: 여러 음소가 동일한 시젬(viseme)에 매핑됨)과 대규모 고품질 주석 데이터셋의 부족으로 인해 저자원 언어에서 상당한 어려움에 직면해 있습니다. 영어 VSR은 대규모 문장 단위 코퍼스(예: LRS2, LRS3)와 약한 지도 학습을 활용한 다국어 접근 방식의 혜택을 입었지만, 루마니아어 VSR은 자원이 부족한 상태로 남아 있습니다. LRRo와 같은 기존의 루마니아어 자원은 소규모의 고립된 단어 인식 작업에 국한되어 있습니다. 또한, 현재 VSR 데이터셋에는 근본적인 트레이드오프가 존재합니다. 즉, 데이터셋이 정교하게 수동 주석이 달린 소규모이거나, 아니면 주로 자동 음성 인식(ASR) 시스템에 의해 생성된 의사 라벨(pseudo-labels)에 의존하는 대규모이거나 둘 중 하나입니다. 이러한 격차는 감독의 품질이 저자원 환경에서 모델의 성능과 강건성에 어떻게 영향을 미치는지에 대한 통제된 분석을 방해합니다.

방법론

저자들은 유튜브에서 가져온 200시간 분량의 실제 팟캐스트 영상을 포함하는, 루마니아어 VSR을 위한 최초의 대규모 데이터셋인 VSRo-200을 소개합니다.

데이터 구축 및 전처리

• 소스 자료: 데이터셋은 고정된 멀티 카메라 설정에서 호스트와 단일 게스트가 등장하는 팟캐스트 에피소드로 구성됩니다. 정체성 다양성을 보장하기 위해, 단일 게스트가 등장하는 에피소드를 선택하여 각 개인이 단 하나의 에피소스에만 나타나도록 했습니다.
• 세그멘테이션(Segmentation): 긴 형태의 녹음물은 카메라 각도 변화를 기준으로 샷(shot) 단위로 분할되었습니다. InsightFace를 이용한 시각적 필터링을 통해 단일 화자만 보이는 세그먼트만을 유지하였으며, 얼굴 임베딩 비교를 통해 호스트의 등장을 제거했습니다.
• 오디오 필터링: 화자 분리(Pyannote)를 적용하여 샷 내에서 게스트를 주요 화자로 식별했습니다. 오디오는 게스트의 음성만 포함하는 3~30초 길이의 클립으로 세분화되었습니다.
• 동기화: 클립은 페이스 트래킹(S3FD)과 시청각 동기화 검증(SyncNet)을 거쳤습니다. 동기화 오차가 ±10 프레임을 초과하거나 얼굴 해상도가 96×96 픽셀 미만인 클립은 폐기되었습니다. 최종 출력물은 25 FPS의 224×224 얼굴 크롭 이미지와 정렬된 16 kHz 오디오입니다.
• 주석 전략:
  • 의사 라벨(Pseudo-labels): 전체 200시간의 데이터셋은 루마니아어에 미세 조정된 Whisper-large 모델을 사용하여 주석을 달았습니다.
  • 인간 주석(Human Annotations): 시각적 명확성과 화자 중첩이 없는 것을 기준으로 선택된 100시간의 서브셋은 엄격한 철자 가이드라인에 따라 인간에 의해 전사되었습니다. 이를 통해 약한 감독(의사 라벨)과 완전한 감독(인간 주석) 사이의 통제된 비교가 가능합니다.

실험 설정

저자들은 VTP(Visual Transformer Pooling) 인코더와 Transformer 인코더-디코더로 구성된 트랜스포머 기반 VSR 아키텍처(MultiVSR 준수)를 사용하여 벤치마크를 구축했습니다.

• 감독 분석: 모델은 인간 주석 또는 의사 라벨을 사용하여 다양한 데이터 규모(10h ~ 200h)로 학습되었습니다.
• 강건성 평가:
  • 노이즈: 오디오-시각적 음성 인식(AVSR)은 다양한 신호 대 잡음비(SNR)에서 가우시안 노이즈와 베이비 블러(babble) 노이즈 하에 테스트되었습니다. 예측 엔트로피를 기반으로 양상(modality)에 가중치를 두는 신뢰도 기반 동적 융합 전략이 사용되었습니다.
  • 도메인 변화(Domain Shift): 브이로그, 특정 도메인(의료, 종교 등), 노이즈가 심한 환경, 흑백 아카이브 영상을 포함하는 유튜브 기반의 분포 외(OOD) 테스트 세트를 큐레이션했습니다.
• 전이 학습: VSRo-200에서 학습된 표현은 LRRo 벤치마크의 고립된 단어 인식 작업에 대해 평가되었습니다.

주요 기여

1. VSRo-200 데이터셋: 의사 라벨과 인간 주석 서브셋(100h)을 모두 포함하는 최초의 대규모(200h) 루마니아어 문장 단위 VSR 데이터셋입니다.
2. 통제된 감독 분석: 데이터 규모에 따른 감독 품질의 트레이드오프를 보여주는 통합된 프레임워크를 제공합니다.
3. 강건성 벤치마크: 도메인 변화(OOD) 및 음향 노이즈 하에서의 VSR을 체계적으로 평가하여 다중 양상 융합의 상호 보완적인 성격을 강조합니다.
4. 전이 가능성 검증: VSRo-200에서 학습된 표현이 LRRo의 고립된 단어 인식 작업에 효과적으로 전이됨을 입증했습니다.

결과

감독 품질의 영향

• 확장성 vs 품질: 고정된 데이터 규모에서 인간 주석으로 학습된 모델은 의사 라벨로 학습된 모델보다 약간 낮은 단어 오류율(WER)을 기록했습니다(미학습 화자 기준 100h에서 53.3% vs 53.6%).
• 확장성(Scalability): 그러나 데이터 볼륨이 증가함에 따라 성능 격차는 좁혀졌습니다. 결정적으로, 의사 라벨은 인간 주석 서브셋 이상의 데이터로 학습을 가능하게 했습니다. 의사 라벨 데이터를 100h에서 200h로 확장했을 때 미학습 화자에 대한 WER이 감소(53.6%에서 48.8%로)하였으며, 이는 데이터 볼륨의 증가가 라벨 노이즈를 보완할 수 있음을 나타냅니다.

음향 노이즈에 대한 강건성

• 오디오 전용 성능 저하: 오디오 전용 모델(Whisper)은 노이즈 환경에서 심각한 성능 저하를 겪었습니다(예: -5dB SNR에서 WER >90%).
• 시각적 안정성: 시각 전용 모델은 모든 노이즈 수준에서 안정적이었습니다(일정한 WER ~47.8%).
• 다중 양상 융합: 신뢰도 기반 융합은 노이즈 조건에서 성능을 크게 향상시켰습니다. 예를 들어, -5dB 가우시안 노이즈 하에서 융합은 WER을 73.49%(미세 조정된 오디오 전용 모델)에서 38.87%로 낮추었습니다. 융합의 이점은 SNR이 높아짐에 따라 감소하였으며, 이는 신뢰할 수 없는 오디오에 대한 안정적인 보완재로서의 시각 양상의 역할을 확인시켜 줍니다.

도메인 변화에 대한 강건성

성능은 OOD 카테로리에 따라 크게 달랐습니다:

• 브이로그(Vlogs): 낮은 미등록 단어(OOV) 비율과 함께 가장 좋은 성능(58.61% WER)을 보였습니다.
• 특정 도메인: 높은 OOV 비율과 상관관계가 있는 성능 저하(63.01% WER)를 보였으며, 이는 어휘 불일치가 주요 실패 모드임을 시사합니다.
• 흑백 영상(Black-and-White): 가장 낮은 성능(87.97% WER)을 보였으며, 이는 중간 정도의 OOV 비율에도 불구하고 시각적 외형 변화(해상도, 대비, 기술적 차이)에 대한 높은 민감도를 나타냅니다.

외부 검증 (LRRo)

VSRo-200에서 학습된 표현은 LRRo 고립 단어 벤치마크로 효과적으로 전이되었습니다:

• Lab LRRo: 이전의 Inception-V4 베이스라인(71.0%)을 크게 상회하는 95.0%의 Top-1 정확도를 달성했습니다.
• Wild LRRo: 이전의 ResNet 기반 교차 언어 접근 방식(51.6%)보다 개선된 72.7%의 Top-1 정확도를 달성했습니다.
• 전처리: 입 영역 크롭을 입력 캔버스의 하단 중앙에 배치하는 것이 직접 리사이징하는 것보다 더 나은 결과를 얻었으며, 이는 공간적 레이아웃 보존의 중요성을 강조합니다.

의의 및 주장

본 논문은 VSRo-200을 저자원 VSR 연구를 위한 감독, 도메인 일반화 및 다중 양상 융합 연구의 핵심 테스트베드로 제안합니다. 저자들의 주장은 다음과 같습니다:

1. 의사 라벨은 확장을 위한 유효한 수단이다: 작은 규모에서는 인간 주석이 우수한 성능을 제공하지만, 의사 라벨은 데이터 확장을 통한 지속적인 성능 향상을 가능하게 하여 수동 주석이 어려운 저자원 언어에 실질적인 해결책이 됩니다.
2. 다중 양상 융합은 강건성에 필수적이다: 노이즈가 심한 환경에서 시각적 단서는 안정적인 신호를 제공하여 음향 저하를 크게 완화하며, 이는 실세계 배포를 위한 AVSR의 필요성을 입증합니다.
3. 도메인 변화는 다면적이다: 강건성은 음향 노이즈뿐만 아니라 어휘 불일치 및 시각적 외형 변화(예: 아카이브 영상)에 의해서도 저해되므로, 총체적인 일반화 접근 방식이 필요합니다.
4. 전이 가능성: VSRo-200에서 학습된 고품질의 문장 단위 표현은 단어 단위 작업으로 효과적으로 일반화되며, 이는 이 데이터셋의 유용성이 원래 설계인 문장 단위 설계를 넘어 확장됨을 시사합니다.

결론적으로 VSRo-200은 소규모 고품질 데이터셋과 대규모 약한 지도 학습 코퍼스 사이의 간극을 메우며, 강건한 저자원 시각 음성 인식을 위한 토대를 제공합니다.