기술 요약: VGGSounder: 파운데이션 모델을 위한 오디오-비주얼 평가

문제 정의

오디오-비주얼 파운데이션 모델의 등장은 이들의 다중 모달(multi-modal) 이해도를 평가하기 위한 신뢰할 수 있는 벤치마크를 필요로 합니다. VGGSound 데이터셋은 오디오-비주얼 분류를 위한 표준 벤치마크이지만, 저자들은 청각 및 시각적 역량의 평가를 왜곡하는 몇 가지 결정적인 한계를 식별했습니다:

1. 불완전한 레이블링: VGGSound는 단일 레이블 분류 체계를 사용하지만, 비디오 콘텐츠는 본질적으로 다중 레이블(예: 비디오에 "드럼 세트 연주"와 "어쿠스틱 기타 연주"가 모두 포함될 수 있음)입니다.
2. 중복 및 모호한 클래스: VGGSound의 309개 클래스에는 동의어 쌍(예: "timpani"와 "tympani"), 엄격한 하위 클래스(예: "cow lowing"과 "bull bellowing"), 그리고 상호 배타적이지 않은 의미론적 중복 개념이 포함되어 있습니다.
3. 모달리티 불일치: 검증 단계를 거쳤음에도 불구하고, 상당 부분의 샘플(테스트 세트의 48.43%)은 레이블이 시각적으로 보이지 않거나, 청각적으로 들리지 않거나, 혹은 둘 다인 경우를 포함합니다. 흔한 혼란 요인으로는 배경 음악, 음성 내레이션(voice-over), 정지 영상 등이 있으며, 이는 두 모달리티 모두에서 정답 레이블과 일치하지 않는 단서를 생성합니다.

이러한 문제들은 다중 모달 모델, 특히 VGGSound에 특화되어 미세 조정(fine-tuning)되지 않은 파운데이션 모델의 성능을 체계적으로 과소평가하게 만들며, 모델이 오디오 대 시각적 단서에 의존하는 정도를 파악하는 것을 방해합니다.

방법론

이러한 한계를 해결하기 위해, 저자들은 VGGSound을 확장하여 포괄적으로 재주석(re-annotated)된 다중 레이블 테스트 세트인 VGGSounder를 소개합니다. 방법론은 다음과 같은 엄격한 주석 파이프라인을 포함합니다:

1. 다중 레이블 분류로의 전환: 공존하는 이벤트를 수용하기 위해 벤치마크를 단일 레이블에서 다중 레이블 분류로 전환합니다.
2. 인간 주석 파이프라인:
   • 골드 스탠다드(Gold Standard) 생성: 참조 세트를 구축하기 위해 4명의 컴퓨터 비전 전문가가 417개의 샘플을 수동으로 레이블링했습니다.
   • 제안 생성: 상태 최첨단(SOTA) 모델의 예측과 수동 휴리스틱을 결합한 하이브리드 전략을 사용하여 93% 이상의 재현율(recall)을 가진 레이블 제안을 생성했습니다.
   • 크라우드소싱 재주석: 전체 VGGSound 테스트 세트(15.1k 클립)를 Amazon Mechanical Turk을 통해 재주석했습니다. 주석 작업자들에게는 다음 과업이 부여되었습니다:
     • 배경 음악(background music), 음성 내레이션(voice-over), 또는 **정지 영상(static images)**의 존재 여부 확인(메타-레이블).
     • 각 레이블 제안의 모달리티 결정 (Audible, Visible, 또는 Both).
     • 제안된 내용에 없는 누락된 클래스 추가.
3. 레이블 병합: 최종 레이블은 다수결 투표를 통해 병합되었습니다. 일관성을 보장하기 위해 동의어 클래스와 상위/하위 클래스 관계가 자동으로 적용되었습니다 (예: "cow lowing"이 존재하면 "cattle mooing"이 추가됨).
4. 새로운 평가 지표:
   • 표준 지표: 단일 모달(오디오 전용, 비주얼 전용) 및 다중 모달 입력에 대해 Subset Accuracy, F1-score, Hit score를 계산했습니다.
   • 모달리티 혼란($\mu$): 두 번째 모달리티를 추가했을 때 발생하는 부정적인 영향을 정량화하기 위해 제안된 새로운 지표입니다. 이는 모델이 단일 모달리티로는 올바르게 분류했지만, 두 모달리티가 모두 존재할 때 잘못 분류하는 샘플의 비율을 측정합니다. 이는 모달리티가 성공적으로 결합되지 못해 발생하는 "주의 분산(distracted)" 모델을 드러냅니다.

주요 기여

1. VGGSounder 데이터셋: 상세한 레이블별 모달리티 주석(Audible/Visible)과 흔한 혼란 요인에 대한 메타-레이블(배경 음악, 음성 내레이션, 정지 영상)을 갖춘 다중 레이블 오디오-비주얼 분류 벤치마크입니다.
2. 한계 분석: 모달리티 불일치율과 클래스 공존 현상을 포함한 VGGSound의 결함을 질적 및 양적으로 입증했습니다.
3. 포괄적인 벤치마킹: 4개의 오디오-비주얼 임베딩 모델(CAV-MAE, DeepAVFusion, AV-Siam, Equi-AV)과 7개의 파운데이션 모델(Gemini 제품군, VideoLLaMA-2, Unified-IO-2, PandaGPT, Ola)을 포함한 11개의 최첨단 모델을 평가했습니다.
4. 모달리티 혼란 지표: 모델이 추가적인 입력 모달리티에 노출되었을 때 성능 저하를 감지하기 위한 $\mu$를 도입했습니다.

결과

저자들은 VGGSoldner에서 모델들을 벤치마킹하여 다음과 같은 핵심적인 발견을 도출했습니다:

• 파운데이션 모델 vs 임베딩 모델: 파운데이션 모델은 다중 모달 입력에서 전문화된 임베딩 모델과 유사한 성능을 보이지만, 단일 모달 성능은 크게 다릅니다. (VGGSound에 미세 조정된) 임베딩 모델은 오디오 단서에 크게 의존하는 반면, 파운데이션 모델은 비주얼 단서에 강한 편향을 보이며 오디오 전용 입력에서는 종종 낮은 성능을 보입니다.
• 모달리티 혼란: 모든 모델이 모달리티 혼란을 겪습니다. 주목할 만한 비율의 샘플(4~11%)이 단일 모달리티로는 올바르게 분류되지만, 두 모달리티가 모두 제공될 때 오분류됩니다. 대부분의 파운데이션 모델의 경우, 비주얼 입력에 오디오가 추가될 때 혼란이 더 높게 나타나는데($\mu_A > \mu_V$), 이는 비주얼 정보가 있을 때 오디오 레이블을 망각함을 시사합니다.
• 메타-클래스의 영향:
  • 배경 음악: 모든 모델이 배경 음악을 주요 오디오 소스로부터 분리하는 데 어려움을 겪으며, 이는 성능 저하로 이어집니다.
  • 음성 내레이션: 임베딩 모델은 음성 내레이션 시 상당한 성능 저하를 겪는 반면, 파운데이션 모델은 덜 산만해지거나 오히려 성능이 향상됩니다.
  • 정지 영상: 모든 모델의 비주얼 성능이 정지 영상에서 떨어지며, 이는 모델이 시간적 단서(temporal cues)에 의존함을 나타냅니다.
• 레이블 품질: 자동 생성된 동의어만을 사용하는 대신 인간이 큐레이션한 레이블을 포함함으로써, 가양성(false positives)을 크게 줄이고 원본 VGGSound보다 성능 프로파일링의 정확도를 높였습니다.

의의

본 논문은 VGGSounder가 차세대 오디오-비주얼 파운데이션 모델을 정확하게 평가하기 위한 필수적인 도구라고 주장합니다. 모달리티 인지 주석을 제공함으로써 다음과 같은 기능을 가능하게 합니다:

• 정밀한 프로파일링: 연구자들은 모델이 오디오, 비주얼, 또는 두 단서 모두에 의존하는지 구분할 수 있으며, 특정 실패 모드(예: 배경 음악에 의한 주의 분산)를 식별할 수 있습니다.
• 강건한 평가: 다중 레이블 설정과 불일치 샘플의 제거는 원본 VGGSound에서 발견된 왜곡된 모델 평가를 방지합니다.
• 진단적 통찰: 모달리티 혼란 지표($\mu$)는 모델이 모달리티를 얼마나 잘 통합하는지에 대한 정량적 척도를 제공하며, 두 번째 모달리티를 추가하는 것이 항상 성능을 향상시키는 것이 아니라 때로는 저하시킬 수도 있음을 강조합니다.

저자들은 VGGSounder가 모달리티 혼란 완화 전략 개발을 촉진하며, 다중 모달 이해를 평가하기 위한 더욱 신뢰할 수 있는 토대가 된다고 결론짓습니다.