SAVE: Speech-Aware Video Representation Learning for Video-Text Retrieval

이 논문은 기존 CLIP 기반 비디오 - 텍스트 검색의 오디오 무시 문제를 해결하기 위해, 음성 내용을 효과적으로 표현하는 전용 음성 분기와 초기 시 - 청각 정렬을 위한 soft-ALBEF 를 도입하여 AVIGATE 를 포함한 최첨단 방법들보다 다섯 가지 벤치마크에서 우수한 성능을 보이는 SAVE(Speech-Aware Video rEpresentation learning) 를 제안합니다.

핵심

이 논문은 **"SAVE"**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 동영상을 보고 내용을 이해하거나, 반대로 글자를 보고 맞는 동영상을 찾아내는 작업 (비디오-텍스트 검색) 을 훨씬 더 잘하도록 만들어줍니다.

기존의 인공지능들은 동영상을 볼 때 '눈 (화면)'과 '입 (자막/설명)'만 보고 귀 (소리) 는 거의 무시해 왔습니다. 하지만 SAVE 는 이 '귀'를 제대로 열어주어, 동영상의 소리와 대사를 모두 이해하도록 설계되었습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "눈만 뜨고 귀는 막은 상태"

기존의 유명한 AI(예: CLIP) 는 동영상을 볼 때 화면만 보고 내용을 파악합니다. 마치 눈만 뜨고 귀를 막고 영화를 보는 것과 같습니다.

• 상황: 영화 속에서 "개구리가 개구리 소리를 내며 뛰어다닌다"는 대사가 들립니다.
• 기존 AI: 화면에 개구리가 있는지 확인하지만, "개구리 소리"라는 중요한 정보는 놓칩니다.
• 기존 방식의 한계: 소리를 분석하는 AI 가 있기는 했지만, 그 AI 는 주로 새, 고양이, 자동차 소리 같은 '환경음'을 배우도록 훈련되었습니다. 그래서 **사람의 말소리 (대사)**를 제대로 이해하지 못해, 대사가 중요한 상황에서는 엉뚱한 답을 내놓곤 했습니다.

2. 해결책: SAVE 의 두 가지 마법

저자들은 이 문제를 해결하기 위해 SAVE라는 새로운 방법을 고안했습니다. 두 가지 핵심 아이디어를 사용했습니다.

① "통역사"를 고용하다 (전용 스피치 지점)

기존 AI 들은 소리를 '잡음'처럼 처리했지만, SAVE 는 사람의 말소리를 '텍스트 (글자)'로 바꾸는 통역사를 따로 고용했습니다.

• 비유: 영화의 대사를 듣는 대신, **실시간 자막 (ASR)**을 만들어서 AI 가 읽게 한 것입니다.
• 효과: AI 가 "개구리가 개구리 소리를 낸다"는 대사를 글자로 읽으면, 그 의미를 정확히 이해할 수 있게 됩니다. 화면만 보는 것보다 훨씬 똑똑해집니다.

② "부드러운 지도"를 사용하다 (Soft-ALBEF)

화면과 소리는 항상 완벽하게 일치하지 않습니다.

• 상황: 화면에는 '비행기'가 뜨는데, 소리에는 '배경음악'만 들릴 수도 있습니다.
• 기존 방식: "이 소리와 이 화면은 100% 짝꿍이야!"라고 강제로 연결시키려다 보니, AI 가 헷갈려서 엉뚱한 관계를 학습했습니다.
• SAVE 의 방식: "이 소리와 이 화면은 아마 관련이 있을 거야"라고 **부드러운 확률 (Soft Label)**로 가르칩니다.
• 비유: 지도를 그릴 때, "이곳은 100% 바다야!"라고 딱딱하게 정하는 대신, "이곳은 80% 바다, 20% 육지일 수도 있어"라고 유연하게 가르쳐서 AI 가 혼란을 덜 느끼고 더 정확하게 학습하도록 돕습니다.

3. 결과: 어떻게 변했나요?

SAVE 는 5 가지 다른 테스트 (다양한 동영상 데이터셋) 에서 기존 최고 성능 모델 (AVIGATE) 보다 압도적으로 좋은 점수를 받았습니다.

• MSRVTT-9k: +4.1% 향상
• Charades: +9.8% 향상 (가장 큰 폭의 개선!)
• LSMDC: +2.1% 향상

특히 **대사 (Speech)**가 중요한 상황이나 **소리 (Sound)**가 중요한 상황 모두에서 기존 모델보다 훨씬 잘 작동했습니다.

4. 요약: 왜 이 연구가 중요한가요?

이 연구는 **"동영상을 이해하려면 눈뿐만 아니라 귀도, 그리고 그 소리가 의미하는 말 (대사) 도 함께 들어야 한다"**는 사실을 증명했습니다.

• 기존: 눈 (화면) + 글자 (자막) = 반쪽짜리 이해
• SAVE: 눈 (화면) + 귀 (소리) + 통역사 (대사) = 완벽한 이해

이 기술이 발전하면, "개구리가 개구리 소리를 내며 뛰어다니는 영상"을 검색했을 때, 화면에 개구리가 없더라도 소리나 대사를 통해 정확한 영상을 찾아주는 등 훨씬 더 똑똑한 검색 엔진을 만들 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

비디오 - 텍스트 검색 (Video-Text Retrieval, VTR) 분야에서 CLIP 기반의 모델이 사실상의 표준 (de facto choice) 으로 자리 잡았습니다. 그러나 기존 CLIP 은 이미지와 텍스트 인코더만 제공하므로, 비디오의 사운드트랙 (음성 및 배경음) 을 완전히 무시하는 편향된 패러다임을 따르고 있습니다.

최근 사운드를 reintroduce 하려는 시도들이 있었으나 (예: AVIGATE, TEFAL 등), 두 가지 주요 한계점을 안고 있습니다:

1. 음성 (Speech) 콘텐츠의 비효율적 표현: 기존 오디오 인코더 (ResNet-18, AST 등) 는 환경음 (환경 소음, 동물 소리 등) 이해에 최적화되어 있어, 비디오 내의 대사 (Speech) 나 내레이션 같은 언어적 의미 정보를 제대로 추출하지 못합니다. 실험 결과, 이러한 인코더는 음성 데이터를 잘 분리된 임베딩 공간에 배치하지 못했습니다.
2. 시각 - 오디오 융합의 비최적화: 시각 (Frame) 과 오디오 (Sound) 특징은 본질적으로 정렬 (Alignment) 되어 있지 않습니다. 기존 방법들은 정렬되지 않은 특징을 직접 융합하거나, vision-language pre-training 에서의 'ALBEF' 방식을 그대로 적용하려 했으나, 비디오 - 오디오 쌍은 이미지 - 캡션 쌍과 달리 의미적 대응 관계가 명확하지 않아 (노이즈가 많음) 강제로 정렬하면 오히려 잘못된 상관관계를 학습하게 됩니다.

2. 제안 방법: SAVE (Methodology)

저자들은 위 두 가지 문제를 동시에 해결하기 위해 SAVE (Speech-Aware Video rEpresentation learning) 방법을 제안합니다. 이는 SOTA 인 AVIGATE 프레임워크를 기반으로 한 3-브랜치 (Tri-branch) 네트워크입니다.

가. 전용 음성 브랜치 (Dedicated Speech Branch)

• 목표: 오디오 인코더가 놓치는 '의미 있는 음성 정보'를 포착합니다.
• 구현:
  • 사운드트랙을 Whisper (ASR) 를 통해 텍스트 (대사/내레이션) 로 변환합니다.
  • 변환된 텍스트를 CLIP 텍스트 인코더를 통해 임베딩합니다.
  • 이렇게 생성된 '음성 토큰'을 시각 토큰과 Gated-Fusion 모듈을 통해 융합합니다.
  • 의미: 기존 오디오 인코더가 처리하지 못하는 언어적 의미 (예: "누가 무엇을 했다"는 내용) 를 CLIP 의 강력한 텍스트 이해 능력을 통해 비디오 표현에 명시적으로 추가합니다.

나. Soft-ALBEF (조기 시각 - 오디오 정렬)

• 목표: 노이즈가 많은 비디오 - 오디오 쌍에 대한 강건한 초기 정렬을 수행합니다.
• 문제점: 기존 ALBEF 는 '하드 라벨 (Hard Label, 1 또는 0)'을 사용하여 정렬을 강제하는데, 비디오와 사운드가 의미적으로 일치하지 않는 경우 (예: 배경음악만 들리는 장면) 모델이 잘못된 학습을 합니다.
• 해결책 (Soft-ALBEF):
  • ImageBind를 '교사 모델 (Teacher)'로 활용합니다.
  • ImageBind 가 계산한 비디오 - 오디오 간의 연관성 점수 (Affinity Score) 를 '소프트 라벨 (Soft Label)'로 사용합니다.
  • 이 소프트 라벨을 통해 네트워크가 생성하는 연관성 행렬을 피어슨 거리 (Pearson Distance) 손실 함수로 정렬시킵니다.
  • 효과: 절대적인 값이 아닌 상대적인 순위 구조를 학습하게 하여, 노이즈가 있는 데이터에서도 의미 있는 정렬을 유도합니다.

다. 융합 전략

• 시각 토큰, 융합된 오디오 토큰, 융합된 음성 토큰을 결합하여 최종 비디오 임베딩을 생성합니다.
• 가중치 조정은 파라미터 없이 시각 토큰에 더 큰 비중을 두도록 설계되었습니다 (시각 정보가 일반적으로 더 중요하기 때문).

3. 주요 기여 (Key Contributions)

1. CLIP 기반 VTR 의 첫 음성 인식 임베딩: 기존 오디오 인코더가 놓친 음성 (Speech) 의 의미 정보를 ASR 과 CLIP 텍스트 인코더를 통해 명시적으로 포착하는 전용 브랜치를 도입했습니다.
2. 노이즈 내성 조기 정렬 (Soft-ALBEF): ImageBind 를 활용한 소프트 라벨링 전략을 제안하여, 시각 - 오디오 정렬 시 발생하는 의미 불일치 문제를 해결하고 강건한 융합을 가능하게 했습니다.
3. 새로운 SOTA 달성: 5 개의 벤치마크에서 기존 최첨단 모델 (AVIGATE 등) 을 능가하는 성능을 기록했습니다.

4. 실험 결과 (Results)

다섯 가지 벤치마크 (MSRVTT-9k, MSRVTT-7k, VATEX, Charades, LSMDC) 에서 SumR (R1+R5+R10) 지표를 기준으로 평가되었습니다.

• 성능 향상: SAVE 는 AVIGATE 대비 다음과 같은 개선을 보였습니다.
  • MSRVTT-9k: +4.1%
  • MSRVTT-7k: +1.9%
  • VATEX: +2.5%
  • Charades: +9.8% (음성 데이터가 적은 환경에서도 큰 향상)
  • LSMDC: +2.1%
• 그룹별 분석:
  • 음성 관련 (Speech-related) 쿼리에서 AVIGATE 대비 12.9% 의 큰 향상을 보였으며, 이는 전용 음성 브랜치의 효과입니다.
  • 음성 + 소리 (Sound-Speech-related) 쿼리에서는 16.4% 의 최대 향상을 보였습니다.
• 효율성: 추가적인 음성 브랜치와 정렬 모듈이 있더라도, 비디오 특징은 오프라인에서 추출되므로 온라인 추론 지연 시간 (Inference Latency) 은 기존 AVIGATE 와 동일하게 유지됩니다 (약 9.9ms).

5. 의의 및 결론 (Significance)

• 패러다임 전환: 비디오 - 텍스트 검색에서 '오디오'를 단순히 '소리'로만 보던 관점에서, '음성 (Speech)'을 의미 있는 텍스트 정보로 재해석하여 활용하는 새로운 방향을 제시했습니다.
• 실용성: 환경음과 음성을 구분하여 처리하고, 노이즈가 있는 데이터에서도 강건하게 작동하는 정렬 기법 (Soft-ALBEF) 을 제안함으로써, 실제 비디오 콘텐츠 이해 (예: 뉴스, 교육, 드라마 등) 에 매우 유용한 접근법입니다.
• 한계 및 향후 과제: 현재 연구는 짧은 비디오와 명확한 ASR 텍스트에 국한되어 있습니다. 더 길고 노이즈가 많은 실시간 스트리밍 (라이브 커머스 등) 과 같은 복잡한 시나리오에서 핵심 정보를 효율적으로 추출하는 방법에 대한 추가 연구가 필요하다고 언급했습니다.

요약하자면, SAVE 는 음성 인식 (ASR) 과 CLIP 텍스트 모델의 결합을 통해 비디오의 언어적 의미를 강화하고, 소프트 라벨링 기반 정렬을 통해 오디오 - 시각 융합의 신뢰성을 높여 비디오 - 텍스트 검색 성능을 획기적으로 개선한 연구입니다.