기술 요약: 주의를 넘어선 시각: 비디오 의미 검색을 위한 저주의도 유도 이중 인코딩

문제 제기

밀집된 혼잡 환경 (예: 대규모 집회, 교통 허브, 성모스크) 에서의 비디오 의미 검색은 현재 멀티모달 검색 시스템의 치명적인 한계에 직면해 있습니다. CLIP 및 SigLIP 에서 사용되는 표준 시각 인코더는 중요한 전경 영역을 우선시하는 주의 메커니즘에 의존합니다. 결과적으로 이러한 모델은 문맥상 중요하지만 시각적으로 미묘하거나 가려진 배경 영역을 종종 간과합니다. 혼잡한 장면에서 이러한 '저주의도' 영역은 부분적으로 가려진 객체나 특정 동작과 같은 정확한 검색에 필수적인 핵심 의미 세부 정보를 자주 포함합니다. 이러한 편향은 프레임 내 비주요 요소를 대상으로 하는 쿼리가 발생할 때 불완전한 임베딩과 검색 성능 저하로 이어집니다.

방법론

저자들은 역주의도 영역 임베딩 크로핑이라는 새로운 학습 불필요 (training-free) 접근법을 제안합니다. 이 방법은 추가 모델 미세 조정이 필요 없이 추론 시에만 작동하여 표준 시각 임베딩을 보강합니다. 파이프라인은 CLIP/SigLIP 과 유사한 이중 인코더 아키텍처와 특수한 역주의도 인코더 모듈을 통합합니다.

프로세스는 다음 단계들을 포함합니다:

1. 표준 인코딩: 텍스트 쿼리 $q$와 비디오 프레임 $f$가 공유 임베딩 공간으로 인코딩되어 글로벌 텍스트 임베딩 $t$와 글로벌 시각 임베딩 $g$를 생성합니다.
2. 저주의도 영역 감지 (LARD): 시각 인코더는 주의도 히트맵 $h$를 생성합니다. **저주의도 영역 감지기 (LARD)**는 이 히트맵에 임계값을 적용하여 낮은 주의도 점수 (평균 주의도 < 0.4) 를 가진 영역을 식별합니다. 슬라이딩 커널은 이러한 과소 표현된 영역에 대한 후보 바운딩 박스를 생성합니다.
3. 영역 클러스터링 (LARC): 후보 박스는 **저주의도 영역 클러스터링 (LARC)**을 통해 (k-means 를 사용하여) 일관된 더 큰 영역으로 그룹화됩니다 (n=5 로 설정).
4. 크롭 추출 (LACE): 이러한 영역은 **저주의도 크롭 추출기 (LACE)**를 사용하여 원본 프레임에서 잘라내어 리사이징됩니다.
5. 재인코딩 및 병합: 각 크롭은 동일한 시각 인코더에 의해 재인코딩되어 영역 수준 임베딩 $r_j$를 얻습니다. 이들은 **저주의도 특징 병합기 (LAFM)**를 통해 원래 글로벌 임베딩 $g$와 결합됩니다.
6. 유사도 계산: 최종 검색 점수는 텍스트 임베딩과 글로벌 임베딩 또는 임의의 저주의도 영역 임베딩 사이의 최대 코사인 유사도로 계산됩니다:
   $$S = \max \left( \cos(t, g), \max_{j} \cos(t, r_j) \right)$$

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

• 역주의도 영역 임베딩 크로핑: 혼잡한 장면의 의미 표현을 풍부하게 하기 위해 간과된 저주의도 영역을 명시적으로 임베딩하도록 설계된 새로운 학습 불필요 방법.
• Dense-Set: 밀집된 혼잡 환경에서 기존 검색 모델의 실패를 부각하도록 큐레이션된 MS-COCO 의 새로운 벤치마크 하위 집합 도입. 이 데이터셋은 가장 혼잡한 이미지 상위 10% 를 선택하고 단일 고유 객체에 대한 설명과 짝지어 도전적인 검색 시나리오를 생성합니다.
• 종합 평가: 표준 데이터셋, 새로운 Dense-Set, 그리고 맞춤형 성모스크 (Haram) 데이터셋에 대한 기존 검색 모델의 평가로, 고밀도 시각 환경에서 현재 접근법의 한계를 입증합니다.

실험 결과

제안된 방법은 MS-COCO, 맞춤형 Dense-Set, 그리고 성모스크 데이터셋 (메카에서 가져온 500 장의 이미지로 구성, 277 개의 이미지 - 텍스트 쌍 생성) 의 세 가지 데이터셋에서 평가되었습니다. 주요 지표는 K 에서의 재현율 (R@5 및 R@10) 이었습니다.

• 혼잡한 장면에서의 성능: 제안된 방법은 성모스크 및 Dense-Set 데이터셋에서 기존 베이스라인 (OpenAI CLIP, Jina CLIP v2, 표준 SigLIP) 을 크게 능가했습니다.
  • 성모스크 데이터셋에서 이 방법은 R@5 41.0% 및 **R@10 47.0%**를 달성하여 각각 34.0% 와 36.0% 를 기록한 최상위 베이스라인 (SigLIP) 을 능가했습니다.
  • Dense-Set에서 이 방법은 R@5 42.5% 및 **R@10 44.3%**를 달성하여 다시 SigLIP 베이스라인 (40.6% 및 41.0%) 을 능가했습니다.
• 표준 데이터셋에서의 성능: 전체 이미지를 설명하는 경우가 많고 특정 배경 객체를 설명하지 않는 표준 MS-COCO 데이터셋에서는 제안된 방법이 일부 베이스라인보다 약간 낮은 성능을 보였습니다 (R@5 66.3% 대 SigLIP 의 74.6%). 저자들은 이는 표준 캡션이 단일 객체에 초점을 맞추지 않는 특성에 기인하며, 이 방법이 미세한 혼잡 시나리오에 특히 최적화되어 있음을 시사한다고 설명합니다.
• 정성적 분석: 시각적 결과는 모델이 표준 SigLIP 모델이 높은 순위로 배치하지 못한 저주의도 객체 (예: 검은색 아바야를 입은 여성, 베일을 쓴 채 읽는 여성) 가 포함된 프레임을 성공적으로 검색함을 보여주었습니다. 이는 이러한 특정 쿼리에 대해 훨씬 더 높은 코사인 유사도 점수로 입증되었습니다.

중요성 및 주장

본 논문은 현재 비디오 의미 검색의 특정 맹점인 혼잡한 환경에서의 저주목성 영역 간과를 해결하는 데 그 중요성이 있다고 주장합니다. 추가 학습이나 미세 조정 없이 추론 시 작동하는 메커니즘을 도입함으로써, 저자들은 복잡하고 인구 밀집된 장면에서의 검색 정확도를 크게 향상시킬 수 있음을 입증했습니다.

이 작업은 표준 임베딩이 종종 눈에 띄는 전경에 편향되어 의미 신호를 놓치게 만든다는 점을 검증합니다. 제안된 역주의도 인코딩은 이러한 단서를 복원하기 위한 견고하고 플러그 - 앤 - 플레이 솔루션을 제공합니다. 저자들은 이를 가려짐과 군중 밀도가 만연한 실제 세계 감시 및 공공 안전 응용 분야에서 더 신뢰할 수 있는 검색을 향한 한 걸음으로 위치시킵니다. 향후 작업으로는 역주의도 메커니즘과 시각 인코더의 공동 미세 조정 탐색 및 추출된 저주의도 의미에 기반한 텍스트 그라운딩 향상이 modest 하게 제안됩니다.