Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory

문제 정의: 온라인 시각적 쿼리 2D (OVQ2D)

본 논문은 기존의 에피소드 기억(Episodic Memory, EM) 검색 시스템, 특히 Ego4D 벤치마크에서 도입된 시각적 쿼리 2D(Visual Query 2D, VQ2D) 작업의 한계를 다룹니다. 현재의 VQ2D 정식화는 쿼리 시점에 전체 비디오 이력에 완전히 접근할 수 있다고 가정하는 오프라인 환경에서 작동합니다. 이러한 방식은 웨어러블 기기를 위해 테라바이트 단위에 달할 수 있는 전체 비디오 시퀀스를 저장해야 하며, 매 새로운 쿼리마다 비디오를 다시 스캔해야 하므로 상당한 계산 오버헤드를 초래합니다.

전력 및 저장 공간이 제한된 웨어러블 기기에 실질적인 배포를 가능하게 하기 위해, 저자들은 **온라인 시각적 쿼리 2D (OVQ2D)**를 도입합니다. 이 정식화에서는 다음과 같이 작동합니다:

• 스트리밍 처리: 시스템은 에고센트릭 비디오($V_{ego}$)를 온라인으로 처리하며, 각 프레임을 단 한 번만 관찰합니다.
• 압축된 메모리: 원시 비디오를 저장하는 대신, 시스템은 관련 객체 및 이벤트에 대한 압축되고 동적인 메모리를 유지해야 합니다.
• 검색: 사용자가 시각적 쿼리 패치 $Q$(객체의 이미지)를 제공하면, 시스템은 저장된 메모리만을 사용하여 해당 객체가 마지막으로 나타난 시공간적 위치(일련의 바운딩 박스 및 프레임 시퀀스)를 원본 비디오 스트림에 접근하지 않고 검색해야 합니다.

이러한 변화는 오프라인 환경에는 존재하지 않는 세 가지 주요 과제를 도입합니다:

1. 비지도 발견 (Unsupervised Discovery): 시스템은 사용자가 무엇에 대해 물을지 사전에 알지 못한 상태에서, 실시간으로 쿼리 가능한 잠재적 객체를 식별해야 합니다.
2. 선제적 추적 (Pre-emptive Tracking): 시스템은 쿼리가 수신된 후에 검색을 시작하는 것이 아니라, 사전에 객체 인스턴스를 추적하고 그 응답 트랙(response tracks)을 저장해 두어야 합니다.
3. 표현 연관 (Representation Association): 시스템은 검색 단계에서 쿼리 패치를 원시 비디오 후보와 직접 비교할 수 없으므로, 미래의 검색에 적합한 시각적 표현과 잠재적 응답 트랙을 연관시켜야 합니다.

방법론: ESOM (Egocentric Streaming Object Memory)

저자들은 세 가지 통합된 모듈을 통해 OVQ2D를 해결하도록 설계된 프레임워크인 ESOM을 제안합니다.

1. 객체 메모리 표현 ($M_{ego}$)
핵심 데이터 구조는 객체 인스턴스 $O_i$의 동적 리스트입니다. 각 인스턴스는 다음을 포함하는 시간 인덱스 기반의 레코드 $o_{i,t}$ 목록입니다:

• $t$: 타임스탬프.
• $b_{i,t}$: 바운딩 박스 좌표.
• $F_t$: 관련 RGB 프레임 (또는 추출된 패치).
• $c_{i,t}$: 시각적 콘텐츠가 검색에 충분히 독특한지를 나타내는 이진 관련성 레이블.
  이 구조를 통해 관찰된 객체들을 인덱싱되고 가볍고 인간이 읽을 수 있는 형태로 저장할 수 있습니다.

2. 객체 메모리 채우기 (OMP)
이 알고리즘은 비디오가 스트리밍됨에 따라 $M_{ego}$를 지속적으로 업데이트합니다. 이는 두 가지 서브 모듈을 조정합니다:

• 객체 추적 (Object Tracking, OT): 시각적 객체 추적기를 사용하여 현재 프레임 $F_t$에서 이전에 기억된 객체들의 위치를 업데이트합니다. 신뢰도 점수를 기준으로 결과를 필터링하고 업데이트된 트랙을 메모리에 기록합니다.
• 객체 발견 (Object Discovery, OD): 객체 탐지기를 사용하여 $F_t$에서 관심 있는 새로운 객체를 탐지합니다. 탐지 결과를 신뢰도에 따라 필터링하고 기존 메모리 항목과의 IoU(Intersection over Union)를 확인합니다. 중복되지 않는 새로운 탐지 결과는 새로운 객체 인스턴스로 메모리에 추가됩니다.
• 관련성 필터링 (Relevance Filtering): 메모리에 쓰기 전에, 이진 분류기가 시각적 패치를 평가하여 그것이 독특한지($c_{i,t}=1$) 결정합니다. 이 단계는 저품질 또는 특징 없는 패치를 걸러내어 검색 효율성을 높입니다.

3. 쿼리 검색 및 로컬라이제이션 (QRL)
사용자가 쿼리 $Q$를 제공하면, QRL 알고리즘은:

• 특징 표현 $\Phi(Q)$를 추출합니다.
• 유사도 함수 $\Psi$를 사용하여 $M_{ego}$에 저장된 모든 관련 객체 패치의 특징 $\Phi(\phi_{i,t})$와 비교합니다.
• 객체 인스턴스별로 점수를 집계합니다. 최대 유사도 점수가 임계값을 초과하면, 시스템은 해당 객체의 가장 최근 연속적인 바운딩 박스 및 프레임 시퀀스를 시각적 응답 트랙 $r$로 반환합니다.
• 결정적으로, 이 과정은 오직 $M_{ego}$에만 의존하며 원본 비디오 $V_{ego}$에는 접근하지 않습니다.

주요 기여

1. OVQ2D 작업 정식화: 본 논문은 웨어러블 기기의 제약 조건을 반영하여, 온라인 단일 패스(single-pass) 처리와 압축된 메모리 사용을 강제하는 새로운 에피소드 기억 검색 벤치마크를 도입합니다.
2. ESOM 아키텍처: 객체 발견, 장기 추적 및 동적 메모리 관리를 통합하는 새로운 프레임워크입니다. 알고리즘적 참신함보다는 실질적인 배포와 벤치마킹을 우선시하며, 최첨단 탐지 및 추적 구성 요소를 활용합니다.
3. 실제 환경 벤치마킹: 저자들은 Ego4D 데이터셋에 대한 벤치마크를 제공합니다. 이 벤치마크가 단순한 EM 검색뿐만 아니라, 고립된 구성 요소 평가를 넘어 다운스트림 작업에서 객체 탐지 및 추적 알고리즘의 실제 적용 가능성을 평가하는 귀중한 자원이 될 것이라고 주장합니다.

결과 및 성능

실험은 Ego4D 에피소드 기억 VQ2D 벤치마크(433시간의 비디오, 22K 쿼리)를 대상으로 수행되었습니다.

• 베이스라인 비교: ESOM은 성공률과 효율성 측면에서 다른 온라인 접근 방식들(AMEGO 및 VideoAgent에서 변형됨)보다 우수한 성능을 보입니다. 최적의 ESOM 설정(YOLO 기반 탐지기 및 EgoSTARK 추적기 사용)은 1.7 GB의 메모리 점유율과 3.1초의 검색 시간을 기록하며 4.02%의 성공률을 달성했습니다.
• 오프라인 방법과의 비교: 오프라인 VQ2D 방법들(예: VQLoC의 경우 55.89%)은 더 높은 성공률을 달성하지만, 전체 비디오(12.1 GB)를 저장해야 하며 검색에 훨씬 더 긴 시간(예: 41초)이 소요됩니다. ESOM은 오프라인 베이스라인에 비해 메모리 사용량을 최대 7배, 검색 시간을 최대 13배까지 줄입니다.
• 오라클 분석 (Oracle Analysis): 본 논문은 현재 방법들의 낮은 성공률이 메모리 아키텍처 자체의 실패가 아니라, 실제 에고센트릭 비디오에서의 객체 탐지 및 추적의 한계에서 기인함을 강조합니다.
  • 완벽한 추적(Oracle OT)과 표준 탐지를 결使用할 경우, 성공률은 **31.91%**로 상승합니다.
  • 완벽한 탐지(Oracle OD)와 표준 추적을 사용할 경우, 성공률은 **40.55%**로 상승합니다.
  • 완벽한 탐지와 추적을 모두 사용할 경우, ESOM은 **81.92%**의 성공률을 달성하여 최고의 오프라인 방법들을 능가합니다.
• 구성 요소 분석:
  • Siamese R-CNN 특징을 사용하는 QRL 알고리즘이 DINOv2 기반 방식보다 일관되게 우수한 성능을 보입니다.
  • 관련성 필터링은 최적이지 않은 표현을 폐기함으로써 검색 속도와 정확도를 크게 향상시킵니다.
  • 추적 성능(특히 연관 정확도, AssA)은 원시 탐지 정확도(DetA)보다 OVQ2D 성공에 더 결정적입니다. 이는 유효한 응답 시퀀스를 구축하기 위해 일관된 트랙이 필수적이기 때문입니다.

의의 및 주장

본 논문은 OVQ2D가 웨어러블 기술을 위한 배포 가능한 에피소드 기억 시스템을 향한 필수적인 단계라고 주장합니다. 실제 데이터에서의 현재 성공률(~4%)은 낮지만, 저자들은 이것이 메모리 검색 패러다임의 실패가 아니라 에고센트릭 비전 분야의 객체 탐지 및 추적의 현재 상태를 반영하는 것이라고 강조합니다.

이 연구의 의의는 다음과 같습니다:

• 실현 가능성: 압축된 메모리와 계산 예산 내에서 온라인으로 에피소드 기억 검색이 가능하다는 것을 입증했습니다.
• 진단적 가치: 벤치마크와 "오라클" 구성을 통해, 실제 연속 비디오 스트림에 적용될 때 객체 탐지 및 추적 알고리즘의 병목 현상을 식별할 수 있는 원칙적인 테스트베드를 제공합니다. 이는 향후 이러한 기초 구성 요소의 개선이 에피소드 기억 시스템의 직접적인 성능 향상으로 이어질 것임을 시사합니다.
• 효율성: (탐지/추적이 견고하다는 가정하에) 압축된 객체 중심 메모리 표현이 원시 비디오 저장에 비해 상당한 저장 공간 및 속도 이점을 제공할 수 있음을 증명했습니다.