기술 요약: LongEgoRefer

문제 정의

본 논문은 기존의 비디오 참조 표현 이해(Video Referring Expression Comprehension, Video REC) 벤치마크가 가진 한계를 다룹니다. 기존 벤치마크는 주로 대상 객체가 밀집되어 있고 예측 가능한 짧은 편집된 비디오 클립(통상 3~10초)에 집중되어 있습니다. 이러한 설정은 다음과 같은 특징을 가진 실제 에고센트릭(1인칭 시점) 녹화 영상을 반영하지 못합니다:

1. 장기 지속 시간: 수십 분에서 수 시간에 걸친 연속적인 녹화.
2. 희소한 객체 발생: 대상 객체가 전체 비디오 지속 시간의 2% 미만으로 일시적으로 나타남.
3. 복잡한 상호작용: 시공간적 맥락과 상태 변화에 대한 이해를 요구하는 역동적인 인간-객체 상호작용(HOI).
4. 언어적 복잡성: 혼란스럽고 시각적으로 유사한 장면 내에서 대상을 구별하기 위해 길고 묘사적이며 필수적인 참조 표현.

핵심 과제는 편집되지 않은 장기 에고센트릭 비디오에서의 **시공간적 그라운딩(Spatio-Temporal Grounding)**입니다. 즉, 자연어 쿼리가 주어졌을 때, 모델은 객체가 비디오의 대부분의 시간 동안 부재함에도 불구하고 정확한 시간 간격($t_{start}, t_{end}$)과 그에 대응하는 공간적 바운딩 박스($B$)를 식별해야 합니다.

방법론

벤치마크 구축 (LongEgoRefer)

저자들은 Ego4D 데이터셋과 EgoTracks 어노테이션을 사용하여 LongEgoRefer를 구축했습니다. 구축 파이프라인은 다음과 같습니다:

• 데이터 필터링: 20분 이상의 비디오를 선택하고, 카메라 착용자가 객체를 능동적으로 조작하는($is\_active = True$) 최소 10초 이상의 객체 트랙을 선정했습니다.
• 하이브리드 어노테이션: 참조 표현을 생성하기 위해 준자동화된 파이프라인을 사용했습니다:
  1. LLM 생성: Gemini 2.5 Flash가 클립당 10개의 후보 설명을 생성한 후 이를 요약했습니다.
  2. 인간 큐레이션: 전문가 어노테이터가 표현들을 엄격하게 검증하고 정제했습니다. 초기 LLM 생성 설명의 약 95.39%가 사실적 정확성, 시간적 독점성(설명이 특정 순간에만 적용됨), 그리고 고유성을 보장하기 위해 실질적으로 수정되었습니다.
• 데이터셋 통계: 최종 벤치마크는 433개의 비디오에 걸친 1,498개의 참조 표현을 포함합니다. 평균 비디오 길이는 45분(2,714.9초)이며, 평균 참조 표현 길이는 63.5 단어입니다. 대상 객체는 평균적으로 프레임의 **1.3%**에서만 나타납니다.

베이스라인 및 평가

벤치마크의 난이도를 평가하기 위해 저자들은 두 가지 유형의 베이스라인을 설정했습니다:

1. 적응형 비디오 REC 모델: 짧은 클립용으로 설계된 기존 엔드투엔드 모델(예: VideoLISA, Sa2VA, Grounded SAM2)을 슬라이딩 윈도우 추론 전략을 사용하여 적응시켰습니다. 긴 비디오를 짧은 윈도우로 나누고 모델이 각 윈도우를 독립적으로 처리하도록 했습니다.
2. 훈련이 필요 없는 2단계 파이프라인: 작업을 다음 두 단계로 분리하는 모듈형 접근 방식입니다:
   • 시간적 그라운딩(Temporal Grounding): 시각-언어 모델(VLM)을 사용하여 쿼리와 일치하는 거친 시간 간격을 식별합니다.
   • 공간적 그라운딩(Spatial Grounding): Grounded SAM2(Grounding DINO + SAM2)를 사용하여 식별된 클립 내에서 객체를 국지화합니다.

지표: 평가는 temporal IoU (tIoU), video IoU (vIoU), spatio-temporal IoU (STIoU), 그리고 음성 프레임을 위한 수정된 IoU (IoU+n)를 포함한 표준 비디오 REC 지표를 사용합니다.

주요 결과

4개의 비디오 REC 모델, 14개의 오픈 소스 VLM, 그리고 5개의 폐쇄형(closed-source) VLM을 대상으로 광범위한 실험을 수행했습니다.

• 전반적인 난이도: 최첨단 모델들조차 크게 고전하고 있습니다. 가장 성능이 좋은 모델인 GPT-5는 tIoU 0.1 임계값(tIoU@0.1)에서 37.31, 평균 시공간 IoU(mSTIoU)에서 8.76을 기록했습니다. 대부분의 오픈 소스 모델은 tIoU@0.1에서 한 자릿수 점수를 기록했습니다.
• 오픈 소스 vs 폐쇄형 모델: 상당한 성능 격차가 존재합니다. 폐쇄형 모델(GPT-5, Gemini 로 추정되는 모델 등)은 오픈 소스 모델(예: InternVL 3.5, Qwen3-VL)보다 성능이 현저히 뛰어났으나, 모든 모델의 절대적인 성능은 완만했습니다.
• 오류 전파: 2단계 파이프라인은 시간적 그라운딩(1단계)의 오류가 공간적 그라운딩(2단계)을 엄격하게 제한한다는 것을 보여주었습니다. 오라클(정답) 시간 세그먼트가 제공되었을 때, 공간적 그라운딩 성능(mvIoU)은 극적으로 향상되었습니다(예: GPT-5의 경우 7.89에서 43.54로). 이는 시간적 국지화가 주요 병목 구간임을 강조합니다.
• 변수의 영향:
  • 시간적 해상도: 프레임 샘플링을 줄이면(예: 64 프레임으로) 성능이 급격히 떨어졌으며, 이는 조밀한 시각적 단서의 필요성을 나타냅니다.
  • 객체 희소성: 객체의 등장 빈도가 1% 미만으로 떨어지면 성능이 급격히 저하되었습니다.
  • 비디오 길이: 비디오 길이가 길어질수록 성능이 일반적으로 감소했으나, 거대 컨텍스트 윈도우를 가진 모델(Gemini 2.5 Pro 등)은 더 높은 강건성을 보였습니다.
  • 언어적 복잡성: 더 길고 복잡한 참조 표현은 낮은 성능과 상관관계가 있었습니다.

의의 및 주장

본 논문은 LongEgoRefer가 현재의 벤치마크와 실제 에고센트릭 시나리오 사이의 간극을 메움으로써 비디오 이해를 평가하는 더 현실적인 새로운 표준을 확립한다고 주장합니다.

• 내재적 난이도: 이 벤치마크는 고급 추론 능력을 갖춘 최첨단 모델들에게도 장기 비디오에서 희귀한 이벤트와 객체를 정확히 국지화하는 것이 여전히 해결되지 않은 중대한 과제임을 입증합니다.
• 현재 패러다임의 한계: 결과는 기존 접근 방식의 근본적인 병목 현상을 드러냅니다:
  • 슬라이딩 윈도우 전략은 전역적 시간 인식이 부족하여 높은 허위 양성(false positives)을 초래합니다.
  • 2단계 파이프라인은 시간적 부정확성이 성공적인 공간 국지화를 방해하는 치명적인 오류 전파 문제를 겪습니다.
• 미래 방향: 저자들은 강력한 장기 기억, 고급 상호작용 추론, 그리고 희소하고 혼란스러운 시각 환경에서 복잡한 언어를 그라운딩할 수 있는 능력을 갖춘 모델의 필요성을 강조합니다. 또한 LongEgoRefer가 엄격한 테스트베드 역할을 하지만, 이러한 장기 비디오를 위한 대규모 훈련 데이터셋을 개발하는 것이 필수적인 향후 과제임을 언급합니다.

결론적으로, LongE고Refer는 단순한 데이터셋이 아니라, 더 유능한 인간 중심 AI 시스템을 향한 연구를 촉진하기 위해 설계된 "까다로운 시공간적 그라운딩 문제"입니다.