ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos

1. 연구 배경 및 문제 정의 (Problem)

• 배경: embodied AI(구현체 지능) 의 핵심 능력 중 하나는 1 인칭 시점 (Egocentric) 의 비디오를 통해 환경 내 작업 관련 객체를 식별하고 위치를 파악하는 것입니다. 이는 시공간 비디오 그라운딩 (Spatio-Temporal Video Grounding, STVG) 과 관련이 있습니다.
• 기존 연구의 한계:
  • 기존 STVG 벤치마크 (STPR, VidSTG 등) 는 대부분 3 인칭 시점 (Exocentric) 이거나, 객체 중심의 단순한 설명 (예: "침대 위에 쌓인 베개") 에 기반합니다.
  • 실제 embodied 에이전트가 수행해야 하는 목표 지향적 (Goal-directed) 상호작용을 지원하지 못합니다. 에이전트는 "목표 (예: 커피 만들기)"를 달성하기 위해 명시적으로 언급되지 않은 객체 (예: 커피머신) 를 추론하거나, 여러 객체 (예: 화이트보드, 마커, 지우개) 를 동시에 위치 파악해야 하는 복잡한 상황을 처리해야 합니다.
  • 현재 MLLM(멀티모달 대규모 언어 모델) 들은 이러한 작업 지향적 추론과 다중 객체 그라운딩에서 큰 격차를 보입니다.

2. 제안 방법: ToG-Bench (Methodology)

이 논문은 이러한 격차를 해결하기 위해 ToG-Bench(Task-Oriented Grounding Benchmark) 를 제안합니다.

2.1. 태스크 정의 (T-STVG)

기존 STVG 를 확장하여 **작업 지향적 시공간 비디오 그라운딩 (T-STVG)**을 정의합니다.

• 입력: 자연어 기반의 고수준 목표 (Goal, $G$) 와 1 인칭 시점 비디오 ($V$).
• 출력: 주어진 작업을 수행하는 데 필요한 모든 관련 객체 ($O_i$) 와 그 객체의 밀집된 시공간 궤적 ($T_i$).
• 핵심 특징:
  1. 작업 지향적 그라운딩: 객체의 시각적 속성이 아닌, 작업 수행을 위한 기능적 역할에 기반하여 객체를 식별합니다.
  2. 명시적 - 암시적 이중 그라운딩:
     • 명시적 (Explicit): 지시문에 직접 언급된 객체 (예: "싱크대에서 손 씻기" $\rightarrow$ 싱크대).
     • 암시적 (Implicit): 문맥 추론을 통해 도출된 필수 객체 (예: "싱크대에서 손 씻기" $\rightarrow$ 수전은 언급되지 않았지만 필수).
  3. 1 대 다 (One-to-Many) 그라운딩: 하나의 지시문이 작업 수행에 필요한 여러 객체 (예: "컴퓨터로 작업하기" $\rightarrow$ 컴퓨터, 마우스, 키보드) 를 동시에 위치 파악해야 함.

2.2. 데이터셋 구축 (Semi-automated Pipeline)

ScanNet 데이터셋의 100 개 1 인칭 비디오 클립을 기반으로 구축되었으며, 2,704 개의 작업 지향적 지시문과 4,194 개의 객체 인스턴스를 포함합니다.

• 3 단계 파이프라인:
  1. 지시문 생성: Gemini 2.5 Pro 와 같은 MLLM 을 사용하여 장면 캡션과 비디오를 기반으로 명시적/암시적 작업 지시문 생성.
  2. 객체 그라운딩 및 추적: Grounding-DINO 와 SAM2 를 결합하여 오픈-보카불러리 공간 그라운딩 수행 후, 양방향 추적을 통해 시공간 바운딩 박스 튜브 생성.
  3. 인간 검증 및 필터링: 할루시네이션, 추적 오차, 가려짐 등을 제거하기 위해 엄격한 인간 검증을 거침 (초기 8,334 개 후보 중 2,704 개만 최종 선정).

2.3. 평가 지표

단순 객체 매칭이 아닌 작업 수행 성공 여부를 평가하기 위해 새로운 메트릭을 도입했습니다.

• 추론 능력 (Reasoning): 지시된 객체 클래스를 정확히 식별하는지 (Accuracy).
• 그라운딩 능력 (Grounding): 식별된 객체의 시간적 (Temporal) 과 공간적 (Spatial) 위치 정확도 (mIoU, Recall, AP).
• 작업 수준 (Task-level) 평가: 모든 관련 객체가 정확히 식별되고 위치 파악되어야만 점수를 부여하는 'All-or-Nothing' 방식.

3. 주요 실험 결과 (Results)

저자는 GPT-5, Gemini 2.5 Pro 와 같은 독점 모델 및 Qwen3-VL, InternVL 등 오픈소스 MLLM 7 개를 ToG-Bench 에서 평가했습니다.

• 전체 성능:
  • 모든 모델이 **작업 추론 (Task Reasoning)**은 비교적 잘 수행하지만, **정밀한 시공간 위치 파악 (Spatio-Temporal Localization)**에서는 심각한 성능 저하를 보임.
  • 예: Gemini 2.5 Pro 는 작업 정확도 (T-Acc) 가 80.14% 이나, 공간 그라운딩 정확도 (T-m_vIoU) 는 15.42% 에 불과함.
• 명시적 vs 암시적:
  • 모든 모델에서 암시적 객체 추론 성능이 명시적 객체보다 현저히 낮음. (GPT-5: 명시 98.20% vs 암시 80.20%).
  • 이는 모델이 문맥과 상식 지식을 결합하여 언급되지 않은 객체를 추론하는 능력이 부족함을 시사합니다.
• 단일 vs 다중 객체:
  • 객체 수가 증가할수록 성능이 급격히 하락. 특히 3 개 이상의 객체가 필요한 복잡한 작업에서 오픈소스 모델의 성능이 붕괴됨 (Qwen3-VL-8B: 1 객체 83.40% $\rightarrow$ 3+ 객체 29.03%).
• 비디오 길이 영향:
  • 비디오 길이가 길어질수록 시간적, 공간적 정확도가 크게 감소. 이는 장기간의 추적에서 발생하는 누적 오차와 드리프트 (Drift) 문제를 보여줍니다.
• 모델 비교:
  • 전용 모델 (Grounded-SAM2): 공간 정밀도는 높으나 고수준 추론 능력이 없어 작업 지향적 태스크에는 부적합.
  • MLLM: 추론 능력은 우수하나, 빠른 카메라 이동과 가려짐이 있는 1 인칭 환경에서 정밀한 위치 파악에 실패.

4. 주요 기여 (Key Contributions)

1. ToG-Bench 제안: 1 인칭 비디오에서 작업 지향적 시공간 그라운딩을 평가하는 최초의 벤치마크를 구축했습니다. (명시/암시, 1 대 다 그라운딩 지원).
2. 새로운 태스크 정의 (T-STVG): 단순한 객체 기술이 아닌, 목표 달성을 위한 기능적 추론을 요구하는 새로운 태스크를 공식화했습니다.
3. 평가 지표 개발: 객체 인식 정확도와 시공간 정밀도를 동시에 평가하는 작업 수준 (Task-level) 메트릭을 설계했습니다.
4. MLLM 한계 규명: 최신 MLLM 들이 embodied 시나리오에서 암시적 추론과 다중 객체 조율에 큰 어려움을 겪고 있음을 체계적으로 입증했습니다.

5. 의의 및 결론 (Significance)

• embodied AI 발전의 이정표: ToG-Bench 는 에이전트가 실제 환경에서 인간의 지시를 이해하고 행동하기 위해 필요한 '지각 (Perception)'과 '상호작용 (Interaction)' 간의 간극을 연구하는 데 필수적인 벤치마크를 제공합니다.
• 향후 방향 제시: 현재 MLLM 이 고수준 추론은 가능하지만, 동적인 1 인칭 환경에서의 정밀한 시공간 위치 파악이 부족함을 보여줌으로써, 향후 연구가 추론과 정밀한 위치 파악의 결합, 장기적 추적 안정성, 상식 기반 암시적 추론에 집중해야 함을 시사합니다.
• 데이터 공개: 논문 저자들은 데이터셋과 코드 공개를 약속하며, 연구 커뮤니티의 발전에 기여할 것으로 기대됩니다.