기술 요약: TOC-Bench

문제 제기

비디오 대규모 언어 모델 (Video-LLMs) 이 일반적인 비디오 이해 분야에서 상당한 진전을 이루었음에도 불구하고, **시간적 객체 일관성 (temporal object consistency)**을 유지하는 능력은 여전히 충분히 탐구되지 않았습니다. 기존 벤치마크는 주로 사건 인식, 행동 이해, 또는 거시적인 시간적 추론에 초점을 맞추고 있습니다. 그러나 이러한 벤치마크는 종종 명시적인 객체 궤적 대신 비디오 수준의 주석, 캡션, 또는 인간이 작성한 질문에 의존합니다. 그 결과, 현재 평가들은 객체 중심의 시간적 일관성 실패를 간과함으로써 시간적 추론 능력을 과대평가할 수 있습니다.

구체적으로, 기존 벤치마크는 다음과 같은 상황에서 동일한 객체의 정체성, 상태, 시간적 연속성을 모델이 일관되게 유지할 수 있는지 거의 평가하지 않습니다:

• 가림 (Occlusion) 과 소실.
• 재등장 및 상태 전환.
• 객체 간 상호작용.

또한, 최근 연구들은 많은 비디오 - 언어 질문이 진정한 시간적 추론 대신 "단순화 기법 (shortcuts)"(예: 단일 프레임, 언어적 사전 지식, 또는 순서가 없는 프레임 단서 의존) 을 통해 해결될 수 있음을 시사합니다. 시간이 지남에 따라 특정 객체 인스턴스에 추론을 고정할 수 있는지 평가하는 데에는 결정적인 격차가 존재합니다.

방법론

TOC-Bench 구축

저자들은 시간적 객체 일관성을 평가하도록 설계된 진단 벤치마크인 TOC-Bench를 소개합니다. 구축 파이프라인은 세 단계로 구성됩니다:

1. 비디오 큐레이션 및 객체 - 궤적 주석:

   • 소스 비디오는 Charades, Perception Test, OVIS, MOSE 등 네 개의 공개 데이터셋에서 추출됩니다.
   • 객체 추적: VLM(Qwen3-VL-8B-Instruct) 이 샘플링된 프레임에서 구분되는 물리적 객체와 사람을 제안합니다. 이러한 명사구들은 SAM3를 위한 프롬프트로 사용되어 프레임별 객체 궤적을 생성합니다.
   • 사건 도출: 시간적 사건 (등장, 소실, 가림, 재등장, 상호작용) 은 유지된 객체 궤적에서 도출됩니다.
   • 품질 관리: 품질이 낮거나, 단편적이거나, 모호한 궤적은 제거됩니다. 후처리 단계는 ID 분할을 복구하고 ID 스왑을 플래그 처리하여 궤적 안정성을 보장합니다.

2. QA 구성 및 생성:

   • 추론 단위: 객체 궤적과 사건 타임라인에서 구조화된 추론 단위가 생성되며, 이는 질의 대상 객체, 사건, 진단 차원, 그리고 정답을 명시합니다. 이 단계에서 547,610 개의 추론 단위가 생성됩니다.
   • 스켈레톤 합성: 추론 단위는 10 개의 진단 차원과 4 가지 작업 형식 (다중 선택, 진술 쌍, 수치 세기, 사건 순서) 을 포괄하는 질문 스켈레톤 (구조, 옵션, 레이블 고정) 으로 변환됩니다.
   • 표면 실현: LLM(GPT-5.4-mini) 이 결정론적 정답 레이블이나 구조화된 메타데이터를 변경하지 않고 스켈레톤의 문구를 다듬습니다.
   • 할루시네이션 주입: 할루시네이션 견고성을 테스트하기 위해 비디오에 존재하지 않는 주제나 사건이 포함된 변형 버전이 생성됩니다.

3. 필터링 및 검증:

   • 3 층 시간적 필요성 필터: 단순화 기법으로 해결 가능한 질문을 제거하기 위해 3 층 필터가 적용됩니다:
     1. 텍스트 전용 필터: 텍스트만으로 답변 가능한 항목 제거.
     2. 단일 프레임 필터: 개별 프레임만으로 답변 가능한 항목 제거.
     3. 프레임 셔플 필터: 정답이 원래 시간적 순서에 의존하지 않는 항목 제거.
   • 이 과정을 통해 후보 풀은 45,527 개에서 시간적 의존성이 있는 17,900 개 항목으로 축소됩니다.
   • 인간 검증: 3,000 개의 필터링된 항목이 명확성, 증거 유효성, 레이블 정확도에 대해 수동으로 검증되어 최종 1,951 개의 비디오에 걸친 2,323 개의 고품질 QA 쌍이 도출됩니다.

평가 프로토콜

• 평가 모델: 폐쇄형 시스템 (예: GPT-5.5, Kimi-K2.6), 오픈소스 표준 모델 (예: Qwen2.5-VL, InternVL3), 추론 스타일 변형 모델을 포함한 23 개의 대표적인 Video-LLM.
• 입력 프로토콜: 재현성을 보장하고 시각적 증거 예산을 격리하기 위해 모델은 통제된 프레임 기반 프로토콜 (일반적으로 균일하게 샘플링된 32 프레임) 하에서 평가됩니다.
• 지표: 전체 정확도, 차원별 정확도, 그리고 존재하지 않는 주제나 사건이 포함된 변형에 대한 할루시네이션 진단 정확도 (HDA).

주요 기여

1. 시간적 객체 일관성의 정의: 이 논문은 일반적인 사건 수준 또는 비디오 수준 추론과 구별되는 전용 평가 능력으로서 시간적 객체 일관성을 확립합니다. 이는 시간 경과에 따른 객체 정체성, 상태, 지속성을 유지하는 데 중점을 둡니다.
2. TOC-Bench 데이터셋: 2,323 개의 인간 검증 QA 쌍을 포함하는 객체 - 궤적 기반 진단 벤치마크입니다. 이전 벤치마크와 달리, 모든 질의 대상은 프레임별 객체 궤적에 고정되며, 답변은 구조화된 객체 - 사건 타임라인에서 도출됩니다.
3. 진단 프로토콜:
   • 시간적 필요성 필터링: 질문이 시간적으로 순서화된 시각적 증거를 필요로 하도록 보장하기 위해 후보 QA 쌍의 60.7% 를 제거하는 엄격한 프로토콜.
   • 할루시네이션 인식: 모델이 시각적으로 지지되지 않지만 그럴듯한 객체나 사건을 거부할 수 있는지 테스트하는 변형 버전의 통합.
4. 종합 평가: 이 벤치마크는 세 가지 난이도 계층 (단일 객체, 시간 간 초월 일관성, 객체 간 일관성) 에 걸쳐 10 개의 진단 차원을 포괄하며, 네 가지 결정론적 작업 형식을 지원합니다.

실험 결과

23 개의 Video-LLM 에 대한 실험은 시간적 객체 일관성이 여전히 해결되지 않은 주요 과제로 남아 있음을 보여줍니다:

• 인간 - 모델 격차: 인간 주석가는 **89.3%**의 전체 정확도를 달성하는 반면, 가장 성능이 좋은 모델 (GPT-5.5) 은 **47.1%**에 그칩니다.
• 구체적인 약점: 모델은 다음과 같은 분야에서 상당한 약점을 보입니다:
  • 사건 세기: (예: GPT-5.5 는 사건 존재 여부에 68.9% 를 기록한 반면, 사건 세기에서는 18.3% 점수).
  • 사건 순서: (예: 24.8% 정확도).
  • 정체성 민감 추론: 가림과 재등장을 거치며 정체성을 유지하는 데 어려움을 겪습니다.
  • 할루시네이션 검증: 모델은 종종 비디오에 존재하지 않는 객체나 사건의 존재를 과도하게 가정합니다.
• 모델 동향:
  • 폐쇄형 모델은 일반적으로 오픈소스 모델보다 우수하지만, 인간 성능과의 격차는 여전히 큽니다.
  • "사고" 또는 추론 스타일 변형 (예: Qwen3-VL-8B-Thinking) 은 선택적인 개선을 보이지만 표준 모델을 일관되게 능가하지는 않습니다. 이는 더 긴 추론 궤적이 시각적 표현에서 결여된 객체 수준의 시간적 증거를 보완할 수 없음을 시사합니다.
  • 성능은 차원별로 크게 달라지며, 진술 쌍 질문은 일반적으로 수치 세기나 사건 순서보다 쉽습니다.

중요성 및 주장

이 논문은 시간적 객체 일관성이 현재 Video-LLM 의 주요 병목 현상이라고 주장합니다. 연구 결과는 일반적인 비디오 이해 벤치마크에서의 강력한 성능이 신뢰할 수 있는 객체 수준의 시간적 추론을 의미하지는 않음을 시사합니다.

• 진단적 가치: TOC-Bench 는 광범위한 평균 사례 평가를 넘어 객체 인식 시간적 추론의 특정 실패를 진단하기 위한 집중된 플랫폼을 제공합니다.
• 설계 시사점: 실패 패턴은 희소 프레임 샘플링, 시각 토큰 압축, 전역 시간적 집계와 같은 현재 메커니즘이 반복된 사건을 세거나 프레임 이탈을 가림과 구별하는 데 필요한 프레임 수준의 연속성을 제거할 수 있음을 시사합니다.
• 향후 방향: 저자들은 향후 모델이 객체 중심 메모리, 추적 인식 시각 토큰, 그리고 객체 정체성, 사건 타임스탬프, 객체 간 시간적 관계를 명시적으로 모델링하는 학습 목표를 통해 혜택을 볼 수 있다고 제안합니다.

이 자료는 해당 분야의 추가 연구를 촉진하기 위해 공개되었습니다.