기술 요약: 진실 추적: 비디오 대형 언어 모델을 위한 객체 중심 시공간 모니터링

1. 문제 제기

멀티모달 대형 언어 모델 (MLLM) 이 비디오 이해 능력을 발전시켰음에도 불구하고, 동적 장면에서 여전히 **환각 (hallucinations)**에 매우 취약합니다. 저자들은 이러한 실패가 시간 경과에 따른 객체 정체성, 상태, 관계를 지속적으로 추적하는 시공간 모니터링 능력의 부재에서 비롯된다고 주장합니다.

현재 평가 벤치마크는 이러한 결함을 가리는 두 가지 치명적인 한계를 안고 있습니다:

1. 국부적 단서 의존: 많은 질문이 단일 프레임이나 짧은 구간을 검사함으로써 해결될 수 있어, 모델이 전역적 시간 추론을 우회할 수 있게 합니다.
2. 최종 답변의 모호성: 최종 답변만을 기반으로 한 평가는 추론 과정을 가립니다. 모델은 실제 시공간 의존성을 genuinely 해결하지 않고 통계적 사전 지식이나 우연한 정확성을 통해 올바른 답변을 생성할 수 있습니다.

결과적으로 기존 벤치마크는 모델의 진정한 이해 능력을 제한된 관점에서만 보여주며, 진정한 시간 추론과 '단축 학습 (shortcut learning)'을 구분하지 못합니다.

2. 방법론

본 논문은 엄격한 평가를 위한 새로운 벤치마크 (STEMO-Bench) 와 비디오 이해를 위한 새로운 객체 중심 프레임워크 (STEMO-Track) 라는 두 가지 접근 방식을 제안합니다.

2.1 STEMO-Bench: 시공간 모니터링 벤치마크

STEMO-Bench 는 MLLM 의 객체 중심 역동성 추적 능력을 명시적으로 평가하도록 설계되었습니다. 이는 구조 우선 데이터 구축 파이프라인과 세밀한 평가 프로토콜을 도입합니다.

• 데이터 구축:
  • 전문가에 의한 사실 주석: 원시 비디오에서 직접 질문 - 답변 쌍을 생성하는 대신, 저자들은 먼저 인간이 검증한 구조적 표현을 구축합니다. 훈련된 주석가 풀이 엔티티를 식별하고, 표준 식별자를 할당하며, 관찰 가능한 상태와 관계를 구조화된 튜플 (예: (t, object, state)) 로 기록합니다.
  • 정체성 바인딩: 주석가들은 시간적 앵커를 가로질러 엔티티를 수동으로 추적하여 가림이나 상태 변화가 있더라도 일관된 정체성 추적이 이루어지도록 합니다.
  • 자동 질문 생성: 검증된 사실에 기반하여 LLM 이 복잡한 목표 질문을 생성하며, 이는 시간 전반에 걸친 다단계 추론을 필요로 하도록 보장합니다.
  • 분해: 각 목표 질문은 시공간 모니터링의 핵심 단계에 해당하는 원자적 하위 질문 시퀀스로 분해됩니다 (예: 객체 식별, 특정 시간의 상태 검색, 전환 검증).
• 평가 지표:
  • 목표 정확도 ($A_{target}$): 최종 질문에 대한 표준 정확도.
  • 하위 질문 정확도 ($A_{sub}$): 모든 전제 하위 질문에 대한 정확도.
  • 일관성 ($A_{cons}$): 목표 답변이 정확할 때 올바르게 답변된 하위 질문의 비율. 높은 $A_{target}$과 낮은 $A_{cons}$는 견고한 모니터링 대신 허위 상관관계에 의존함을 나타냅니다.

2.2 STEMO-Track: 객체 중심 프레임워크

STEMO 가 드러낸 실패 모드를 해결하기 위해, 저자들은 비디오를 비구조화된 프레임 시퀀스로 취급하는 대신 엔티티와 그 시간적 진화를 명시적으로 모델링하는 STEMO-Track 파이프라인을 제안합니다.

• 파이프라인 아키텍처:
  1. 시간적 청킹: 비디오를 불연속적인 시간 청크로 분할합니다.
  2. 청크 단위 상태 추출: VLM 기반 상태 추출기 ($E_\phi$) 가 각 청크를 독립적으로 처리하여 가시 객체를 식별하고 상태를 추정하여 로컬 관측치를 생성합니다.
  3. 시간적 집계: 시간적 집계 모듈 ($A_\psi$) 이 로컬 관측치를 통합하여 전역적이고 일관된 객체 궤적으로 만듭니다. 여기에는 4 단계 정체성 연결 알고리즘이 포함됩니다:
     • 유사성 점수화: 시각적 속성과 공간적 근접성을 기반으로 청크 간 객체 매칭.
     • 제약 필터링: 시간적 근접성과 신뢰도 임계값 강제.
     • 충돌 해결: 1 대 1 정체성 매핑을 보장하기 위한 이분 매칭 사용.
     • 궤적 생성: 연결된 관측치를 일관된 궤적 ($S_o$) 으로 병합.
  4. 쿼리 기반 궤적 검색: 주어진 쿼리에 대해 검색기 ($R_\omega$) 가 질문에 답변하는 데 필요한 관련 궤적 부분집합 ($S_Q$) 을 선택합니다.
  5. 궤적 유도 답변: 답변 생성기 ($G_\eta$) 가 검색된 궤적에 대해 추론하여 최종 답변을 생성합니다.

이 설계는 표현 구축을 쿼리별 추론과 분리하여 비디오 표현을 한 번 구축한 후 여러 질문에 대해 재사용할 수 있게 합니다.

3. 주요 기여

1. STEMO-Bench: 원자적 하위 질문을 통해 중간 추론을 평가하고, 우연한 정확성과 진정한 시간 이해를 구분하는 인간 검증 객체 중심 사실을 특징으로 하는 벤치마크.
2. STEMO-Track: 구조화된 객체 궤적을 체계적으로 구축하고 쿼리하며, 검색된 시간 데이터에 답변을 명시적으로 근거하는 새로운 객체 중심 파이프라인.
3. 체계적 평가: 목표 대비 중간 일관성에 대한 현대 MLLM 의 포괄적 평가로, 시공간 결함을 강조하고 명시적 모니터링의 유효성을 입증.

4. 실험 결과

저자들은 STEMO-Bench 에서 STEMO-Track 을 독점 엔드 - 투 - 엔드 MLLM(예: Gemini-3.1-Pro, GPT-5), 오픈 가중치 모델 (예: Qwen3-VL, InternVL3), 그리고 구조화된 파이프라인 (예: VideoMind, TraveLER) 과 비교 평가했습니다.

• 성능: STEMO-Track(Gemini-3-Flash 사용) 은 77.1% 의 목표 정확도를 달성하여 가장 강력한 독점 베이스라인 (61.4% 의 Gemini-3.1-Pro) 과 오픈 가중치 모델을 크게 능가했습니다.
• 일관성: STEMO-Track 은 **81.3% 의 일관성 ($A_{cons}$)**을 보여 Gemini-3.1-Pro 의 69.2% 보다 우수했습니다. 이는 STEMO-Track 의 올바른 답변이 충실한 중간 추론에 의해 더 많이 지지됨을 나타냅니다.
• 통계적 유의성: 쌍대 부트스트랩 테스트를 통해 개선이 통계적으로 유의미했습니다 ($p < 0.005$).
• 어블레이션 연구:
  • 시각적 예산: 답변 생성기를 위한 시각적 예산을 줄이는 것은 STEMO-Track(Gemini) 에는 미미한 영향을 미쳤으나 오픈 가중치 모델은 심각하게 저하시켰습니다. 이는 궤적 메모리가 시간적 단서를 효과적으로 인코딩함을 시사합니다.
  • 집계: LLM 기반 요약보다 결정론적 궤적 연결이 더 우수하여 중요한 저-가시성 세부 사항의 누락을 방지했습니다.
• 정성적 분석: 사례 연구는 베이스라인 모델이 종종 목표 질문을 올바르게 답변하면서도 전제 하위 질문 (예: 객체 정체성 오인식) 에 실패했음을 드러냈으며, 이는 목표만 평가하는 지표가 진정한 이해를 과대평가함을 확인시켜 주었습니다.

5. 중요성과 주장

본 논문은 현재 비디오 MLLM 의 주요 한계가 명시적 시공간 모니터링의 부재라고 주장합니다. STEMO-Bench 를 도입함으로써 저자들은 '우연한 정확성'을 넘어 이 실패를 엄격하게 진단할 수 있는 도구를 제공합니다.

STEMO-Track 의 중요성은 비디오 이해의 요구 사항 (지속적인 정체성 유지 및 상태 진화 추적) 과 모델의 내부 계산을 정렬시키는 객체 중심 공식화에 있습니다. 저자들은 명시적 궤적 구축이 환각을 줄이고 추론 일관성을 개선하는 핵심 요소라고 주장합니다. 결론적으로 향후 연구는 엔드 - 투 - 엔드 확장에만 의존하기보다 이러한 궤적 내의 세밀한 시각적 속성 바인딩을 개선하여 견고성을 더욱 향상시키는 데 초점을 맞춰야 한다고 결론지었습니다.