💻 computer science

StateTrace: An Object-Centric Framework for Hidden-State Spatiotemporal Reasoning in Long Videos

이 논문은 비디오 언어 모델(VideoLLM)에 구조화된 시공간 메모리를 부여하여 긴 비디오의 보이지 않는 구간 동안 숨겨진 객체의 상태를 명시적으로 추론할 수 있게 함으로써, 새로 제안된 HSR-Bench와 기존 벤치마크에서 성능을 크게 향상시킨 객체 중심 프레임워크인 StateTrace를 소개한다.

원저자: Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 기계는 영상을 관찰하고 그 장면을 묘사하는 데 매우 능숙해졌습니다. 이들은 사람이 달리는 모습, 자동차가 회전하는 모습, 혹은 강아지가 공을 쫓는 모습 등을 식별할 수 있습니다. 그러나 이러한 디지털 관찰자들은 '보이지 않는 것'에 대해서는 중대한 사각지대를 가지고 있습니다. 만약 어떤 물체가 화면에서 사라진다면—벽 뒤로 숨거나, 상자 안에 담기거나, 다른 물체에 의해 가려지는 경우처럼—현재의 AI 모델들은 그것이 존재한다는 사실을 완전히 잊어버리곤 합니다. 이들은 '보이지 않음'을 '알 수 없음'과 동일하게 취급하며, 물체가 단지 시야에서 벗어났을 뿐이며 그 상태(위치나 색상 등)가 변하지 않았을 것이라고 추론하지 못합니다. 이러한 한계는 긴 영상을 분석할 때 큰 장애물이 되는데, 영상 속 물체가 오랫동안 숨겨져 있더라도 관찰자는 여전히 그 물체의 위치나 그 물체에게 일어난 일을 알아야 할 때가 있기 때문입니다.

이 문제를 해결하기 위해 연구진은 StateTrace라고 불리는 새로운 접근 방식을 개발했습니다. 이 시스템은 단순히 현재 보이는 프레임에만 의존하는 대신, 물체가 숨겨져 있을 때도 이를 기억하고 추적할 수 있는 방법을 AI에게 제공합니다. 연구진은 비디오를 위한 지속적인 메모리 역할을 하는 프레임워크를 구축하여, 단순히 보이는 것뿐만 아니라 물체가 사라질 때 어떤 일이 일어나는지도 기록하도록 했습니다. 이 시스템은 물체가 가려진 순간, 사라진 이유, 그리고 마지막으로 확인된 위치와 외형에 대한 세부 정보를 추적합니다. 이러한 정보를 구조화된 타임라인으로 정리함으로써, 시스템은 물체가 화면에서 떠난 지 한참이 지난 후에도 그 숨겨진 상태에 대한 질문에 답할 수 있습니다.

연구진은 표준 AI 모델들을 함정에 빠뜨리기 위해 특별히 설계된 새로운 도전 과제들을 만들어 이 아이디어를 테스트했습니다. 이들은 약 1,400개의 고유한 영상에서 추출한 1,400개 이상의 비디오 질문을 포함하는 벤치마크인 HSR-Bench를 구성했습니다. 이 질문들은 물체가 가려지거나(occluded), 담기거나(contained), 덮이는(covered) 시나리오에 초점을 맞추고 있으며, 직접적인 시각적 증거 없이도 상태를 추론할 것을 요구합니다. 예를 들어, 버스에 의해 몇 초 동안 가려졌던 자동차의 색상을 묻거나, 용기 사이에서 내용물이 바뀌었을 때 어떤 컵 안에 못이 들어있는지를 묻는 식입니다. 연구진이 StateTrace를 강력한 기존 비디오 모델들에 적용했을 때, 결과는 놀라웠습니다. 이 벤치마크에서 모델들의 정확도는 극적으로 향상되었으며, 일부 모델은 약 40%의 정답률에서 64% 이상으로 뛰어올랐습니다. 이는 보이지 않는 것에 대해 추론할 수 있는 구조화된 방식을 제공하는 것이 AI가 인간처럼 세상을 이해하도록 만드는 데 결정적인 단계임을 시사합니다.

StateTrace 시스템의 핵심은 AI가 질문에 답하려고 시도하기도 전에 수행되는 3단계 과정입니다. 먼저, 시스템은 전체 영상을 오프라인으로 분석하여 여러 세그먼트로 나눕니다. 시스템은 물체를 식별하고, 움직임을 추적하며, 물체가 정확히 언제 어떻게 사라지는지를 기록합니다. 만약 자동차가 버스에 의해 가려진다면, 시스템은 해당 사건을 기록하며 버스를 원인으로 지목하고 자동차의 마지막 알려진 위치를 기록합니다. 시스템은 이러한 사건들의 상세한 지도를 구축하여, 물체를 그 가시성과 상호작용의 이력과 연결하는 '시공간적 상태 메모리(spatiotemporal state memory)'를 만듭니다. 이 메모리는 단순한 프레임의 목록이 아니라, 한 물체가 다른 물체 안에 있거나 다른 물체가 다른 물체의 시야를 가로막는 것과 같은 관계를 이해하는 연결된 그래프입니다.

사용자가 질문을 던지면, 시스템은 단순히 비디오를 스캔하여 일치하는 단어를 찾는 것이 아닙니다. 대신, 시스템은 이 메모리 지도를 참조하여 질의와 관련된 특정 순간을 찾아냅니다. 만약 질문이 숨겨진 물체에 관한 것이라면, 시스템은 해당 물체가 마지막으로 보였던 순간과 그것이 사라지게 된 사건들을 검색합니다. 그런 다음 이 이력을 간결한 서사로 요약하여, 물체의 여정과 현재의 예상 상태를 설명합니다. 이 요약본은 실제 비디오 클립과 결합되어 AI 모델에 입력됩니다. 이러한 명시적인 맥락을 제공함으로써, 모델은 더 이상 추측하는 것이 아니라 재구성된 사건의 타임라인을 바탕으로 추론하게 됩니다. 시스템은 본질적으로 AI에게 "당신이 찾는 물체는 지금 보이지 않지만, 마지막으로 발견된 위치와 그 물체에게 일어난 일은 다음과 같습니다"라고 말해주는 것입니다.

연구진은 이 방법이 영상이 길고 물체가 오랫동안 숨겨져 있을 때 가장 효과적이라는 것을 발견했습니다. 몇 초에서 한 시간 길이의 영상을 포함한 테스트에서, StateTrace 프레임워크는 영상을 단순히 압축하거나 관련 클립을 검색하려는 다른 방식들보다 일관되게 우수한 성능을 보였습니다. 개선 효과는 물체가 거의 완전히 가려지는 심한 폐쇄(occlusion) 상황에서 가장 극적으로 나타났습니다. 예를 들어, 한 테스트 케이스에서 표준 모델은 버스 뒤에 숨겨진 자동차의 색상을 식별하지 못하고 마지막에 보이는 프레임을 바탕으로 잘못 추측했습니다. 하지만 StateTrace를 사용하면, 모델은 차단되기 전의 자동차 색상을 정확히 기억해내어 시각적 공백에도 불구하고 장면의 연속성을 유지했습니다.

연구진은 결과의 견고함을 보장하기 위해, 시스템의 어떤 부분이 가장 중요한지 확인하는 일련의 실험을 수행했습니다. 그들은 물체가 '왜' 사라졌는지에 대해 추론하는 능력이 결정적이라는 것을 발견했습니다. 만약 시스템이 물체가 사라졌다는 사실만 알고 그것이 가려진 것인지, 이동한 것인지, 혹은 무언가의 내부에 담긴 것인지 알지 못한다면 성능은 크게 떨어졌습니다. 마찬가지로, 공간적 관계와 이동 이력을 요약하는 단계가 가장 핵심적인 구성 요소임이 밝혀졌습니다. 이 요약이 없다면 AI는 마치 퍼즐 조각들이 그림으로 조립되지 않고 바닥에 흩어져 있는 상태에서 퍼즐을 풀려는 사람처럼, 원시 데이터를 이해하는 데 어려움을 겪었습니다. 또한 시스템은 단순히 전체 영상을 AI에게 입력하는 것만으로는 충분하지 않으며, 특정하고 관련 있는 순간을 타겟팅하여 검색하는 것이 정확도에 필수적이라는 점을 보여주었습니다.

StateTrace의 성공은 비디오 이해에 접근하는 방식의 근본적인 변화를 강조합니다. 수년간의 연구는 모델이 더 잘 보고 더 많은 프레임을 처리하도록 만드는 데 집중해 왔습니다. 이 연구는 다음 단계의 도약이 모델이 볼 수 없는 것에 대해 더 잘 생각하도록 만드는 데서 온다는 것을 시사합니다. 보이지 않는 상태를 데이터의 누락된 조각이 아닌 해결 가능한 퍼즐로 다룸으로써, 연구진은 AI가 현실 세계의 복잡한 관찰을 처리할 수 있게 했습니다. 결과는 적절한 종류의 메모리와 추론 능력이 있다면, 기계가 보여지는 것과 알려진 것 사이의 간극을 메울 수 있으며, 이는 실생활의 길고 연속적인 흐름을 항해하려는 모든 시스템에 필수적인 능력임을 나타냅니다.

기술 요약: StateTrace

문제 정의

현재의 시각-언어 모델(VLM)은 캡셔닝 및 시간적 국소화(temporal localization)와 같은 일반적인 비디오 이해 작업에서 강력한 능력을 입증했습니다. 그러나 이들은 특히 긴 영상에서 숨겨진 상태의 시공간적 추론(hidden-state spatiotemporal reasoning) 측면에서 근본적인 약점을 보입니다. 대상 객체가 폐쇄(occlusion), 수용(containment) 또는 덮임(covering)으로 인해 보이지 않게 될 때, 기존 모델들은 종종 그 상태를 추론하지 못하고 "보이지 않음"을 "알 수 없음"과 동일하게 간주하는 오류를 범합니다. 이들은 질문 시점의 명시적인 시각적 증거에 크게 의존하며, 장기간의 비가시 구간 동안 객체의 잠재적 상태를 모델링하지 못합니다. 이러한 한계는 모델이 객체의 위치나 속성에 대한 질문에 답하는 것을 방해하며, 설령 맥락상 상태가 지속되어야 함을 암시하더라도 마찬가지입니다.

방법론: StateTrace

이를 해결하기 위해 저자들은 VideoLLM에 명시적인 숨겨진 상태 추론 메커니즘을 부여하기 위해 설계된 객체 중심 프레임워크인 StateTrace를 제안합니다. 이 프레임워크는 세 가지 별도의 단계를 통해 작동합니다.

1. 오프라인 시공간 상태 메모리 구축

추론 전, 시스템은 재사용 가능한 구조화된 메모리( $M$ )를 구축하기 위해 오프라인 파싱 과정을 수행합니다. 이 메모리는 청크 단위의 유향 그래프( $G_V$ )와 보조 엔티티 액세스 그래프( $G_E$ )로 구성됩니다. 메모리는 다음 세 가지 요소로 이루어집니다:

의미적 맥락 ( $M_{sem}$ ): 엔티티, 행동, 장면, 자막을 포함하는 청크 단위의 속성.
공간 위치 메모리 ( $M_{loc}$ ): 프레임 단위의 절대 기하학적 정보(정규화된 중심 좌표 및 면적)와 객체 간의 쌍별 공간 관계(예: 왼쪽, 오른쪽, 근처, 멀리). 중복을 줄이기 위해 관계가 변할 때만 저장됩니다.
공간 이벤트 메모리 ( $M_{evt}$ ): 가시성 전환(출현/소멸) 기록과 결정적으로 **소멸 원인 해석(disappearance-cause interpretation)**을 기록합니다. 경계가 아닌 소멸의 경우, VLM 모듈이 짧은 비디오 맥락을 분석하여 "내부"(수용), "가려짐"(폐쇄), 또는 "기타"와 같은 원인을 추론합니다.

파싱 과정은 비디오를 청크로 나누고, 객체 그라운딩 및 마스크 전파(SAM2 사용)를 수행하여 청크 간 연속성을 유지하며, 공간 관계와 이벤트 메타데이터를 추출하는 과정을 포함합니다.

2. 질문 기반 시공간 증거 요약

추론 시, 시스템은 전체 비디오를 가공 없이 처리하는 대신 상태 메모리에서 관련 증거를 검색합니다.

검색(Retrieval): 질문은 구조화된 쿼리로 변환되어 2단계 프로세스(엔티티/의미 매칭 기반 리콜 후 시간적 우선순위에 따른 재순위화)를 통해 관련 비디오 청크를 검색합니다.
요약(Summarization): 검색된 하위 메모리는 두 가지 상호 보완적인 요약본으로 압축됩니다:
- 의미적 집계 요약 ( $g_q$ ): 답변과 관련된 텍스트 증거와 하위 질문들을 응축합니다.
- 공간 요약 ( $s_q$ ): 프레임 단위 타임라인을 병합하고, 가시성 상태를 복구하며, 앵커 이벤트(예: 폐쇄, 진입, 재출현)를 추출하여 구조화된 시공간 증거를 구축합니다. 이 요약은 비가시 구간 동안의 객체 상태 변화를 명시적으로 추적합니다.

3. 요약 증강 답변 생성

최종 단계는 검색된 시각적 증거(비디오 청크), 자막 맥락, 그리고 생성된 의미적 및 공간적 요약( $g_q, s_q$ )을 결합하여 VideoLLM을 위한 멀티모달 입력을 형성합니다. 모델은 이 풍부해진 맥락을 바탕으로 답변을 생성하며, 이를 통해 왜 객체가 사라졌는지와 보이지 않는 동안 상태가 어떻게 진화했는지에 대해 명시적으로 추론할 수 있습니다.

주요 기여

문제 정식화: 본 논문은 숨겨 된 상태의 시공간적 추론을 이전의 상호작용과 상태 변화를 바탕으로 대상의 잠재적 상태를 추론하는 능력으로 체계적으로 정의하며, 이것이 현재 VideoLLM에서 결여된 핵심 능력임을 식별했습니다.
StateTrace 프레임워크: 단순한 직접적 시각 증거에서 벗어나 잠재적 객체 역동성에 대한 구조화된 상태 중심 추론으로 긴 영상 추론의 패러다임을 전환하는 새로운 객체 중심 프레임워크를 제안합니다. 이는 재사용 가능한 시공간 상태 메모리와 명시적인 소멸 원인 모델링 메커니즘을 도입합니다.
HSR-Bench: 1,384개의 고유 비디오에서 추출한 1,427개의 비디오-QA 샘플을 포함하는 진단 벤치마크인 HSR-Bench를 도입했습니다. 이는 기존 벤치마크에서 과소 평가되는 경우가 많은 객체 지속성 및 폐쇄, 수용, 장기 지연 쿼리 상황에서의 잠재 상태 추론을 구체적으로 겨냥합니다.

실험 결과

저자들은 다양한 VideoLLM 백본(InternVL2.5, VideoLLaMA3, Qwen2.5-VL, LLaVA-Video)을 사용하여 여러 공개 벤치마크(MLVU, VideoMME, LongVideoBench)와 새로운 HSR-Bench에서 StateTrace를 평가했습니다.

공개 벤치마크: StateTrace는 모든 백본에서 일관되게 성능을 향상시켰습니다. 특히 LongVideoBench에서 상당한 이득을 보였으며, 이는 확장된 시간 범위에 걸쳐 상태 연속성을 유지하는 데 효과적임을 시사합니다. 예를 들어, VideoLLaMA3-7B는 LongVideoBench에서 59.8에서 64.5로 향상되었습니다.
HSR-Bench: 숨겨진 상태 추론이 주요 과제인 이곳에서 가장 큰 개선이 나타났습니다. StateTrace는 기본 모델 성능을 15.14에서 28.31 포인트까지 향상시켰습니다. 예를 들어, VideoLLaMA3-7B는 HSR-Bench에서 39.59에서 64.19를 달성했고, Qwen2.5-VL-3B는 29.85에서 57.74로 향상되었습니다.
절제 연구(Ablation Studies):
- **소멸 원인 추론(disappearance-cause reasoning)**을 제거하면 성능이 저하되었으며, 이는 왜 객체가 사라졌는지 아는 것이 상태 복구에 매우 중요하다는 것을 나타냅니다.
- **공간 요약 생성(spatial summary generation)**을 제거했을 때 가장 큰 성능 저하가 발생했으며, 이는 저수준 기록을 명시적인 상태 진화 설명으로 변환하는 데 있어 이 기능이 핵심 인터페이스 역할을 함을 강조합니다.
- **핵심 클립 검색(key clip retrieval)**을 제거하면 성능이 감소하여, 관련 있는 시간적 맥락에 집중하는 것의 가치를 확인했습니다.
폐쇄 심각도(Occlusion Severity): HSR-Bench 분석 결과, StateTrace는 숨겨진 상태 추론이 가장 중요한 심한 폐쇄 상황에서 가장 큰 이득을 제공했습니다.

의의 및 주장

본 논문은 StateTrace가 현재의 모델들이 가진 특정하고 결정적인 격차, 즉 일시적으로 보이지 않는 객체를 추론하지 못하는 문제를 해결한다고 주장합니다. 소멸 원인을 명시적으로 모델링하고 구조화된 상태 메모리를 유지함으로써, StateTrace는 모델이 객체가 보이지 않더라도 그 상태가 지속된다는 것을 추론할 수 있게 합니다. 저자들은 이를 단순한 정확도 향상이 아니라, 증거 중심에서 상태 중심으로의 추론 패러다임 전환으로 규정합니다. HSR-Bench의 도입은 기존 벤치마크가 제대로 평가하지 못하는 이 특정 능력을 진단하고 발전시키기 위한 필수적인 단계로 제시됩니다. 이 연구는 복잡하고 긴 호흡의 비디오 시나리오에서 견고한 공간 추론을 위해 명시적인 상태 모델링이 필수적임을 입증합니다.