💻 computer science

ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding

ObjectStream은 고정된 비디오-LLM 표현을 지속적인 잠재 객체 앵커(latent object anchors)로 조직함으로써 스트리밍 비디오 이해를 향상시키고, 객체의 이력 및 상호작용에 대한 효율적이고 고성능인 추론을 가능하게 하는 동시에 메모리 사용량과 토큰 수를 크게 줄이는 훈련이 필요 없는(training-free) 프레임워크입니다.

원저자: Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 도시의 거리에서 실시간 스트리밍 영상을 보고 있다고 상상해 보세요. 자동차들이 빠르게 지나가고, 사람들이 길을 건너며, 새 한 마리가 가로등 위에 내려앉습니다. 이제, 당신이 이 거리에 대해 질문에 답해야 하는 로봇이라고 상상해 보세요. 하지만 당신은 한 번에 아주 작은 조각의 영상만을 기억할 수 있습니다. 만약 누군가 "10분 전에 지나간 자동차는 무슨 색이었나요?"라거나 "저 사람이 열쇠를 떨어뜨렸나요?"라고 묻는다면, 당신의 기억은 백지 상태일 것입니다. 이것이 바로 **스트리밍 비디오 이해(streaming video understanding)**의 과제입니다. 이는 컴퓨터가 일시 정지하거나 되감기를 할 수 있는 영화가 아니라, 실시간으로 들어오는 라이브 피드와 같은 비디오를 이해하려고 노력하는 인공지능의 한 분야입니다. 큰 문제는 비디오의 양이 엄청나다는 것입니다. 그것은 시각적 데이터의 홍수와 같습니다. 만약 컴퓨터가 모든 프레임을 다 저장하려고 한다면, 메모리(뇌 공간)가 바닥나고 질문에 빠르게 답하는 속도가 너무 느려질 것입니다. 따라서 과학자들은 이야기의 흐름을 놓치지 않으면서도, 지루한 부분(예: 텅 빈 하늘)은 버리고 중요한 부분(예: 움직이는 강아지)은 어떻게 남길 것인지 고민해야 합니다.

여기, 로봇의 기억을 위한 매우 체계적인 사서 역할을 하는 새로운 방법인 ObjectStream이 등장했습니다. ObjectStream은 비디오 스트림의 모든 픽셀을 기억하려 하는 대신, '객체(objects)'를 이야기의 주인공으로 삼아 기억하기로 결정합니다. 이런 식으로 생각해 보세요. 만약 당신이 친구에게 혼란스러운 파티에 대해 설명한다면, 문을 통해 들어온 모든 사람을 일일이 나열하지는 않을 것입니다. 대신, 당신은 "주요 인물들"—DJ, 테이블 위에서 춤추는 사람, 빨간 모자를 쓴 남자—을 추적할 것입니다. ObjectStream은 로봇을 위해 정확히 이 작업을 수행합니다. 이 모델은 정지된 비디오 데이터를 보고 "헤이, 저 픽셀 덩어리는 컵처럼 보여"라고 판단한 뒤, 그 컵에 대한 일지를 계속 작성합니다. 컵이 어디로 가는지, 넘어지는지, 혹은 사라지는지를 추적합니다. 이 모델은 이러한 항목들을 찾아내기 위해 별도의 전문가 팀(외부 객체 탐지기 등)을 고용할 필요 없이, 로봇의 기존 두뇌를 사용하여 스스로 알아냅니다.

이 논문은 기억을 관리하기 위한 영리한 3단계 시스템을 소개합니다. 첫째, **"잠재적 객체 앵커(Latent Object Anchors)"**를 생성합니다. 이것은 비디오 속 중요한 것들에 붙여두는 포스트잇과 같습니다. 비디오가 재생됨에 따라 로봇은 이 메모들을 업데이트합니다: "오렌지색 머그컵이 이제 테이블 위에 있다"라거나 "파란색 컵이 들려 있다"와 같이 말이죠. 로봇은 객체가 이동하거나 약간 변하더라도 그 기록을 유지합니다. 둘째, **"일시적 변화(Transient Changes)"**를 위한 특별한 섹션이 있습니다. 때때로 칼이 오이를 썰거나 공이 튀는 것처럼 일들이 빠르게 일어납니다. 이러한 순간들은 장기적인 기록만을 본다면 놓치기 쉬운 빠른 동작들입니다. ObjectStream은 로봇이 액션을 놓치지 않도록 이러한 급격한 변화의 "스냅샷"을 보관합니다. 셋째, **"최근 시각적 접지 창(Recent Visual Grounding Window)"**을 유지하는데, 이는 바로 지난 몇 초간의 비디오를 선명하고 고화질로 보여주는 창입니다. 이를 통해 누군가 "지금 무엇이 일어나고 있나요?"라고 물었을 때, 로봇이 흐릿하지 않은 신선한 화면을 볼 수 있도록 보장합니다.

연구진은 이미 비디오 이해에는 능숙하지만 라이브 스트림에는 어려움을 겪던 기존 AI 모델들을 대상으로 이 아이디어를 테스트했습니다. 그들은 이 "객체 앵커" 시스템을 추가함으로써, 모델들이 비디오에서 일어나는 일에 대해 질문에 답하는 능력이 훨씬 좋아졌다는 것을 발견했습니다. 예를 들어, 로봇이 실시간으로 사물을 인지하는 능력을 점검하는 OVO-Bench 테스트에서, 모델의 점수는 10.0점 상승했습니다(63.3점에서 73.3점으로). 더욱 인상적인 것은, 이 모델이 약 50% 적은 메모리를 사용하면서도 이전보다 두 배 더 빠르게 질문에 답했다는 점입니다. 실제로 이 시스템은 매우 효율적이어서, 모든 것을 유지하려고 노력하는 모델들보다 더 뛰어난 성능을 보이면서도 원본 비디오 데이터(토큰)의 **82.5%**를 버릴 수 있었습니다.

이 논문은 이 접근 방식이 전체 AI 모델을 처음부터 다시 학습시킬 필요 없이 메모리 문제를 해결할 수 있는 실질적인 방법임을 시사합니다. 이는 기억을 단순히 "순간(frames)"이 아닌 "사물(objects)" 중심으로 조직하는 것이 로봇이 이야기의 흐름을 추적하는 데 도움이 된다는 것을 보여줍니다. 저자들은 이 방법이 라이브 스트리밍과 긴 사전 녹화 비디오 모두에서 잘 작동한다는 것을 발견했으며, 이는 객체의 일지를 쓰는 것이 시각적 정보의 홍수를 다루는 스마트한 방법임을 입증합니다. 이것이 세상의 모든 문제를 해결하는 마법 같은 해결책은 아니지만, 우리가 로봇이 우리의 바쁘고 움직이는 세상을 실시간으로 이해하기를 원한다면, 풍경이 아니라 등장인물을 기억하도록 가르쳐야 한다는 점을 시사합니다.

기술 요약: ObjectStream

문제 정의

스트리밍 비디오 이해는 모델이 미래의 프레임에 접근할 수 없는 상태에서, 지속적으로 유입되는 시각적 입력을 처리하고 언제든 발생할 수 있는 질문에 응답해야 하는 요구사항을 충족해야 합니다. 이러한 능력은 웨어러블 어시스턴트, 임바디드 에이전트(embodied agents), 자율 시스템과 같은 응용 분야에서 매우 중요합니다. 전체 비디오를 다시 살펴볼 수 있는 오프라인 비디오 이해와 달리, 스트리밍 모델은 미래의 쿼리가 알려지기 전에 엄격한 메모리 및 지연 시간 제약 조건 하에서 어떤 정보를 유지할지 결정해야 합니다.

기존의 스트리밍 비디오 대규모 언어 모델(Video-LLMs) 접근 방식은 주로 토큰의 중요도, 시간적 중복성 또는 세그먼트 수준의 관련성을 기반으로 성장하는 시각적 컨텍스트를 관리합니다. 그러나 이러한 방법들은 대부분 지속되고 진화하는 객체를 중심으로 증거를 조직하지 못합니다. 결과적으로, 기존 설계들은 거시적인 컨텍스트 및 시간적 의미론은 보존하지만, 더 미세한 수준의 객체 단위 정보(예: 정체성, 상호작용, 상태 변화)는 시간의 흐름에 따라 명시적으로 조직되지 않는 경우가 많습니다. 이러한 한계는 모델이 객체의 이력이나 상태 진화를 추적해야 하는 질문에 대해 추론하는 능력을 저해합니다.

방법론: ObjectStream

이러한 한계를 해결하기 위해, 저자들은 ObjectStream이라는 학습이 필요 없는 플러그 앤 플레이(plug-and-play) 방식의 시각적 메모리 프레임워크를 소개합니다. ObjectStream은 **잠재 객체(latent objects)**를 메모리 앵커로 취급하며, 외부 객체 탐지기, 세그먼테이션 모델 또는 기본 Video-LLM 아키텍처의 수정 없이 유입되는 비디오 스트림을 조직합니다.

이 프레임워크는 세 가지 상호 보완적인 모듈로 구성된 유한한 시각적 메모리 $R_\tau$ 를 유지합니다.

1. 잠재 객체 앵커 메모리 (Latent Object-Anchored Memory, LOAM)

이 모듈은 고정된(frozen) Video-LLM의 표현으로부터 직접 공간적으로 일관된 객체 후보를 발견하고 추적합니다. 이는 네 단계로 작동합니다:

쿼리 불가지론적 토큰 돌출도 추정 (Query-Agnostic Token Saliency Estimation): 각 프레임에 대해 시각적 토큰을 정규화하고 글로벌 컨텍스트 벡터로 집계합니다. 토큰의 돌출도는 이 컨텍스트와의 코사인 유사도 차이를 기반으로 추정되며, 글로벌 표현에서 벗어난 토큰들이 잠재적인 객체 후보로 식별됩니다.
공간적 클러스터링 (Spatial Clustering): 활성화된 토큰들을 2D 패치 그리드 구조(4-연결 공간 이웃)를 사용하여 클러스터링함으로써, 외부 세그먼테이션 없이 일관된 객체 수준의 영역을 형성합니다.
프레임 간 연관 (Cross-Frame Association): 객체 후보들을 프레임 간에 연관시켜 지속적인 트랙을 구축합니다. 각 트랙은 특징 벡터, 타임스탬프, 시간적 일관성 점수, 돌출도 점수를 저장하는 동적 객체 집합을 유지합니다. 매칭은 지수 이동 평균(EMA)을 통해 업데이트됩니다.
유한 객체 집합 유지 (Bounded Object-Set Maintenance): 연속적인 비디오 스트림을 처리하기 위해, 객체 집합은 예산 $M$ 으로 제한됩니다. 객체는 최신성, 돌출도, 시간적 일관성의 사전식 순위(lexicographic ranking)에 따라 제거됩니다.
증거 보존 (Evidence Retention): 유지되는 객체들에 대해, 프레임워크는 이들의 역사적 풀(pool)에서 상위 $K$ 개의 대표 토큰을 선택하여, 압축적이면서도 포괄적인 지속적 시각 이력을 보장합니다.

2. 객체 조건부 시간 잔차 (Object-Conditioned Temporal Residuals, OCTR)

LOAM이 시간에 따라 객체 표현을 부드럽게 만드는 동안, 이는 짧지만 중요한 변화(예: 움직임, 상태 전이 또는 상호작용)를 억제할 수 있습니다. OCTR은 트랙의 연속적인 관찰 사이의 코사인 차이를 계산하여 급격한 객체 수준의 특징 변화를 감지합니다. 변화가 적응형 임계값을 초과하면, 시스템은 해당 이벤트 주변의 로컬 시간 윈도우에서 원시 시각 토큰을 추출합니다. 이는 부드러운 장기 메모리를 보완하는 일시적인 증거를 보존합니다.

3. 최근 시각적 그라운딩 윈도우 (Recent Visual Grounding Window, RVGW)

현재의 시각적 상태에 대한 실시간 질문(예: "지금 무엇이 일어나고 있는가?")을 지원하기 위해, ObjectStream은 가장 최근 $L$ 개 프레임의 원시 시각 토큰을 포함하는 경량 윈도우를 유지합니다. 이는 즉각적인 그라운딩을 위해 고충실도의 로컬 증거를 사용할 수 있도록 보장하며, 압축된 역사적 컨텍스트를 보완합니다.

주요 기여

논문은 다음과 같이 기여를 요약합니다:

ObjectStream 프레임워크: 기본 Video-LLM의 아키텍처 변경 없이 효율적인 스트리밍 비디오 이해를 위한 학습이 필요 없는 플러그 앤 플레이 방식의 시각적 메모리 메커니즘입니다.
잠재 객체 앵커 메모리: 외부 탐지기나 세그먼터 없이 장기 시각 증거를 조직하기 위해 잠재 객체를 사용하는 새로운 접근 방식입니다.
상호 보완적 메모리 설계: 지속적인 객체 이력을 OCTR 및 RVGW와 통합하여, 온라인 스트리밍 및 오프라인 롱 비디오 벤치마크 모두에서 강력한 성능과 토큰 효율성을 달 up했습니다.

실험 결과

저자들은 Qwen2.5-VL (3B 및 7B) 백본을 사용하여 온라인 스트리밍 및 오프라인 롱 비디오 벤치마크에서 ObjectStream을 평가했습니다.

온라인 스트리밍 벤치마크:

OVO-Bench: ObjectStream은 Qwen2.5-VL-7B의 실시간 시각적 인지(Real-Time Visual Perception) 점수를 10.0 포인트(63.3에서 73.3으로) 개선하였고, 역방향 추적(Backward Tracing)에서 4.9 포인트를 개선했습니다. 이는 FluxMem 및 QueryStream과 같은 다른 학습 불필요 방식들보다 우수한 성능을 보였습니다.
StreamingBench: 이 방법은 7B 백본의 경우 평균 점수를 73.9에서 76.8로, 3B 백본의 경우 68.0에서 72.4로 개선했습니다.
효율성: 온라인 평가에서 ObjectStream은 전체 토큰 베이스라인에 비해 피크 GPU 메모리와 첫 토큰 생성 시간(TTFT)을 약 50% 감소시켰습니다.

오프라인 롱 비디오 벤치마크:

VideoMME-Long & EgoSchema: ObjectStream은 시각 토큰의 **82.5%**를 버리면서도 전체 토큰 베이스라인을 능가했습니다. 구체적으로, Qwen2.5-VL-7B의 점수를 VideoMME-Long에서 2.7 포인트, EgoSchema에서 2.3 포인트 향상시켰습니다.

절제 연구 및 효율성 분석:

절제 연구를 통해 LOAM이 구조화된 객체 메모리를 제공하고(OVO-Bench 향상), RVGW가 최근 관찰을 보존하며(StreamingBench 향상), OCTR이 급격한 변화를 포착함을 확인하였으며, 전체 조합이 최상의 결과를 냈습니다.
외부 세그먼테이션(SAM+DINOv2)을 사용하거나 단순 패치 선택(Patch Top-K)을 사용하는 전략과 비교했을 때, ObjectStream은 높은 성능을 유지하면서도 낮은 지연 시간과 메모리 사용량을 제공하여 정확도와 효율성 사이의 우수한 균형을 달성했습니다.

의의 및 주장

본 논문은 잠재 객체가 압축된 스트리밍 비디오 메모리를 위한 실용적이고 효과적인 조직 원리로 기능한다고 주장합니다. 토큰 중심 또는 세그먼트 중심의 관리에서 객체 중심의 접근 방식으로 전환함으로써, ObjectStream은 기존 Video-LLM이 밑단의 모델을 변경하지 않고도 객체의 정체성, 상호작용 및 상태 변화를 추론할 수 있게 합니다. 결과는 지속적인 잠재 앵커를 중심으로 증거를 조직하는 것이 유용한 시각적 증거를 효율적으로 유지할 수 있게 하여, 스트리밍 비디오 이해의 핵심 과제인 '무엇을 유지하고 어떻게 조직할 것인가'를 해결한다는 점을 강조합니다.