💻 computer science

Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams

이 논문은 1인칭 시점 비디오에서의 사용자 중심 연속적 공간 추론을 평가하기 위한 대규모 데이터셋인 UCS-Bench를 소개하고, 멀티모달 거대언어모델(LLM)의 장기 공간 추론 능력을 크게 향상시키기 위해 구조화된 공간 메모리를 점진적으로 구축하는 프레임워크인 DirectMe를 제안한다.

원저자: Yun Wang, Junbin Xiao, Han Lyu, Yifan Wang, Jing Zuo, Zhanjie Zhang, Hong Huang, Dapeng Wu, Angela Yao

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yun Wang, Junbin Xiao, Han Lyu, Yifan Wang, Jing Zuo, Zhanjie Zhang, Hong Huang, Dapeng Wu, Angela Yao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "건망증 있는 가이드" 문제

당신이 거대하고 복잡한 집 안을 걸어 다니며 머리에 카메라(고프로 같은 것)를 쓰고 있다고 상상해 보세요. 당신은 주방에 들어가 컵을 집어 들고, 몸을 돌려 거실로 걸어갔다가, 다시 주방으로 돌아옵니다.

만약 당신이 표준 AI 비서에게 "지금 나를 기준으로 컵이 어디에 있나요?"라고 묻는다면, AI는 혼란에 빠질 수 있습니다. AI는 현재의 비디오 프레임만을 보고 컵이 테이블 위에 있는 것을 확인한 뒤, "당신의 앞에 있습니다"라고 말할지도 모릅니다. 하지만 만약 당신이 10초 전에 몸을 돌렸다면 어떨까요? 이제 컵은 당신의 뒤에 있습니다.

현재의 AI 모델들은 다음 5초 동안 보이는 것만 기억하는 투어 가이드와 같습니다. 당신이 어떤 랜드마크를 등지고 돌아서면, 그들은 그것이 존재한다는 사실조차 잊어버리거나 당신의 새로운 위치를 기준으로 그것이 어디에 있는지 놓쳐버립니다. 그들은 당신이 움직임에 따라 방을 머릿속에서 회전시킬 수 없기 때문에, "냉장고가 당신의 왼쪽 뒤에 있습니다"라고 말하는 데 어려움을 겪습니다.

해결책: UCS-Bench와 DirectMe

이 논문의 저자들은 이 문제를 해결하기 위해 두 가지를 만들었습니다: 새로운 테스트(UCS-Bench)와 새로운 방법론(DirectMe)입니다.

1. 테스트: UCS-Bench ("기억력 체육관")

연구진은 AI가 공간적 기억력을 연습할 수 있는 거대한 체육관을 구축했습니다.

훈련 방식: 그들은 170시간 이상의 1인칭 시점 영상(누군가가 일상생활 속을 돌아다니는 모습)을 수집했습니다.
질문 구성: 그들은 시간과 움직임에 따라 변하는 8,000개 이상의 질문을 작성했습니다.
- 예시: "자판기가 어디에 있나요?"
- 시간 1: 당신이 자판을 마주 보고 있을 때. 답변: "당신 앞에 있습니다."
- 시간 2: 당신이 몸을 돌렸을 때. 답변: "당신의 왼쪽 뒤에 있습니다."
목표: 이것은 AI가 단순히 현재 화면에 보이는 것을 묘사하는 것을 넘어, 당신이 움직임에 따라 업데이트되는 세상의 정신적 지도를 유지할 수 있는지 테스트합니다.

2. 방법론: DirectMe ("정신적 지도 제작자")

저자들은 이러한 영상을 처리하기 위한 새로운 방식인 DirectMe를 제안했습니다.

비유: 스케치북 vs 스냅샷

기존 AI (스냅샷): 매 초마다 사진을 찍고, 지금 손에 들고 있는 사진만을 보고 질문에 답하려고 노력한다고 상상해 보세요. 만약 물체가 사진 속에 없다면, 당신은 그것이 어디에 있는지 알지 못합니다.
DirectMe (스케치북): 당신과 함께 걷고 있는 화가를 상상해 보세요. 이 화가는 단순히 사진을 찍는 대신, 끊임없이 3D 지도를 스케치북에 그려 넣습니다.
- 당신이 걸어갈 때, 화가는 물체들(냉장고, 의자, 컵)을 그리고 방 안의 정확한 위치를 표시합니다.
- 결정적으로, 화가는 당신이 어디에 있는지와 당신이 어느 방향을 향하고 있는지도 표시합니다.
- 당신이 "컵이 어디 있나요?"라고 물으면, 화가는 현재의 시야를 보는 것이 아니라 스케치북을 봅니다. 화가는 컵이 5미터 떨어져 있다는 것을 보고, 당신이 반대 방향을 향하고 있기 때문에 "당신의 뒤에 있습니다"라고 말해줍니다.

DirectMe의 작동 방식 (단순화):

관찰 및 측정: 영상을 관찰하고 수학적 계산을 통해 사물의 깊이와 카메라(당신)가 어떻게 움직이는지 파악합니다.
지도 구축: "씬 그래프(Scene Graph)"를 생성합니다. 이것은 물체들을 서로, 그리고 당신과 연결하는 디지털 웹이라고 생각하면 됩니다. AI는 "컵은 테이블 위에 있다"와 "테이블은 주방에 있다"는 것을 기억합니다.
실시간 업데이트: 당신이 걸을 때 지도가 업데이트됩니다. 당신이 왼쪽으로 돌았다는 것을 알기에, 정신적 지도를 그에 맞춰 회전시킵니다.
질문에 답변: 질문을 받으면, 관련 있는 지도의 부분을 추출하여 당신의 현재 관점(예: "왼쪽", "오른쪽", "뒤")으로 번역하여 전달합니다.

연구 결과

연구진은 이를 현존하는 가장 똑똑한 AI 모델들(Qwen, InternVL 등)과 비교 테스트했습니다.

격차: 가장 뛰어난 AI 모델들도 질문의 약 50%만을 맞혔습니다. 인간은 약 91%를 맞혔습니다. 이는 현재의 AI가 움직이는 동안 "자신의 위치를 파악하는 것(keeping its bearings)"에 여전히 매우 서툴다는 것을 보여줍니다.
개선 효과: DirectMe를 사용했을 때, AI의 성능이 크게 향로되었습니다. AI는 더 이상 카메라 시야에 보이지 않는 물체에 대한 질문에도 훨씬 더 잘 답변하게 되었습니다.
핵적인 통찰: AI의 가장 큰 실패 원인은 물체를 인식하지 못하는 것(의자가 무엇인지 알고 있음)이 아니라, 움직이는 사람을 기준으로 물체의 위치를 추적하는 것이었습니다. AI는 물체가 아니라 당신이 움직였다는 사실을 계속 잊어버렸습니다.

요약

이 논문은 다음과 같이 말합니다: "현재의 AI는 단일 사진을 묘사하는 데는 뛰어나지만, 움직이는 세상을 탐색하는 데는 서툽니다. 우리는 이를 증명할 새로운 테스트를 만들었고, AI가 당신과 함께 걸을 때 당신을 기준으로 사물이 어디에 있는지 기억하도록 돕는 '정신적 스케치북' 역할을 하는 도구인 DirectMe를 개발했습니다."

언급된 궁극적인 목표는 시각 장애인을 위한 안경이나 로봇과 같은 더 나은 웨어러블 AI 비서를 구축하여, 그들이 집이나 도시에서 길을 잃지 않고 항해할 수 있도록 돕는 것입니다.

기술 요약: Keep It in Mind: 사용자 중심의 지속적 공간 지능 추론 (User-Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams)

문제 정의

본 논문은 현대 컴퓨터 비전 및 AI 연구의 핵심적인 공백인 **사용자 중심의 지속적 공간 지능(User-Centric Continual Spatial Intelligence)**의 부재를 다룹니다. 인간은 역동적인 환경 속에서 자신의 위치, 방향, 그리고 객체들의 상대적 위치를 (설령 그 객체들이 시야에서 벗어나더라도) 지속적으로 추적하지만, 현재의 AI 시스템은 이러한 능력을 수행하는 데 어려움을 겪고 있습니다.

기존의 벤치마크와 방법론들은 주로 다음 사항에 집중합니다:

정적 또는 오프라인 설정: 단일 이미지나 짧은 녹화 영상 클립에 대한 공간 추론 평가.
3인칭 관점: 질문이 사용자의 1인칭 관점이 아닌 "신의 관점(God's eye view)"에서 구성됨.
순간적 인지: 질문 시점에 눈에 보이는 단서에만 의존하며, 사용자의 움직임에 따른 세계 상태의 변화를 파악하기 위해 과거의 관찰을 회상해야 하는 필요성을 고려하지 못함.

핵심 과제는 **1인칭 시점(egocentric) 비디오 질의응답(QA)**이며, 여기서 모델은 사용자의 실시간 움직임(ego-motion)에 따라 업데이트되는 일관되고 진화하는 공간 메모리를 유지해야 합니다. 즉, 시점 변화, 가려짐(occlusion), 그리고 관찰과 질의 사이의 긴 시간 간격을 처리할 수 있어야 합니다.

방법론

1. UCS-Bench: 새로운 벤치마크

이러한 능력을 진단하고 발전시키기 위해, 저자들은 사용자 중심의 지속적 공간 추론을 위해 특별히 설계된 데이터셋인 UCS-Bench를 도입합니다.

규모 및 범위: 6개의 다양한 소스(예: EgoLife, HourVideo, ScanNet, EPIC-KITCHENS)로부터 수집된 532개의 긴 영상(170시간 이상)으로 구성되며, 실내외 일상 활동을 모두 포함합니다.
주석(Annotation): 데이터셋에는 8,114개의 타임스탬프가 찍힌 QA 쌍이 포함되어 있습니다. 결정적으로, 질문은 정적이지 않습니다. 동일한 질문이 서로 다른 타임스탬프에서 반복적으로 제시되어, 사용자의 새로운 위치에 따라 답변을 업데이트하는 모델의 능력을 테스트합니다.
태스크 분류: 질문은 네 가지 차원으로 분류됩니다:
1. 위치 및 방향 (Position & Orientation): 사용자가 이동함에 따라 상대적 방향(예: "당신 뒤에", "당신의 왼쪽에")을 추적.
2. 궤적 및 움직임 (Trajectory & Movement): 사용자 또는 객체가 지나온 경로를 회상.
3. 근접성 및 도달 가능성 (Proximity & Reachability): 현재 시점에서 거리와 상호작용의 가능성을 평가.
4. 범주 및 수량 (Category & Quantity): 시간에 따른 객체의 존재 여부 및 개수 추적.
구축 방식: 이 데이터셋은 근거 기반 주석(evidence-grounded annotation), 수동 검증, 그리고 자동화된 편향 진단(NLI 모델 및 블라인드 테스트 사용)을 포함하는 엄격한 파이프라인을 통해 구축되었습니다. 이는 질문이 언어적 사전 지식(language priors)만으로는 답할 수 없도록 보장하기 위함입니다.

2. DirectMe: 학습이 필요 없는 프레임워크

저자들은 기존의 멀티모달 거대언어모델(MLLM)을 재학습시키지 않고도 성능을 향상시키는 프레임워크인 DirectMe를 제안합니다. 이 프레임워크는 구조화된 **공간 장면 그래프(spatial scene graph)**를 메모리 모듈로 구축하고 유지함으로써 작동합니다.

백그라운드 프로세싱 (오프라인/스트리밍):
- 멀티모달 추출: 들어오는 비디오 스트림(1 fps로 샘플링됨)으로부터, 시스템은 DepthAnything3를 사용하여 미터법 기반 깊이 지도(metric depth maps)와 에고 포즈 궤적(ego-pose trajectories)을 추출합니다. 또한, 오픈 보카블러리 객체 탐지(Grounding-DINO/YOLO-World)와 트래킹(SAM2)을 수행하여 지속적인 객체 마스크와 ID를 생성합니다.
- 글로벌 메트릭-시맨틱 맵: 이러한 신호들은 월드 좌표계(world-coordinate frame)로 융합되어, 글로벌 원점을 기준으로 한 환경과 객체 위치의 일관된 3D 표현을 생성합니다.
- 진화하는 장면 그래프: 장면 그래프 $G=(V, E)$ 가 점진적으로 구축됩니다. 노드는 지속적인 객체와 시맨틱 장소를 나타내며, 엣지는 월드 프레임에서 계산된 공간적 관계(거리, 방향)를 인코딩합니다.
온라인 추론 (질의 시점):
- 시간 $t$ 에 질문이 던져지면, 시스템은 메모리로부터 질문에 조건화된 최소한의 **서브그래프(subgraph)**를 검색합니다.
- 포즈 인식 변환 (Pose-Aware Transformation): 검색된 객체들의 월드 프레임 좌표는 현재 카메라 포즈의 역행렬( $T_{e \leftarrow w}(t)$ )을 사용하여 현재의 에고센트릭 프레임으로 변환됩니다.
- 프롬프팅: MLLM은 관련 비디오 프레임, (사용자의 현재 관점에서 렌더링된) 서브그래프의 공간적 요약, 그리고 질문을 전달받습니다. 이를 통해 모델은 시각적 컨텍스트 윈도우에만 의존하는 대신, 구조화된 메모리를 활용하여 "시야 밖"의 객체에 대해 추론할 수 있습니다.

주요 기여

UCS-Bench: 스트리밍 에고센트릭 비디오에서의 사용자 중심 지속적 공간 지능을 명시적으로 겨냥한 최초의 벤치마크로, 긴 호흡의 동적이고 관점 의존적인 질의를 특징으로 합니다.
DirectMe: 메모리 구축과 추론을 분리한 새로운 학습 불필요(training-free) 프레워크입니다. 이는 **포즈에 고정된 장면 그래프(pose-anchored scene graph)**를 도입하여 견고한 공간 메모리를 유지함으로써, 시간이 흐름에 따라 사용자의 움직임에 대한 객체 위치를 추적할 수 있게 합니다.
경험적 분석: 현재의 최첨단 MLLM(일반 목적 및 공간 특화 모델 모두)이 이 과업에서 현저히 낮은 성능을 보임을 입증하며, "시각적 메모리 망각(Visual Memory Amnesia)" 및 "시간적 상태 추적 실패(Temporal State Tracking Failure)"와 같은 구체적인 실패 모드를 밝혀냈습니다.

실험 결과

저자들은 18개의 대표적인 MLLM(4B에서 38B 파라미터 범위)을 UCS-Bench에서 평가했습니다.

성능 격차: 인간의 성능(91.0%)과 현재 모델들(최고 SOTA 약 50%) 사이에는 상당한 격차가 존재합니다.
DirectMe의 우수성: DirectMe는 모든 베이스라인 모델을 크게 앞섭니다. 강력한 백본인 Qwen3-VL-32B와 결합했을 때, 전체 정확도 **50.5%**를 달자하며, 공간 특화 모델 및 롱 스트리밍 비디오 모델을 능가했습니다.
시간 간격에 대한 강건성: DirectMe는 증거와 질의 사이의 시간 간격이 길어지더라도(예: 3분 이상) 정확도 저하가 훨씬 느리게 나타나는 반면, 베이스라인 모델들은 심각한 성능 저하를 겪습니다.
오류 분석:
- 베이스라인 실패 원인: 현재 모델들은 에고 모션 추론(사용자 자신의 경로 추적)과 시간적 상태 추적(객체의 상태를 카운트하거나 추적하는 것)에서 가장 큰 어려움을 겪습니다.
- DirectMe 실패 원인: DirectMe를 사용하더라도 주요 실패 모드는 트래킹 실패(40%)와 에고 포즈 관계 오류(23%)로 나타났으며, 이는 지속적이고 사용자 중심적인 공간 상태를 유지하는 것이 여전히 핵심적인 병목 구간임을 시사합니다.

의의 및 주장

본 논문은 사용자 중심의 지속적 공간 지능이 차세대 AI 어시스턴트, 특히 웨어러블 기기 및 보조 기술(예: 시각 장애인을 위한 기술)에 필수적인 근본적 능력이라고 주장합니다.

정적 인지를 넘어: 이 연구는 진정한 공간 지능이 단순히 프레임 내의 객체를 인식하는 것을 넘어, 스트리밍되는 관찰 내용을 역동적인 사용자 참조 세계 모델로 통합하는 능력을 요구한다고 주장합니다.
현재 아키텍처의 한계: 결과에 따르면 단순히 모델 크기나 컨텍스트 윈도우를 키우는 것만으로는 부족합니다. 이 격차는 에고 모션을 추적하고 구조화된 공간 메모리를 유지하기 위한 명시적인 메커니즘이 필요함을 보여줍니다.
미래 연구를 위한 토대: 엄격한 벤치마크와 모듈형 프레임워크(DirectMe)를 제공함으로써, 저자들은 견고한 롱 호라이즌(long-horizon) 공간 추론 연구를 촉진하고, 현실 세계를 항해하는 AI 시스템을 위한 길을 닦고자 합니다.

저자들은 DirectMe가 새로운 SOTA를 설정했음에도 불구하고, 이 과업이 여전히 해결되지 않은 채 남아 있으며, 멀티모달 추론을 발전시키기 위한 도전적인 새로운 영역을 제공한다고 결론짓습니다.