SpatialMem: Metric-Aligned Long-Horizon Video Memory for Language Grounding and QA

이 논문은 메트릭 3D 구조를 해석 가능한 인덱싱 기반으로 활용하여, 특수 센서 없이도 일상적인 1 차원 RGB 영상으로부터 장기적 공간 기억을 구축하고 언어 기반 검색 및 질의응답을 가능하게 하는 'SpatialMem' 시스템을 제안합니다.

핵심

이 논문은 **'SpatialMem(스페이셜멤)'**이라는 새로운 기술을 소개합니다. 쉽게 말해, 사람이 스마트폰이나 안경으로 주변을 찍은 영상만 가지고, 그 공간의 3D 지도를 만들고 "저기 빨간 컵이 어디 있지?" 같은 질문에 답할 수 있게 해주는 시스템입니다.

기존의 로봇이나 AR(증강현실) 기술은 깊이 측정 센서나 정밀한 장비가 필요했지만, 이 기술은 단순한 카메라 영상만으로도 가능하게 합니다.

이 복잡한 기술을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "기억하는 도서관" vs "단순한 사진첩"

일반적인 AI 는 영상을 볼 때 마치 사진첩을 보는 것과 비슷합니다. "이건 소파야, 저건 책상이야"라고 한 장 한 장 기억하죠. 하지만 방이 어지러워지거나 시선이 바뀌면 "어, 이 소파가 어디 있었지?"라고 헷갈리기 쉽습니다.

SpatialMem은 다릅니다. 이 시스템은 영상을 볼 때 3D 도서관을 짓습니다.

• 책장 (벽, 문, 창문): 도서관의 구조를 먼저 잡습니다. 벽과 문은 움직이지 않는 '책장'처럼 고정된 기준점이 됩니다.
• 책 (사물): 그 책장 위에 놓인 물건들 (컵, 소파 등) 을 정리합니다.
• 색인 (메모): 단순히 "컵"이라고만 적지 않고, **"북쪽 벽에 있는 창문 옆, 소파 왼쪽에 있는 빨간 컵"**처럼 정확한 위치와 관계를 메모장에 적어둡니다.

이렇게 하면 나중에 "빨간 컵이 어디 있지?"라고 물어보면, 사진첩을 뒤적일 필요 없이 도서관의 색인을 통해 바로 찾아낼 수 있는 것입니다.

2. 작동 원리: "건축가"와 "기록관"의 협업

이 시스템은 두 가지 역할을 나누어 수행합니다.

• 건축가 (3D 구조 잡기):
  카메라로 찍은 영상을 보고, "여기는 바닥이고, 저기는 벽이야"라고 실제 크기와 높이가 맞는 3D 지도를 그립니다. 여기서 중요한 건 센서가 없어도 된다는 점입니다. 마치 우리가 눈을 감고도 방의 크기를 감으로 알 수 있듯이, AI 가 영상의 움직임을 분석해 3D 구조를 복원합니다.

• 기록관 (이해하고 정리하기):
  건축가가 만든 3D 지도 위에 사물들을 올립니다. 이때 두 단계의 메모를 남깁니다.

  1. 1 단계 (눈에 보이는 것): "지금 카메라로 봤을 때, 소파 위에 빨간 컵이 있어." (화면 중심의 정보)
  2. 2 단계 (영구적인 사실): "소파는 북쪽 벽에 붙어 있고, 컵은 소파 위에 항상 있어." (시각이 바뀌어도 변하지 않는 사실)

이 두 단계 메모를 통해, 비록 카메라가 움직여도 "아, 그 컵은 소파 위에 있는 거구나"라고 일관된 기억을 유지할 수 있습니다.

3. 실제 활용: "내비게이션 가이드"와 "물건 찾기"

이 기술이 실제로 어떤 일을 할 수 있을까요?

• 물건 찾기 (QA):
  "방금 봤던 빨간 컵이 어디 있지?"라고 물어보면, 시스템은 3D 지도에서 "창문 옆 소파 위에 있어요"라고 정확히 답합니다. 단순히 "저기 있어요"가 아니라, 벽이나 문 같은 기준점을 이용해 방향과 거리를 설명합니다.
• 길 안내 (Navigation):
  "식탁으로 가려면 어떻게 해야 해?"라고 물으면, "입구를 지나서 오른쪽으로 꺾고, TV 가 있는 소파 옆을 지나가세요"라고 단계별 길 안내를 해줍니다. 마치 친한 친구가 "저기 문으로 들어가서 왼쪽으로 꺾어"라고 말해주는 것과 같습니다.

왜 이 기술이 특별한가요?

1. 싼 장비로 가능: 비싼 3D 센서나 레이저가 필요 없습니다. 누구나 가진 스마트폰이나 안경 카메라만 있으면 됩니다.
2. 혼란 속에서도 강함: 방이 매우 어지럽거나 물건이 많아도 (실험실이나 창고 같은 곳), 벽과 문 같은 큰 구조물을 기준으로 삼기 때문에 길을 잃지 않고 물건을 찾을 수 있습니다.
3. 빠른 검색: 모든 영상을 다시 재생하지 않아도, 미리 만들어둔 3D 도서관의 색인을 통해 순식간에 답을 찾아냅니다.

요약

SpatialMem은 **"카메라로 찍은 영상을 3D 도서관으로 변환하고, 물건들을 정확한 위치에 정리해두는 똑똑한 기억 시스템"**입니다.

이 기술이 발전하면, 우리 집의 AR 안경이 "냉장고에 우유가 다 떨어졌네"라고 알려주거나, 로봇이 "화장실로 가려면 이 복도를 지나서 왼쪽으로 돌아서 가세요"라고 자연스럽게 안내해 줄 날이 머지않았습니다.

기술 요약

SpatialMem: 언어 기반 검색 및 QA 를 위한 메트릭 정렬 장기 시계열 비디오 메모리

이 논문은 SpatialMem이라는 새로운 메모리 중심 시스템을 제안합니다. 이 시스템은 일인칭 시점 (Egocentric) 의 RGB 비디오를 입력받아 실내 환경의 장기적인 이해, 언어 기반 검색, 그리고 질의응답 (QA) 을 가능하게 합니다. 핵심 아이디어는 명시적인 3D 매핑을 최종 목표로 삼는 것이 아니라, 해석 가능한 인덱싱 구조 (Scaffold) 로서 메트릭 3D 공간을 활용하여 효율적인 정보 검색과 추론을 수행하는 데 있습니다.

---

1. 문제 정의 (Problem)

자율 에이전트 (AR 보조 도구, 모바일 로봇 등) 가 3D 실내 환경을 일관되게 표현하고 추론하려면 프레임 단위의 인식을 넘어선 지속적이고 계층적인 공간 메모리가 필요합니다. 기존 시스템들은 다음과 같은 한계를 가집니다:

• 하드웨어 의존성: 깊이 센서 (RGB-D) 나 IMU, 보정된 Visual-SLAM 등 특수 장비에 의존하여 저비용 장비 (스마트폰, 일반 카메라) 에 적용하기 어렵습니다.
• 단일 프레임의 한계: 짧은 시각적 처리만으로는 "창문 왼쪽의 테이블 위에 있는 것"과 같은 복잡한 관계적 질문 (Relational Query) 에 답하기 어렵습니다.
• 메트릭 정렬 부재: 많은 기존 방법들이 2D 이미지나 비정형적인 공간 표현에 머무르며, 거리, 방향, 가시성 등을 정량적으로 표현하는 공통의 메트릭 좌표계를 제공하지 못합니다.

따라서, 일인칭 RGB 비디오만으로 안정적이고 측정 가능한 (Metric) 3D 메모리를 구축하여, 복잡한 공간 관계 추론과 장기적 객체 검색을 지원하는 것이 본 연구의 목표입니다.

---

2. 방법론 (Methodology)

SpatialMem 은 다음과 같은 5 단계 파이프라인을 통해 계층적인 3D 메모리를 구축합니다.

2.1 3D 환경 준비 및 메트릭 정렬 (3D Environment Preparation)

• 입력: 일인칭 RGB 비디오 스트림.
• 기하학적 복원: VGGT, SLAM3R 등 학습 기반 모델을 사용하여 카메라 포즈와 밀도 깊이 (Dense Depth) 를 추정하고, 이를 점구름 (Point Cloud) 으로 융합합니다.
• 메트릭 정렬 (Metric Alignment):
  • 바닥 평면을 감지하여 Z 축을 '위 (Up)'로 정렬합니다.
  • 높이 사전 지식 (Height Prior) 을 사용하여 스케일 (Scale) 을 보정합니다.
  • 결과적으로 중력 방향에 정렬된 일관된 3D 좌표계를 확보합니다.

2.2 계층적 공간 메모리 구조 (Unified Hierarchical Spatial Memory)

구축된 메모리는 루트 노드를 가진 트리 구조 ($T$) 로 조직화되며, 4 가지 계층으로 구성됩니다:

1. Root: 장면 메타데이터 및 전역 좌표계.
2. Level 1 (Anchors - 구조적 앵커): 벽, 문, 창문과 같은 구조적 요소를 감지합니다. 이들은 3D 평면 또는 박스 파라미터로 표현되며, 객체 검색의 기준점 (Anchor) 역할을 합니다.
3. Level 2 (Objects - 객체): 3D 박스와 연결된 객체 인스턴스들입니다. 오픈 보카불러리 (Open-vocabulary) 검출기를 통해 2D 마스크를 추출하고 이를 3D 로 리프트 (Lift) 하여 앵커에 연결합니다.
4. Level 3 (Descriptions - 설명): 객체에 대한 텍스트 설명을 저장합니다.

2.3 이중 계층 설명 메커니즘 (Two-Layer Descriptions)

각 객체는 두 가지 계층의 텍스트 설명을 가집니다:

• Layer 1 (이미지 수준): 현재 프레임에서 관측된 구체적인 속성과 앵커에 대한 상대적 위치를 기록합니다. (가려짐이나 조명 변화에 민감할 수 있음)
• Layer 2 (장면 수준): 여러 뷰에서 일관되게 확인된 안정적인 속성과 관계를 요약합니다. 이는 장기적인 검색과 네비게이션 가이드의 기준이 됩니다.

2.4 메트릭 기반 관계 의미론 (Metric Grounding)

• 수직 관계: 정렬된 Z 축을 기준으로 '위/아래', '위치' 등을 명확히 정의합니다.
• 수평 관계: 앵커 (벽, 문) 를 기준으로 '왼쪽/오른쪽/앞/뒤' 관계를 기록하되, 뷰 포인트 변화에 따른 혼란을 방지하기 위해 앵커 기반의 로컬 힌트로 관리하고 필요시 통합합니다.

2.5 쿼리 및 검색 (Query and Retrieval)

• 자연어 처리: 사용자의 질문 (예: "빨간 머그잔은 어디 있니?") 을 파싱하여 메모리 트리에서 앵커와 객체를 탐색합니다.
• 저지연 검색: 3D 영역과 노드 유형별로 색인화하여, 거리, 방향, 가시성 등의 경량 기하학적 검사를 통해 빠르게 답변을 생성합니다.
• 오프라인 가이드: 미리 구축된 메모리를 기반으로 "입구로 직진, 문에서 좌회전"과 같은 단계별 네비게이션 가이드를 생성합니다.

---

3. 주요 기여 (Key Contributions)

1. RGB-only 통합 3D 메모리: 특수 센서 없이 일인칭 RGB 비디오만으로 기하학, 의미론, 언어를 통합한 쿼리 가능한 3D 메모리 구조를 제안했습니다.
2. 이중 계층 설명 메커니즘: 일반 속성과 맥락적 관계를 인코딩하는 두 층의 설명을 통해 구성적 추론 (Compositional Reasoning) 을 지원합니다.
3. 구조적 앵커 기반의 3D 기반 쿼리: 벽, 문 등의 구조적 앵커를 명시적인 메트릭 관계와 연결하여 정밀한 공간 추론을 가능하게 합니다.
4. 실용적인 저지연 아키텍처: 사전 구축된 메모리 위에 경량 색인을 적용하여 실시간 검색과 오프라인 가이드를 지원합니다.

---

4. 실험 결과 (Results)

논문은 공개된 Replica 장면과 실제 촬영된 2 개의 일인칭 실내 장면 (복잡도가 증가하는 순서: 거실, 실험실/창고) 에서 SpatialMem 을 평가했습니다.

• 배치 이해 (Layout Understanding):
  • 3 개 장면에서 벽, 문, 창문에 대한 상대적 위치 추론 정확도 (Accrel) 가 각각 약 0.84, 0.78, 0.74 로, Google Gemini 2.5 Flash 등 최강의 베이스라인 모델과 경쟁력 있는 성능을 보였습니다.
  • 장면이 복잡해지고 가려짐 (Occlusion) 이 증가해도 성능 저하가 제한적이었습니다.
• 오프라인 가이드 (Indoor Guidance):
  • 단계 완료율 (Step Completion): Scene 1 에서 0.89, Scene 2 에서 0.86, Scene 3 에서 0.83 을 기록하여, 복잡한 환경에서도 구조적 단서를 효과적으로 활용함을 입증했습니다.
  • 경로 효율성 (SPL): Gemini 보다 약간 높거나 유사한 효율성을 보였습니다.
• 객체 검색 (Object Retrieval):
  • 검색 성공률 (SR_obj) 은 Scene 1 에서 0.83, Scene 3 에서 0.72 로, 베이스라인 모델들을 능가하거나 견줄 만한 수준을 유지했습니다.
  • 계층적 정확도 (Acc_path) 역시 높게 유지되었습니다.
• Ablation Study:
  • 이중 계층 설명 제거 시: 모든 지표에서 일관된 성능 저하가 발생하여, 이 계층이 장기 메모리 조직화와 경로 기반 정렬에 필수적임을 확인했습니다.
  • 스케일 교란 (±10%): 경로 기반 지표에서 미미한 저하만 발생하여 메트릭 스케일 변화에 대한 강건성을 보였습니다.

---

5. 의의 및 결론 (Significance)

SpatialMem 은 특수 센서 없이도 일인칭 RGB 비디오만으로 정밀한 3D 공간 이해와 장기적 추론을 가능하게 하는 획기적인 접근법입니다.

• 실용성: 스마트폰이나 웨어러블 카메라와 같은 저비용 하드웨어에서도 배포 가능한 솔루션을 제시합니다.
• 해석 가능성: 블랙박스 방식이 아닌, 3D 앵커와 계층적 메모리 트리를 통해 추론 과정을 해석 가능하게 만듭니다.
• 확장성: 오픈 보카불러리 객체와 자연어 쿼리를 지원하여 다양한 실내 환경과 작업에 적용 가능합니다.

이 연구는 일상적인 실내 환경에서의 공간 기반 장기 시계열 비디오 이해를 위한 효율적이고 확장 가능한 메모리 인터페이스로서 중요한 이정표가 될 것으로 기대됩니다.