RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics

이 논문은 비전 - 언어 모델 기반 로봇 계획이 장기 작업 수행 시 공간 - 시간적 추론과 인과적 기억 부재로 인한 실패를 겪는 문제를 해결하기 위해, 추가 학습 없이 3D 기하학적 속성을 시각 증거에 결합하는 '공간 - 시간 융합 토큰'과 행동 유발 상태 전이를 기록하는 '인과적 공간 - 시간 그래프'를 도입한 RoboStream 프레임워크를 제안하고, 이를 통해 장기 작업 및 실제 환경에서의 성능을 획기적으로 개선했음을 보여줍니다.

핵심

🤖 왜 이 기술이 필요한가요? (기존 로봇의 문제점)

지금까지의 로봇 비서 (VLM 기반 계획기) 들은 매번 눈을 감았다가 다시 뜨는 사람과 비슷했습니다.

• 현재 상황: 로봇이 "상자를 옮긴 뒤, 그 위에 컵을 올려라"라고 명령을 받으면, 첫 번째 행동 (상자 옮기기) 을 하고 나면 이전 상황을 완전히 잊어버립니다.
• 문제점: 로봇은 다시 카메라를 보고 "어? 저게 뭐지? 아까 그 상자가 어디 있었지?"라고 매번 처음부터 다시 계산합니다.
• 결과: 작은 실수가 쌓여서, 상자를 옮긴 자리에 컵을 놓으려다 실수하거나, 가려진 물체를 아예 잊어버려서 작업을 실패합니다. 마치 연속된 퍼즐을 풀다가, 한 조각을 놓으면 그 다음 조각이 어디로 갔는지 잊어버리는 것과 같습니다.

✨ RoboStream 의 해결책: 두 가지 핵심 능력

RoboStream 은 로봇에게 두 가지 특별한 능력을 선물합니다.

1. "불변의 3D 명찰" (STF-Tokens)

• 비유: 로봇이 보는 모든 물건에 **3D 공간에 고정된 '디지털 명찰'**을 붙여주는 것입니다.
• 설명: 기존 로봇은 카메라 화면 (픽셀) 만 보고 물체의 위치를 추측합니다. 하지만 RoboStream 은 물체의 **정확한 3D 모양과 위치 **(중심점, 크기 등)를 '명찰'처럼 만들어 로봇의 기억에 저장합니다.
• 효과: 카메라가 흔들리거나 물체가 가려져도, 로봇은 이 '명찰'을 통해 "아, 저 파란 상자는 여전히 저기 있고, 모양은 그대로야"라고 확신할 수 있습니다.

2. "사건의 연속된 기록장" (Causal Spatio-Temporal Graph)

• 비유: 로봇이 **자신의 행동과 그 결과를 기록하는 '일기장'**을 가지고 있는 것입니다.
• 설명: 로봇이 "상자를 옮겼다"는 행동을 하면, 단순히 "상자 이동"이라고만 적는 게 아니라, **"상자를 옮겼더니 그 뒤에 있던 빨간 공이 가려졌다", "상자가 놓인 자리가 비었다"는 인과관계 **(원인과 결과)를 기록합니다.
• 효과: 만약 상자가 빨간 공을 가려서 카메라에 안 보인다면? 로봇은 일기장을 뒤져서 "아, 내가 방금 상자를 옮겼으니 그 뒤에 빨간 공이 있을 거야"라고 추론할 수 있습니다. 눈에 보이지 않아도 존재를 기억하는 능력입니다.

---

🎬 실제 상황 예시: "블록 숨기기 및 복원하기"

논문에서 소개된 가장 어려운 테스트 중 하나인 "블록 숨기기" 상황을 상상해 보세요.

1. 명령: "파란색 큐브를 컵으로 가리고, 다른 일을 한 뒤, 다시 원래대로 돌려놔."
2. 기존 로봇의 실패:
   • 컵으로 파란색 큐브를 가립니다.
   • 다른 일을 하다가 돌아옵니다.
   • 실수: "어? 파란색 큐브가 어디 있지? 카메라에 안 보이네? 아, 없어진 건가?"라고 생각하며 큐브가 사라졌다고 착각합니다. 결국 원래대로 돌려놓는 데 실패합니다.
3. RoboStream 의 성공:
   • 컵으로 가릴 때, 로봇의 **'일기장 **(기억)에 "파란색 큐브를 컵 아래로 옮겼다"고 기록합니다.
   • 다른 일을 하는 동안에도, 로봇은 **"아, 파란색 큐브는 컵 아래에 숨어있어"**라고 기억하고 있습니다.
   • 돌아와서 컵을 들면, **"맞아, 내가 가렸던 파란색 큐브가 여기 있었지!"**라고 정확히 찾아내어 원래 위치로 돌려놓습니다.

---

🏆 결과는 어떨까요?

이 기술은 로봇이 오랜 시간 동안 복잡한 작업을 할 때 (예: 블록 쌓기, 분해하기, 숨기기) 기존 기술보다 압도적으로 잘 작동합니다.

• **RLBench **(시뮬레이션) 기존 기술이 11% 정도만 성공했다면, RoboStream 은 90% 이상 성공했습니다.
• 실제 로봇 실험: 실제 로봇 팔을 이용해 블록을 쌓고 숨기는 작업에서도 기존 기술이 거의 실패한 반면, RoboStream 은 88% 이상의 성공률을 보였습니다.

💡 결론

RoboStream 은 로봇에게 "눈에 보이는 것만 믿는 것"에서 "이전 경험과 인과관계를 기억하는 것"으로 사고방식을 바꾼 기술입니다.

마치 사람이 복잡한 레고 조립을 할 때, 한 번 쌓은 부분을 잊지 않고 다음 단계에 연결하는 것처럼, 로봇도 이제 과거의 행동을 기억하고 공간의 변화를 추적할 수 있게 되었습니다. 이는 로봇이 우리 집이나 공장에서 더 길고 복잡한 일을 스스로 해낼 수 있는 중요한 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비전 - 언어 모델 (VLM) 기반 로봇 계획 시스템은 단기적 (short-horizon) 작업에서는 우수한 성능을 보이지만, 장기적 (long-horizon) 조작 작업에서는 다음과 같은 근본적인 한계를 겪습니다.

• 기하학적 앵커링 부재 (Ungrounded Spatial Perception): VLM 기반 계획자는 각 단계를 독립적인 '관측 - 행동' 매핑으로 처리합니다. 이로 인해 매 단계마다 원시 픽셀 (raw pixels) 에서 장면 기하학을 다시 추론해야 하며, 이전 행동이 환경을 어떻게 변화시켰는지에 대한 인식이 부족합니다. 작은 공간적 오차가 누적되어 '공간 환각 (spatial hallucination)'과 전제 조건 위반을 초래합니다.
• 인과적 역사 추적 부재 (Untracked Causal History): 행동은 환경을 영구적으로 변화시키지만, 기존 방법들은 행동과 유발된 상태 변화 (state transitions) 를 연결하는 기록을 유지하지 않습니다. 이로 인해 가려진 (occluded) 물체를 잊어버리거나, 이전 행동으로 인해 이동된 물체의 위치를 파악하지 못해 후속 작업이 실패합니다.
• 누적 실패: 이러한 결함은 단계가 길어질수록 지수적으로 실패 확률을 높여, 복잡한 장기 작업의 성공을 방해합니다.

2. 방법론 (Methodology)

저자들은 RoboStream을 제안합니다. 이는 추가적인 학습 (training-free) 없이 VLM 계획 루프에 공간 - 시간적 추론과 지속적인 기억을 통합하는 프레임워크입니다. 핵심 구성 요소는 다음과 같습니다.

A. 시공간 융합 토큰 (Spatio-Temporal Fusion Tokens, STF-Tokens)

• 목적: 시각적 증거를 3D 기하학적 속성에 바인딩하여 '지속적인 객체 그라운딩 (persistent object grounding)'을 달성합니다.
• 구현: 각 객체의 시각적 외관과 3D 기하학 (중심점, 가우시안 분포 기반의 형태 벡터) 을 통합하여 식별자 일관성 (identity-persistent) 을 가진 원시 토큰으로 변환합니다.
• 효과: VLM 이 원시 픽셀을 재구성하는 대신, 구조화된 객체 인스턴스 참조를 기반으로 추론하게 하여 공간적 오차의 누적을 억제합니다.

B. 인과적 시공간 그래프 (Causal Spatio-Temporal Graph, CSTG)

• 목적: 행동에 의해 유발된 상태 전이를 기록하여 인과적 연속성을 유지합니다.
• 구현:
  • 공간 장면 그래프: 객체 간의 공간 관계 (거리, 방향) 를 유지하는 슬라이딩 윈도우 메모리를 사용합니다.
  • 인과적 메모리 로그: 객체의 식별자, 행동 트리거 상태 전이 (이동, 가려짐, 충돌 등), 그리고 외부 간섭을 시간 순서대로 기록합니다.
• 효과: 객체가 시각적으로 가려져도 (occlusion) 마지막 알려진 위치와 상태 변화를 기반으로 객체의 영속성 (object permanence) 을 유지하고, 가려진 상태에 대한 인과적 추론이 가능해집니다.

C. 계획 및 실행 파이프라인

1. 지각: RGB-D 입력을 기반으로 객체 분할 및 3D 점군 추출.
2. 토큰화: 추출된 정보를 STF-Tokens 으로 변환.
3. 그래프 업데이트: 새로운 토큰을 기존 CSTG 와 통합하여 세계 상태 업데이트.
4. 추론: VLM 이 CSTG 와 현재 관측치를 결합하여 체인 - 오브 - 싱 (Chain-of-Thought) 검증을 수행하고, 6-DoF 행동 지시를 생성합니다.
5. 구현: 생성된 의미론적 지시를 CSTG 에 저장된 기하학적 정보를 통해 결정론적인 6-DoF 좌표로 변환하여 로봇 제어.

3. 주요 기여 (Key Contributions)

1. RoboStream 프레임워크: 학습이나 미세 조정 없이 VLM 기반 계획자의 공간 환각과 인과적 맹점을 해결하는 새로운 아키텍처를 제시했습니다.
2. 시너지 메커니즘 설계:
   • STF-Tokens: 픽셀 수준 추론을 결정론적인 공간 참조로 전환하여 기하학적 앵커링을 제공합니다.
   • CSTG: 가려진 상태에 대한 인과적 추론을 가능하게 하고 장기 작업에서의 오차 누적을 방지합니다.
3. 범용성 입증: 시뮬레이션 (RLBench, SIMPLER, SpatialBench) 과 실제 로봇 (Franka arm) 환경 모두에서 기존 최첨단 모델들을 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

RoboStream 은 5 가지 벤치마크 (RLBench, SIMPLER, 6-DoF SpatialBench, Open6DOR V2, 실제 Franka 로봇 실험) 에서 평가되었습니다.

• 장기적 조작 (RLBench):
  • RoboStream-235B 는 **90.5%**의 평균 성공률을 기록했습니다.
  • 비교 대상인 SoFar 와 VoxPoser 는 각각 **11.1%**와 **26.5%**로 크게 뒤처졌습니다.
• 실제 로봇 작업 (Franka Real-world):
  • 블록 쌓기, 분해, 가리기 및 복원 (Hide and Restore) 작업에서 RoboStream-235B 는 **44.4%**의 성공률을 보였습니다 (SoFar 와 VoxPoser 는 11.1%).
  • 특히 완전 가려짐 (Full Occlusion) 상황에서 물체를 기억하고 복원하는 작업 (Task C) 에서 RoboStream-235B 는 **88.9%**의 성공률을 기록한 반면, 기존 모델들은 **0%**로 완전히 실패했습니다.
• 공간 추론 (6-DoF Benchmarks):
  • Open6DOR V2 및 6-DoF SpatialBench 에서 위치 및 회전 정확도 모두에서 SoFar 를 능가했습니다.
• Ablation Study:
  • CSTG 를 제거하면 성공률이 90.5% 에서 **14.5%**로 급락하여, 장기 작업에서 상태 추적의 중요성을 입증했습니다.
  • STF-Tokens 을 제거하면 79.5% 로 감소하여, 기하학적 앵커링이 물리적 정밀도에 필수적임을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇의 장기적 조작 성공을 위해서는 단순한 모델 규모 확장 (Scaling) 이 아니라, '공간 - 시간적 추론'과 '지속적인 기억'의 통합이 필수적임을 증명했습니다.

• 인간과 유사한 인지 능력 모방: 인간이 환경 변화에 대한 정신적 모델 (mental model) 을 지속적으로 업데이트하며 행동하는 것처럼, RoboStream 은 CSTG 를 통해 과거 행동의 결과를 기억하고 미래 행동을 계획합니다.
• 학습 없는 (Training-free) 접근: 대규모 3D 데이터셋으로 모델을 재학습시키지 않고도, 기존 VLM 에 구조화된 기억 메커니즘을 추가함으로써 성능을 획기적으로 개선할 수 있음을 보여주었습니다.
• 실용적 가치: 가려진 물체 처리, 복잡한 조립/분해, 그리고 동적 환경에서의 안정적인 조작 등 실제 로봇 응용 분야에서 신뢰성을 크게 향상시킬 수 있는 기반을 마련했습니다.

결론적으로 RoboStream 은 VLM 기반 로봇이 단순한 반응형 (reactive) 에이전트를 넘어, 인과적 사고와 장기 기억을 가진 자율적 에이전트로 발전할 수 있는 중요한 방향성을 제시합니다.