기술 요약: SOMA – 비전 - 언어 - 행동 (Vision-Language-Action) 을 위한 시야 외 조작을 위한 공간 기억

1. 문제 제기

현재의 비전 - 언어 - 행동 (VLA) 모델들은 일반적으로 "시야 내 (view-bound)" 가정을 기반으로 작동합니다. 즉, 작업과 관련된 객체들은 의사결정 시점에 로봇의 현재 카메라 시야 내에 가시적일 것이라고 전제합니다. 대부분의 기존 VLA 모델들은 정적 카메라 설정이나 단일 시점에 의존하여, 목표물이 가려지거나 카메라의 시야각 (frustum) 밖으로 이동할 경우 취약하고 반응적인 행동을 보입니다. 최근 일부 접근법들은 내부 공간 추론이나 학습된 사전 지식을 활용하여 시야 외 인식을 보완하려 시도하지만, 이러한 방법들은 본질적으로 취약합니다. 지속적인 지각적 근거 (perceptual grounding) 가 부족하여 목표물이 완전히 관측 가능한 시야 밖으로 사라지면 빠르게 실패합니다. 이러한 한계는 다단계 계획, 양팔 협조, 또는 일시적으로 보이지 않는 객체와의 상호작용이 필요한 시나리오에서 견고한 조작을 방해합니다.

2. 방법론: SOMA 프레임워크

저자들은 현재 시각적 시야각을 넘어선 추론과 행동을 가능하게 하는 VLA 프레임워크인 SOMA(시야 외 조작을 위한 공간 기억 프레임워크) 를 제안합니다. SOMA 는 이동 가능한 헤드 장착 카메라와 글로벌하고 지속적인 공간 기억을 통합합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통해 작동합니다:

A. 공간 기억 구축

조작이 시작되기 전에, 목표 객체가 현재 시야에 국소화되지 않은 경우 로봇은 이동 가능한 헤드 카메라를 사용하여 능동적 스캔 단계를 시작합니다.

• 프로세스: 시스템은 스캔 비디오 시퀀스로부터 각도별 관측치를 통합하여 통일된 공간 - 의미적 표현으로 집계합니다.
• 파이프라인: 다음과 같은 다단계 시각적 추상화 파이프라인을 사용합니다:
  1. 기하학적 사전 지식 (Geometry Priors): VGGT 를 사용하여 카메라 포즈와 대략적인 3D 장면 기하학을 추정합니다.
  2. 의미적 지각 (Semantic Perception): YOLO 를 사용하여 객체 국소화 및 분류를 수행합니다.
  3. 시각적 특징 (Visual Features): DINOv3 를 사용하여 고차원 외관 임베딩을 생성합니다.
• 융합: 감지된 2D 바운딩 박스는 글로벌 3D 좌표계로 들어 올려집니다. 인스턴스들은 외관 - 기하학적 유사성을 사용하여 뷰 간에 연관되고 융합되어 중복과 모호성을 해결하며, 통합된 삼중항 (외관, 3D 공간 인코딩, 카테고리) 으로 구성된 개요 장면 기억 ($M_0$) 을 형성합니다.

B. 동적 기억 정제

조작 중에는 객체가 이동하거나 가려짐에 따라 장면이 변화합니다.

• 메커니즘: 헤드 카메라로부터의 새로운 관측치는 처리되어 기존 기억 ($M_0$) 에 융합되어 정제된 현재 기억 ($\hat{M}_t$) 을 생성합니다.
• 적응형 융합: 시스템은 새로운 관측치와 기존 기억 항목 간에 인스턴스 수준의 연관을 수행합니다. 이는 의미적 유사성 점수와 동적 융합 점수를 계산하는 유사성 인식 융합 메커니즘을 사용합니다. 이러한 점수들은 적응형 업데이트 계수를 결정하여, 시간적 지수 이동 평균 (EMA) 을 통해 새로운 시각적 증거와 역사적 데이터 간의 균형을 맞출 수 있게 합니다. 이는 장면 변화를 수용하면서도 글로벌 일관성을 보장합니다.

C. 문맥적 기억 검색

행동 선택을 안내하기 위해, 프레임워크는 사용자 지시문에 기반하여 관련 공간 단서를 검색합니다.

• 정렬: VLM(비전 - 언어 모델) 에서의 지시문 기반 비전 - 언어 임베딩이 쿼리로 사용되고, 정제된 공간 기억이 키 - 값 뱅크로 작용합니다.
• 통합: 크로스 어텐션 모듈은 기억 내에서 지시문과 관련된 영역을 선택적으로 활성화합니다. 이렇게 검색되어 기억이 강화된 특징들은 DiT(Diffusion Transformer) 블록에 공간 - 의미적 사전 지식으로 주입되어, 목표물이 일시적으로 시야 밖일지라도 정확하고 근거 있는 조작 행동을 생성하기 위해 토큰 상호작용을 조절합니다.

3. 주요 기여

1. SOMA 프레임워크: 반응적이고 시야에 제한된 탐색에서 기억에 기반한 조작으로 패러다임을 전환하는 VLA 모델을 위한 공간 기억 프레임워크를 도입하여, 현재 카메라 시야를 넘어선 작동을 가능하게 합니다.
2. 기억 중심 아키텍처: 공간 기억 구축, 동적 기억 정제, 문맥적 기억 검색으로 구성된 새로운 아키텍처입니다. 이 설계는 제한된 시야 커버리지 하에서도 교차 뷰 일관성과 지시문 인식 행동 선택을 지원하는 지속적이고 객체 중심의 공간 표현을 유지합니다.
3. 실증적 검증: SOMA 가 작업 성공률을 향상시킬 뿐만 아니라, 부분 관측 하에서 더 빠른 목표 국소화, 감소된 헤드 탐색, 그리고 근사적 원샷 그리핑과 같이 질적으로 다른 조작 행동을 유도한다는 것을 보여주는 실제 세계 실험 결과입니다.

4. 실험 결과

실제 세계 시야 외 (OOV) 작업

저자들은 단일 객체 조작부터 초기에 보이지 않는 목표물이 포함된 순차적 이중 객체 및 양팔 협조 시나리오에 이르기까지, 자체 설계한 5 가지 실제 세계 OOV 픽 - 앤 - 플레이스 작업에서 SOMA 를 평가했습니다.

• 성능: SOMA 는 GR00T-N1.5, StarVLA, SpatialVLA 를 포함한 베이스라인 대비 모든 5 가지 작업에서 가장 높은 성공률을 달성했습니다.
• 행동 지표: GR00T-N1.5 와 비교하여 SOMA 는 다음과 같은 유의미한 개선을 보였습니다:
  • 초기 고정 시간 (First-Fixation Time): 40–59% 감소.
  • 헤드 검색 경로 길이: 40–57% 감소.
  • 시점 수정 횟수: 42–57% 감소.
  • 그립 시도 횟수: 40–57% 감소 (근사적 원샷 그리핑 행동을 나타냄).
  • 그립까지의 시간: 41–60% 감소.
• 어블레이션 (Ablation): 실험은 지속적인 공간 기억이 성능 향상의 주된 요인임을 확인시켰으며, 기억 없이 스캔에만 의존하거나 정제 없이 기억에만 의존하는 전략들을 능가했습니다.

시뮬레이션 벤치마크

• RoboCasa Tabletop GR1: SOMA 는 300 개의 데모에서 52.0%, 전체 데이터에서 49.3% 의 최첨단 평균 성공률을 달성하여 Diffusion Policy, GR00T-N1.5, StarVLA 를 능가했습니다. 특히 SOMA 는 작업당 30 개의 데모만으로 높은 성공률을 달성하여 강력한 샘플 효율성을 보여주었습니다.
• SimplerEnv: Fractal 스위트에서 SOMA 는 Visual Matching 에서 63.2%, Variant Aggregation 에서 52.5% 의 최고의 성공률을 달성하여 RoboVLM 및 OpenVLA 와 같은 다른 최첨단 모델을 능가했습니다.

5. 중요성과 주장

이 논문은 SOMA 가 현재 VLA 패러다임의 시야 내 인식 한계를 근본적으로 해결한다고 주장합니다. 다중 뷰 장면 탐색과 지속적이고 쿼리 가능한 공간 - 의미적 기억을 통합함으로써, SOMA 는 로봇이 순간적인 시각적 입력을 넘어 공간적 증거를 유지하고 재사용할 수 있게 합니다.

저자들은 이 기억 중심 설계가 작업과 관련된 객체가 일시적으로 시야 밖으로 사라졌을 때, 취약하고 시점에 의존하는 행동에 의존하지 않고도 견고한 추론과 조작을 가능하게 한다고 강조합니다. furthermore, 이 프레임워크의 효과는 RoboCasa 와 SimplerEnv 에서 보여진 바와 같이 기존의 완전 관측 가능한 설정으로도 확장되며, 이는 구조화된 공간 기억이 일반적인 조작 작업에 유익한 귀납적 편향을 제공하여 객체가 가시적일지라도 샘플 효율성과 안정성을 향상시킨다는 것을 시사합니다. 이 연구는 기억에 유지된 근거 있는 지각적 증거 없이 공간 추론만으로는 동적이거나 부분적으로 관측 가능한 환경에서 견고한 조작이 불충분함을 강조합니다.