기술 요약: SERF – 장기적 관점의 모바일 조작을 위한 시공간 환경 및 로봇 특징 맵

1. 문제 정의

대규모 동적 환경에서의 장기적 관점의 모바일 조작(long-horizon mobile manipulation)은 로봇이 현재의 위치 추정, 환경의 변화, 그리고 작업 진행 상황이라는 세 가지 결합된 질문에 대해 지속적으로 추론할 것을 요구한다. 시각-언어-행동(VLA) 모델은 관측값을 행동으로 매핑하는 데 유망한 성능을 보여주었으나, 일반적으로 현재의 관측 창(observation window) 너머의 정보를 유지하기 위한 명시적인 메커니즘이 부족하다. 이러한 한계는 로봇이 세계와 상호작용함에 따라 진화하는 장기적 맥락에 의존하여 결정을 내려야 하는 모바일 조작에서 매우 치명적이다.

기존 방식은 다음과 같은 뚜렷한 한계를 가진 두 가지 범주로 나뉜다:

1. 구조화된 장면 표현(예: 3D scene graphs)을 사용하는 모듈형 시스템은 연속적인 시각-운동 제어(visuomotor control)에 필요한 조밀한 기하학적 정보나 로봇-환경 간의 상호작용 단서를 추상화하여 생략해 버리는 경우가 많다.
2. **정책 임베디드 메모리(예: 히스토리 토큰, 검색 버퍼)**는 공간적 접지(spatial grounding)를 암묵적으로 남겨두어, 정책이 관련성을 스스로 추론하게 만든다. 또한, 기존의 특징 맵 방식은 대개 정적인 환경만을 표현하며, 로봇이 객체와 상호작용함에 따라 업데이트되는 데 실패하고, 메모리 표현에서 로봇 본체 자체를 누락하는 경우가 많다.

저자들은 로봇과의 상호작용과 함께 진화하며 로봇과 환경 사이의 공간적 관계를 명시적으로 표현하는 지속 가능한 공간 접지형 메모리를 생성함으로써 이러한 격차를 해결하는 솔루션을 제안한다.

2. 방법론

핵심 기여는 SERF(Spatiotemporal Environment and Robot Feature) 맵으로, 이는 환경과 관절형 로봇 본체를 공유 잠재 공간 내의 뉴럴 포인트(neural points)로 표현하는 4D 특징 매핑 공식이다.

A. 시공간 특징 매핑 (문제 1)

맵 $m_\tau$는 3D 공간의 뉴럴 포인트를 사용하여 파라미터화된다. 각 포인트는 학습 가능한 잠재 특징 벡터와 인스턴스 레이블을 보유한다.

• 표현: 맵은 두 가지 포인트 집합으로 구성된다:
  • 환경 포인트 ($P^e_\tau$): DINOv3와 같은 시각 파운데이션 모델(VFM)을 사용하여 RGB-D 관측값으로부터 리프팅된 3D 포인트들이다. 이 포인트들은 복셀화(voxelized)되며 인스턴스 레이블이 할당된다.
  • 로봇 포인트 ($P^r_\tau$): 로봇의 기구학적 모델(예: URDF)에서 샘플링된 표면 포인트들이다. 이들의 위치는 로봇의 고유 수용 감각 상태에 기반한 순기구학(forward kinematics)을 통해 업데이트된다.
• 공유 잠재 공간: 두 포인트 집합 모두 공유 MLP 디코더에 의해 디코딩되어 VFM 임베딩을 재구성하도록 한다. 이는 로봇과 환경의 특징이 공통된 잠재 공간에 거주하도록 유도한다.
• 학습 목표: 시스템은 디코딩된 특징을 VFM 임베딩과 일치시키기 위한 재구성 손실(코사인 유사도)을 사용하여 오프라인으로 학습된다. 또한, 동일한 카테고리/부품 내의 특징을 정렬하고 서로 다른 카테고리/부품을 분리하기 위해 대조 손실($L_{inter}$ 및 $L_{intra}$)이 사용되어 의미론적 구조를 유도한다.
• 온라인 업데이트: 실행 중에는 잠재 특징과 디코더는 고정된다. 오직 포인트 좌표만이 업데이트된다:
  • 환경: 객체의 움직임은 연속적인 프레임 간의 3D 키포인트 대응 관계를 통해 추적되며, 연관된 뉴럴 포인트를 강체 이동시키기 위해 객체 수준의 SE(3) 변환을 추정한다.
  • 로봇: 포인트 위치는 현재 관절 상태로부터의 순기구학을 사용하여 업데이트된다.

B. 맵 조건부 VLA 정책 (문제 2)

저자들은 SERF 맵에 조건화된 행동 예측을 수행하는 정책 $\pi_\phi$를 설계하였다.

• 맵 토크나이저: 뉴럴 포인트의 일부를 필터링하여(로봇 본체 및 작업 관련 객체 유지) Point Transformer 백본을 사용하여 인코딩한다.
• 토큰 추출: 8개의 병렬 헤드가 여러 참조 프레임과 공간적 스케일에 걸쳐 맵 토큰을 추출한다:
  1. 로봇 베이스 토큰: 국부적 맥락을 위해 점진적으로 증가하는 반경(1m, 2m, 4m)을 갖는 3개의 토큰.
  2. 말단 장치(End-effector) 토큰: 파지(grasp) 추론을 위해 그리퍼 주변의 2개 토큰.
  3. 로봇 전용 토큰: 로봇의 구성을 요약한다.
  4. 환경 전용 토큰: 현재 환경 상태를 요약한다.
  5. 글로벌 토큰: 장면 수준의 추론을 위해 모든 포인트를 집계한다.
• 정책 아키텍처: 맵 토큰은 투영된 후 이미지 특징, 고유 수용 감속 토큰, 그리고 작업 임베딩과 결합된다. 이 결합된 입력은 행동 청크(action chunks)를 예측하기 위해 조건부 흐름 매칭(conditional flow matching)을 통해 학습된 VLA 모델($\pi_{0.5}$ 기반)에 입력된다. VLM 백본과 비전 인코더는 동결되며, 미세 조정을 위해 액션 전문가(action expert)와 맵 토크나이저에 LoRA 레이어가 삽입된다.

3. 주요 기여

1. SERF 맵: 로봇 본체와 진화하는 환경을 공유 잠재 공간에서 표현하며, 온라인으로 업데이트 가능한 지속적인 메모리를 가능하게 하는 시공간 특징 맵.
2. 맵 조건부 정책: 행동 예측을 위해 여러 참조 프레임(로봇 베이스, 말단 장치, 글로벌)으로부터 맵 토큰을 활용하여, 국부적 및 전역적 공간 맥락을 모두 제공하는 VLA 정책 설계.
3. 실증적 검증: SERF 정책이 장기적 관점의 모바일 조작 작업에서 이미지 전용(image-only) 베이스라인보다 우수한 성능을 보임을 입증하였으며, 특히 작업 진행도, 궤적 효율성, 장면 변화에 대한 강건성, 그리고 실패 복구 측면에서 개선을 보여줌.

4. 실험 결과

본 방법론은 가사 환경에서의 이완형 양손 모바일 조작(navigation 및 다중 객체 재배치 포함) 벤치마크인 BEHAVIOR-1K에서 평가되었다.

• 작업 진행도: 전체 SERF 정책은 평가된 세 가지 작업(장난감 수집, 신발 선반에 놓기, 선물 바구니 조립)에서 가장 높은 작업 진행도를 달성하였으며, 평균 진행도를 이미지 전용 베이스라인의 **44.0%**에서 **58.7%**로 향상시켰다.
• 궤적 효율성: SERF는 이미지 전용 정책이 객체가 시야에서 벗어날 때 자주 멈추는 것과 달리, 더 직접적인 궤적을 따르고 서브골(subgoal)에 더 빠르게 도달했다.
• 장면-구성 일반화: 이동된 목표물, 추가된 객체, 방문하지 않은 영역을 포함하는 OOD(분포 외) 테스트에서 SERF는 이미지 전용 베이스라인을 크게 앞질렀다. 예를 들어, 방문하지 않은 영역에서 작업 진행도는 **28.0%**에서 **51.0%**로 증가했다.
• 실패 복구: 운송 중 객체를 떨어뜨린 시나리오에서, SERF는 객체를 성공적으로 재위치시키고 다시 잡는 데 **95%**의 성공률을 보였으며(베이스라인 65%), 평균 복구 시간을 24.3초에서 20.5초로 단축했다.
• 어블레이션(Ablation): 연구를 통해 시간적 맵 업데이트(SERF vs. 정적 SBP)와 로봇 뉴럴 포인트의 포함(SERF vs. SERF-env)이 모두 성능에 긍정적으로 기여함을 확인했다.

5. 의의 및 주장

본 논문은 장기적 관점의 모바일 조작에는 현재의 VLA 모델이 결여하고 있는 일관된 시공간 추론이 필요하다고 주장한다. 로봇과 환경의 공유 잠재 표현을 도입함으로써, SERF는 두 가지 형태의 추론을 가능하게 한다:

1. 외적(Allocentric) 추론: 객체와 목표의 위치를 전역적으로 추적하기 위한 지속적인 공간 메모리 유지.
2. 내적(Egocentric) 추론: 거리, 방향, 도달 가능성에 기반한 결정을 지원하기 위해 로봇 본체를 명시적으로 임베딩.

저자들은 SERF가 뉴럴 정책을 위한 구조화된 맥락을 제공하여, 이미지 전용 접근 방식보다 실패에서 더 잘 회복하고 새로운 장면 구성에 더 효과적으로 일반화할 수 있게 한다고 명시한다.

6. 한계점

저자들은 몇 가지 한계를 인정한다:

• 시뮬레이션 의존성: 현재 구현은 시뮬레이터의 특권 레이블(privileged instance labels)과 실행 전 학습된 사전 맵에 의존한다. 실제 환경 배포를 위해서는 피드포워드 인코더와 세그멘테이션 파운데이션 모델(예: SAM 2)이 필요하다.
• 강체 운동 가정: 맵 업데이트는 객체 수준의 강체 운동(SE(3))을 가정하므로, 관절형 또는 변형 가능한 객체를 처리하는 능력에는 제한이 있다.
• 토큰화: 현재 맵 토크나이저는 작업 조건부의 의미론적 분리 대신 수동으로 지정된 공간적 부분 집합을 사용한다.
• 실제 환경 검증: 실험은 현재 시뮬레이션에 국한되어 있으며, 실제 환경으로의 전이(transfer) 가능성은 아직 평가되어야 한다.