기술 요약: 로봇 정책 학습을 위한 기하학적 행동 모델 (Geometric Action Model)

문제 정의

일반적인 로봇 조작 정책의 개발에는 자연어 지시를 따르면서 동시에 3D 물리 공간 내 객체, 카메라, 로봇 동작 간의 복잡한 상호작용을 추론할 수 있는 모델이 필요합니다. 최근의 시각-언어-행동(VLA) 모델 및 비디오 월드-행동(WAM) 모델들은 의미론적 또는 시간적 사전 지식을 활용하기 위해 대규모 파운데이션 모델을 활용하고 있으나, 이들은 주로 2D 이미지 프레임이나 2D에서 유도된 잠재 공간(latent space)에서 작동합니다. 결과적으로 깊이(depth), 스케일(scale), 폐쇄(occlusion)와 같은 핵심적인 3D 단서들은 암묵적인 상태로 남게 됩니다. 이러한 한계는 환경 변화, 특히 로봇의 초기 상태 및 카메라 시점 변화에 대한 일반화 능력을 저해합니다. 기존의 연구들은 기하학적 파운데이션 모델(GFM)을 단순히 정적인 특징 추출기로 사용하거나 그 특징을 VLA 백본으로 증류(distill)하는 데 그쳤으며, GFM의 다층 기하학적 구조를 정책 자체의 시간적 및 행동 생성 기질(substrate)로 재목적화하는 데는 실패했습니다.

방법론: 기하학적 행동 모델 (GAM)

저자들은 사전 학습된 기하학적 파운데이션 모델(GFM, 예: DA3)을 인지, 시간적 예측, 행동 디코딩을 위한 공유 기질로 직접 재목적화하는 언어 조건부 조작 정책인 GAM을 제안합니다.

핵심 아키텍처

GAM은 사전 학습된 GFM을 중간 레이어 $L_s$에서 분할하고, 얕은 층(shallow layer)과 깊은 층(deep layer) 사이에 **인과적 미래 예측기(Causal Future Predictor)**를 삽입하여 작동합니다. 이 프레임워크는 세 가지 순차적 단계로 기능합니다:

1. 관측 인코딩 (Observation Encoding): GFM의 얕은 층($E_{\le L_s}$)은 관측 인코더 역할을 합니다. 이 층은 다중 뷰 RGB 관측치를 처리하여 잠재 기하학적 특징을 추출하고, 타임스텝별 기하학적 잠재 상태(geometric latent states) 시퀀스를 생성합니다.
2. 인과적 미래 예측 (Causal Future Prediction): 분할된 레이어에서 인과적 트랜스포머 예측기($g_\phi$)가 삽ền됩니다. 이 예측기는 현재의 기하학적 잠재 토큰을 (고정된 텍스트 인코더를 통한) 작업 지시 토큰, 고유 수용 감각(proprioceptive) 상태, 그리고 행동 이력과 결합하여 입력으로 받습니다. 블록-인과적 셀프 어텐션(block-causal self-attention)을 사용하여, 이 예측기는 다음 두 가지 출력을 동시에 예측합니다:
   • 미래의 잠재 기하학적 토큰 ($\tilde{Z}^{(L_s)}_{t+1}$).
   • 예측된 다음 행동 토큰 ($\tilde{a}_t$).
     이 설계는 모델이 언어, 고유 수용 감각, 행동 이력을 GFM 특징과 융합하는 법을 학습할 때 최소한의 아키텍처 수정만으로 언어 조건부 시간적 월드 모델링을 학습할 수 있게 합니다.
3. 특징 전파 및 디코딩 (Feature Propagation and Decoding): 예측된 미래 토큰과 행동 토큰은 나머지 깊은 GFM 블록($D_{>L_s}$)을 통해 전달됩니다. 원래 얕은 특징을 3D 기하학으로 디코딩하도록 사전 학습된 이 깊은 블록들은 예측된 미래 토큰을 디코딩하도록 재목적화됩니다. 이 단계는 다음을 생성합니다:
   • 미래 기하학 (Future Geometry): GFM의 깊이 헤드(depth head)를 통해 행동에 정렬된 미래 깊이 맵으로 디코딩됩니다.
   • 행동 청크 (Action Chunk): 경량 행동 헤드를 통해 실행 가능한 델타 포즈(delta-pose) 또는 관절 명령으로 디코딩됩니다.

학습 목적 함수

정책은 다음과 같은 다중 작업 손실 함수를 사용하여 엔드 투 엔드로 학습됩니다:
$$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$$

• 행동 손실 ($\mathcal{L}_{act}$): 디코딩된 행동 청크와 전문가 행동 사이의 $\ell_1$ 회귀입니다.
• 특징 손실 ($\mathcal{L}_{feat}$): 예측된 미래 잠재 토큰을 (고정된 GFM에서 추출된) 실제 다음 프레임의 잠재 토큰과 정렬시켜, 예측기가 시간적 기하학적 전이를 학습하도록 고정합니다.
• 깊이 손실 ($\mathcal{L}_{depth}$): 디코딩된 미래 깊이 맵을 실제 미래 깊이(또는 실세계 설정에서의 의사 라벨)에 대해 스케일 불변(scale-invariant) 및 그래디언트 매칭 페널티를 사용하여 감독합니다.

주요 기여

1. 통합된 아키텍처: GAM은 시간적 월드 모델링, 잠재 특징 공간 예측, 그리고 기하학적 파운데이션 모델 기질을 결합한 단일 공유 백본 아키텍처를 도입합니다.
2. 공유 토큰 공간 예측: 저자들은 행동과 기하학이 공유된 자기회귀적(autoregressive) 토큰 시퀀스 내에서 예측될 수 있음을 입증했습니다. 단일 순방향 패스(forward pass)를 통해 별도의 헤드나 확산(diffusion) 프로세스에 의존하지 않고, 행동 토큰과 미래 장면 토큰을 모두 생성하며 이를 경량 헤드가 디코딩합니다.
3. GFM의 재목적화: GFM을 정적인 추출기로 사용하는 기존 연구와 달리, GAM은 예측된 미래 토큰을 디코딩하기 위해 GFM의 깊은 블록을 명시적으로 재목적화함으로써 동적인 월드 모델링을 위한 모델의 기하학적 사전 지식을 완전히 활용합니다.

실험 결과

저자들은 다양한 시뮬레이션(LIBERO, LIBERO-Plus) 및 실제 로봇 조작 벤치마크에서 GAM을 평가했습니다.

• 베이스라인 대비 성능: GAM은 훨씬 적은 파라미터(1.4B vs 7B+)를 사용하면서도 현재의 파운데이션 모델 규모 베이스라인(VLA 및 WAM)과 대등하거나 이를 상회하는 성공률을 달자합니다.
• 강건성 (Robustness): GAM은 분포 외(out-of-distribution) 섭동에 대해 우수한 강건성을 보여줍니다. 특히 LIBERO-Plus의 카메라 섭동 설정에서, GAM은 최상의 베이스라인보다 9.7 퍼센트 포인트 높은 성능을 기록했습니다.
• 효율성: GAM은 6.9ms(약 145Hz)의 단일 피드포워드 추론 지연 시간을 달성하였으며, 이는 Cosmos-Policy와 같은 확산 기반 정책보다 약 55배 빠릅니다.
• 실제 세계 전이: 네 가지 조작 작업이 포함된 실제 로봇 실험에서, GAM은 $\pi0.5$ 및 Spatial Forcing을 포함한 베이스라인들을 실질적으로 압도하였으며, 다른 모델들이 어려움을 겪는 카메라 섭동 상황에서도 강건함을 유지했습니다.

의의 및 주장

본 논문은 GAM이 2D 중심의 파운데이션 모델이 가진 공간적 모호성을 해결함으로써 일반적인 로봇 정책을 향한 중요한 진전임을 주장합니다. 기하학적 월드 역학을 예측 경로에 직접 통합함으로써, GAM은 높은 정확도, 환경 변화에 대한 강건성, 그리고 계산 효율성의 균형을 달 achieves 합니다. 저자들은 이 접근 방식이 행동과 기하학이 공유된 잠재 공간 내에서 효과적으로 모델링될 수 있음을 입증하며, 이를 통해 단일 백본이 인지, 미래 상태 예측, 제어를 모두 처리할 수 있음을 보여준다고 상정합니다.

저자들은 모델의 언어 추론 및 상식 능력이 사용된 고정된 텍스트 인코더에 의해 제한된다는 점을 인정하며, 대규모 언어 모델(LLM)이나 외부 추론 모듈을 통합하는 것이 향-후 연구의 자연스러운 방향임을 언급했습니다.