GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models

기술 요약: GeoAlign

문제 정의
현재의 시각-언어-행동(VLA) 모델은 주로 의미론적 접지(semantic grounding), 즉 관측값과 지침을 행동으로 매핑하는 데 최적화되어 있습니다. 그러나 미세한 로봇 조작(fine-grained robotic manipulation)의 실패는 의미론적 이해의 부족 때문이 아니라, 기하학적으로 인지된 공간 정렬(geometry-aware spatial alignment)의 부재로 인해 발생하는 경우가 많습니다. 실행 가능한 조작에는 좁은 간격 처리, 접촉에 민감한 움직임, 투명하거나 고리 형태(annular)인 물체와의 상호작용 등 정밀한 제어가 필요하며, 이러한 시나리오에서는 고수준의 의미론적 표현만으로는 불충로합니다. 일부 접근 방식은 깊이(depth)나 3D 컨텍스트를 통해 시각적 표현을 풍부하게 하려 시도하지만, 측정된 깊이 입력에 의존하는 방식은 센서의 한계로 인해 투명한 물체나 얇은 구조물 주변에서 실패할 수 있습니다. 반대로, 행동 생성 과정에 공간 구조를 직접 포함하는 방법들은 연속적인 행동 디코더를 위한 압축된 컨디셔닝 인터페이스를 유지하면서, 실행에 유효한 국소 기하 구조를 동적으로 선택하는 데 어려움을 겪기도 합니다.

방법론
GeoAlign은 정책 실행(policy rollout) 중 가공되지 않은 깊이 입력에 의존하지 않고, 의미론적 접지와 실행 가능한 조작 사이의 간극을 메우기 위해 설계된 상태 유도 공간 정렬(State-Guided Spatial Alignment) 아키텍처를 도입합니다. 이 프레임워크는 두 가지 별도의 단계로 작동합니다:

1. 기하학 강화 사후 학습 (Geometry-Enhanced Post-Training, GEP):

   • Depth Anything V2-Small 모델을 초기화하고, 로봇 도메인의 RGB-D 데이터셋을 사용하여 미터법 깊이 감독(Scale-Invariant Logarithmic loss를 통해 최적화됨)을 통해 사후 학습을 진행합니다.
   • 결정적으로, 이 단계 이후에는 깊이 예측 헤드(depth prediction head)를 폐기합니다. 유지된 인코더 측 특징(encoder-side features)은 이제 GEP 특징이라 명명되며, 이는 RGB로부터 유도된 기하학적 표현 역할을 합니다. 이를 통해 모델은 깊이 맵에서 흔히 발생하는 센서 오류(예: 투명도 문제)에 강건한 RGB 기반의 기하학적 단서를 학습할 수 있습니다.

2. 상태 유도 공간 정렬 (State-Guided Spatial Alignment):

   • 정책 학습 및 실행 과정에서 시스템은 다중 뷰 RGB 이미지와 언어 지침을 처리하여 의미론적 토큰을 생성합니다.
   • 동시에, 동결된(frozen) GEP 브랜치는 RGB 이미지를 이미지 공간의 기하학적 특징 그리드(geometry feature grid)로 매핑합니다.
   • 고정된 학습된 쿼리나 전역 풀링(global pooling)을 사용하는 대신, GeoAlign은 **고유 수용 감각 상태 쿼리(proprioceptive-state queries)**를 생성합니다. 로봇의 현재 상태($s_t$)가 인코딩되어 $K=8$개의 쿼리 슬롯으로 투영됩니다.
   • 이 상태 유도 쿼리는 GEP 특징 그리드에 대해 교차 주의 집중(cross-attention)을 수행하여 **압축된 위상 의존적 기하 토큰(phase-dependent geometry tokens)**을 추출합니다. 이 메커니즘을 통해 모델은 현재 조작 단계(예: 도달 vs 삽입)에 적합한 국소 기하 단서를 동적으로 선택할 수 있습니다.
   • 결과물인 8개의 압축된 기하 토큰은 Isaac-GR00T N1.6-3B 백본 기반의 flow-matching Diffusion Transformer (DiT) 행동 디코더를 컨디셔닝하기 위해 의미론적 토큰과 결합됩니다.

주요 기여

• 상태 유도 공간 정렬: 로봇의 고유 수용 감각 상태가 기하 특징 그리드를 능동적으로 쿼리하여, 조작의 현재 단계에 따라 행동 생성에 정보를 제공하는 압축된 토큰을 추출하는 아키텍처입니다.
• RGB 유도 GEP 특징: 깊이 감독을 통해 로봇 도메인 사후 학습을 거친 깊이 모델을 활용하여, 깊이 예측값이 아닌 인코더 특징을 정책 컨디셔닝에 사용함으로써 기하학이 강화된 특징을 얻는 방법입니다.
• 검증: 시뮬레이션(LIBERO, SimplerEnv-Fractal) 및 실제 환경(AgileX ALOHA)에 걸친 포괄적인 평가와 함께, 기하학 사후 학습 및 상태 유도 쿼리의 기여를 분리하는 절제 연구(ablation studies)를 수행했습니다.

결과
GeoAlign은 세 가지 뚜렷한 벤치마크에서 베이스라인 대비 유의미한 성능 향상을 입증했습니다:

• LIBERO: 네 가지 스위트(suite) 전체에서 평균 성공률 **99.0%**를 달 기록하며, RGB 전용 베이스라인(97.0%)을 능가했습니다. 가장 큰 이점은 복잡한 공간 추론이 필요한 "Spatial" 스위트(100.0%)와 "Long" 스위트(96.6%)에서 관찰되었습니다.
• SimplerEnv-Fractal: 세 가지 작업군(Coke Can 집기, 근처로 이동, 서랍 열고 닫기)에서 평균 성공률 **85.3%**를 달성하여, RGB 전용 베이스라인보다 5.7%포인트 높은 성능을 보였습니다.
• 실제 환경 ALOHA: 투명 용기, 고리 형태의 테이프 롤, 가려진 물체 등 기하학적으로 중요한 8가지 작업에서 **78.8%**의 평균 성공률을 기록했습니다. 이는 동일한 설정에서의 제어된 RGB 전용 베이스라인(65.0%) 및 $\pi_{0.5}$ 모델(67.5%)보다 우수한 성능입니다.

절제 연구를 통해 기하학 사후 학습과 고유 수용 감각 상태 유도 쿼리가 모두 이러한 성과에 필수적임을 확인했습니다. 구체적으로, 사후 학습을 제거하면 LIBERO 성능이 95.9%로 떨어졌으며, 상태 유도 쿼리를 제거하고 전역 풀링이나 학습된 쿼리를 사용했을 경우 각각 91.6%와 96.2%로 성능이 하락했습니다.

의의 및 주장
본 논문은 GeoAlign이 원시 깊이 입력을 기하학적 추론으로부터 분리함으로써 VLA 정책의 국소 기하 문제를 성공적으로 해결한다고 주장합니다. 깊이 감독을 통해 형성되었으나 로봇의 상태에 의해 동적으로 쿼리되는 RGB 유도 기하 특징을 사용함으로써, 모델은 실행 가능한 조작을 위한 견고한 공간 정렬을 달 achieve합니다. 저자들은 이 접근 방식이 행동 디코더가 조작 단계에 따라 관련성이 변하는 공간 특징을 수신할 수 있게 하여, 표준 깊이 센서가 실패하는 도전적인 시각적 기하 구조(예: 투명도)를 다루는 정밀한 정렬 작업의 성공률을 높인다고 강조합니다. 본 연구는 일반적인 의미론적 이해보다는 미세한 행동 디코딩에 필요한 공간적 정렬에 특화된, 기존 VLA 연구에 대한 보완적인 경로를 제시합니다.