기술 요약: GeoProp – 범용 조작을 위한 시각 기반 로봇 상태의 지리적 접지(Grounding)

1. 문제 정의

디퓨전 기반 컨트롤러부터 시각-언어-행동(VLA) 모델에 이르는 현재의 로봇 조작 아키텍처는 고차원 시각 관측값과 저차원 고유 수용성(proprioceptive) 피드백 사이의 구조적 결합 해제 문제를 겪고 있다. 표준적인 융합 방식은 일반적으로 고유 수용성 정보를 독립적이고 접지되지 않은(ungrounded) 글로벌 상태 벡터로 취급하며, 이를 단순한 결합(concatenation)이나 교차 주의집중(cross-attention)을 통해 융합한다.

저자들은 이러한 패러다임의 결정적인 한계를 지적한다. 즉, 3D 운동학(kinematics)과 2D 시각 특징 맵(feature maps) 사이의 명시적인 대응 관계가 없다면, 모델은 로봇의 물리적 상태와 장면(scene) 사이의 정렬을 암묵적으로 학습해야만 한다. 실증적 분석 결과, 이러한 비접지 방식은 역효과를 낳아 정책(policy)의 성능을 비전 전용(vision-only) 베이스라인보다도 떨어뜨리는 가짜 상관관계(spurious correlations)를 유발할 수 있음이 밝혀졌다. 상태 벡터가 시각적 매니폴드 내에서 로봇의 구성을 고정(anchor)하지 못함으로써, 주의집중 패턴이 분산되어 그리퍼나 조작 중인 물체에 집중하지 못하게 된다.

2. 방법론: GeoProp

이를 해결하기 위해 저자들은 명시적인 기하학적 접지와 공간적 특징 샘플링을 통해 고유 수용성을 시각과 정렬하는 가볍고 플러그 앤 플레이(plug-and-play) 방식의 어댑터인 GeoProp를 제안한다. GeoProp은 백본 아키텍처를 수정하지 않고 인지(perception)와 상태 표현 사이의 인터페이스에서 작동한다. 이는 세 가지 핵심 구성 요소로 이루어져 있다.

2.1 기하학적 투영 및 특징 접지

고유 수용성 상태 $p_t$를 글로벌 벡터로 주입하는 대신, GeoProp은 카메라 내부 파라미터($K$)와 외부 파라미터($R, t$)를 사용하여 3D 말단 장치(end-effector) 위치 $r_t$를 2D 이미지 평면에 투영한다.
$$q_t = \Pi_K(R r_t + t)$$
투영된 이미지 좌표 $q_t$는 시각적 특징 그리드 상의 연속적인 좌표 $\bar{q}_t$로 매핑된다. 이 위치의 시각적 특징은 쌍선형 보간법(bilinear interpolation)을 통해 샘플링되어 접지된 상태 토큰(grounded state token, $\tau_t$)을 생성한다. 이 토큰은 로봇의 현재 상호작용 지점에 있는 국소적 장면 증거를 보유하며, 동일한 시각적 잠재 공간 내에서 장면의 의미론(semantics)을 상속받는다.

2.2 공간 정렬된 특징 변조

시각적 계층 구조 깊숙이 기하학적 사전 정보(priors)를 주입하기 위해, GeoProp은 고유 수용성 상태에 조건화된 **FiLM (Feature-wise Linear Modulation)**을 사용한다.

• 각 레벨 $\ell$에서의 중간 특징 맵 $F^\ell_{enc}$에 대하여, 투영된 말단 장치에 해당하는 정렬된 그리드 셀 $c^\ell_t$를 식별한다.
• 2계층 MLP는 $p_t$를 기반으로 채널별 변조 파라미터 $\gamma^\ell_t$와 $\beta^\ell_t$를 예측한다.
• 변조는 기하학적으로 말단 장치와 정렬된 특징 셀에만 적용된다:
  $$F^\ell_{mod}[c] = \begin{cases} (1 + \gamma^\ell_t) \odot F^\ell_{enc}[c] + \beta^\ell_t & \text{if } c = c^\ell_t \\ F^\ell_{enc}[c] & \text{otherwise} \end{cases}$$
  이를 통해 고유 수용성 조건화가 특징 피라미드 네트워크(FPN)를 통한 다중 스케일 집계 이전에 공간적으로 국소화된 상태를 유지하도록 보장한다.

2.3 예측 운동 샘플링

운동 의도를 포착하기 위해, GeoProp은 접지된 상태에 예측 토큰(predictive token)을 추가한다.

• 최근 3D 위치의 시간적 윈도우를 사용하여, 다항식 외삽(polynomial extrapolation)을 통해 단기 미래 웨이포인트 $\hat{r}_{t+1}$을 추정한다.
• 이 웨이포인트는 이미지 평면에 투영되고 특징 그리드에 매핑되어 룩어헤드(look-ahead) 좌표 $\bar{q}^{pre}_{t+1}$를 얻는다.
• 예측 토큰($\tau^{pre}$)은 이 위치의 변조되지 않은 특징 맵으로부터 샘플링된다. 이는 상태 변조에 조건화되지 않은 채 예측된 운동의 공간적 프리뷰를 제공함으로써, "룩어헤드" 컨텍스트를 현재 상태로부터 분리한다.

최종 정책 입력은 접지된 상태 토큰, 예측 토큰, 그리고 글로벌 시각 토큰(및 사용 가능한 경우 언어 토큰)을 결합한다.

3. 주요 기여

1. 불일치에 대한 실증적 분석: 저자들은 고유 수용성을 접지되지 않은 글로벌 벡터로 취급하는 것이 비전 전용 베이스라인보다 성능을 저하시킬 수 있음을 입증하여, 명시적인 기하학 기반의 상태-시각 대응의 필요성을 도출했다.
2. GeoProp 어댑터: 기하학적 투영, 국소적 특징 변조(FiLM), 그리고 운동 의도의 예측적 샘플링을 통해 3D 고유 수용성을 이미지에 접지된 시각 토큰으로 변환하는 플러그 앤 플레이 모듈을 도입했다.
3. 일반화 가능성 및 효율성: GeoProp은 서로 다른 정책 아키텍처(Diffusion Policy 및 $\pi_0$와 같은 VLA 모델)와 환경(시뮬레이션 및 실제 환경)에서 검증되었다. 이 모델은 미미한 파라미터 오버헤드(2~3%)만으로 상당한 성능 향상을 달side했다.

4. 실험 결과

저자들은 63개의 시뮬레이션 태스크와 4개의 실제 환경(Mobile ALOHA 시스템 상)을 포함한 총 67개의 태스크에 대해 GeoProp을 평가했다.

시뮬레이션 벤치마크

• Diffusion Policy (DP): ResNet-18 및 ViT-Base 백본을 사용하는 63개 태스크(MetaWorld, RLBench, RoboTwin) 전반에서, GeoProp은 바닐라 융합 베이스라인 대비 평균 성공률을 8.7% 향상시켰다.
• VLA 모델 ($\pi_0$): RoboTwin 서브셋에서, GeoProp은 3B 파라미터 $\pi_0$ 모델의 성공률을 4.0% 개선하여, 7개 태스크 중 5개에서 바닐라 베이스라인을 능가했다.
• 절제 연구(Ablation Studies): 기하학적 접지가 주요 개선 원인임을 확인했다. 예측 샘플링과 국소적 FiML 변조를 추가하는 것은 상호 보완적인 이득을 제공했다. 이 방법은 Heatmap 주입이나 RC-PE와 같은 대안적인 공간 접지 베이스라인보다 우수한 성능을 보였다.

실제 환경 실험

Mobile ALOHA 양팔 플랫폼에서 4가지 가사 태스크(종 던지기, 커피 가져오기, 책상 정리, 테이블 청소)를 대상으로 평가했다:

• Diffusion Policy: GeoProp은 **50.0%**의 평균 성공률을 달성했으며, 이는 바닐라 베이스라인 대비 11.2%p 절대적 향상이며, 비전 전용 베이스라인 대비 21.2% 향상된 수치이다.
• $\pi_0$: GeoProp은 평균 성공률을 43.8%에서 **53.8%**로 개선했다(+10.0pp).
• 성과는 정밀한 국소 접촉 및 그리퍼-물체 정렬이 필요한 태스크에서 가장 두드러졌다.

강건성

GeoProp은 카메라 캘리브레이션에 의존한다. 합성된 외부 파라미터 섭동 하에서, 방법론은 점진적으로 저하되었으나 이동 오차 2.5cm 및 회전 오차 1.5°까지는 베이스라인보다 우수한 성능을 유지했다.

5. 의의 및 주장

본 논문은 GeoProp이 일반적인 임바디드(embodied) 정책을 위한 **단순하면서도 영향력 있는 귀납적 편향(inductive bias)**을 제공한다고 주장한다. 분석적 투영을 통해 로봇의 상태를 동일 위치의 시각적 의미론에 고정함으로써, GeoProp은 표준 융합 방식에 내재된 모달리티 불일치 문제를 해결한다.

저자들은 이 접근 방식이 프레임워크에 구애받지 않으며, 얕은 융합 방식(Diffusion Policy)과 깊은 교차 모달리티 주의집중 모델($\pi_0$) 모두를 개선한다는 점을 강조한다. 결과는 명시적인 기하학적 접지가 임바디드 AI의 확장에 있어 핵심적인 요소이며, 복잡한 3D 장면 재구성이나 백본 아키텍처의 변경 없이도 정책이 고유 수용성 상태를 관련 시각적 증거와 더 잘 연관시킬 수 있게 함을 시사한다.

인정된 한계점:

• 알려진 카메라 내부 및 외부 파라미터가 필요하며, 심각한 캘리브레이션 드리프트 발생 시 성능이 저하된다.
• 현재 3D 말단 장치 위치만을 접지하며, 더 풍부한 운동학적 구조(예: 관절, 손가락 끝)는 접지하지 않는다.
• 예측 샘플링은 국소적으로 매끄러운 운동을 가정한다. 급격한 방향 전환은 목표에서 벗어난 룩어헤드 지점을 초래할 수 있다.
• 조작 중인 물체가 투영된 말단 장치를 가리거나, 베이스라인이 이미 천장 성능(ceiling performance)에 근접한 경우 이득이 감소하거나 역전될 수 있다.