기술 요약: G3VLA – 시각-언어-행동 모델을 위한 기하학적 귀납 편향 (Geometric Inductive Bias)

문제 정의

RT-2, OpenVLA, $\pi_0$와 같은 시각-언어-행동(VLA) 모델은 사전 학습된 시각-언어 백본의 의미론적 지식을 활용하여 일반적인 로봇 조작 분야에서 상당한 진전을 이루었습니다. 그러나 결정적인 한계가 존재합니다: 이들의 시각적 토큰은 로봇 카메라의 교정된(calibrated) 기하 구조가 아닌 2D 이미지 좌표에 기반하고 있다는 점입니다. 이러한 불일치는 멀티 카메라 설정에서 더욱 두드러지는데, 알려진 내적(intrinsics) 및 외적(extrinsics) 파라미터는 서로 다른 뷰를 기하학적으로 결합하지만, 기존의 VLA 형식은 이러한 뷰들을 독립적인 2D 이미지로 처리하기 때문입니다. 결과적으로, 모델은 오직 행동 감독(action supervision)을 통해서만 카메라 기하 구조를 암시적으로 학습해야 하며, 이는 종종 비효율적이며 특히 정확한 포즈 추정, 거리 추론, 교차 뷰 일관성이 필요한 작업에서 공간적 정밀도를 제한합니다.

이를 해결하려는 기존의 시도들(예: PerAct의 복셀화 또는 Act3D의 3D 필드로의 특징 리프팅)은 사전 학습된 VLM의 의미론을 완전히 활용할 수 없는 작업 특정적 아키텍처를 요구하는 경우가 많습니다. 다른 가교 노력들(예: SpatialVLA, 3D-VLA)은 명시적인 3D 센서 입력, 대규모 공간 사전 학습, 또는 행동 표현의 수정을 요구합니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 교정된 카메라 기하 구조가 백본, 행동 공간, 또는 모방 목적 함수를 수정하지 않고도 사전 학습된 VLA를 위한 경량화된 시각 토큰 경로로서 역할을 할 수 있는가?

방법론: G3VLA

저자들은 사전 학습된 VLA의 시각 토큰 스트림에 교정된 구조를 직접 주입하는 카메라 인지 기하 프레임워크인 G3VLA를 제안합니다. 이 방법은 백본과 행동 형식을 보존하면서, 오직 시각 토큰을 통해서만 기하학을 도입합니다.

핵심 구성 요소

카메라 인지 기하 모듈($F_\psi$)은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 내적 조건부 레이 임베딩 (Intrinsic-Conditioned Ray Embeddings):
   동일한 픽셀 $(x, y)$가 서로 다른 내적 파라미터 하에서 서로 다른 물리적 시선 방향으로 매핑되는 모호성을 해결하기 위해, 이 방법은 각 ViT 패치 토큰에 역투영된 시선 방향(viewing direction) 태그를 붙입니다. 동차 픽셀 좌표 $u$에 대해, 정규화된 투영 레이는 $\tilde{r}^v(u) = (K^v)^{-1}u$로 계산됩니다. 학습 가능한 임베딩 $G_\phi$는 이 레이 맵을 패치 그리드로 투영하고 이를 인코더 출력에 더합니다:
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   이를 통해 모든 다운스트림 어텐션이 자신의 내적 시선 방향을 인지한 상태에서 동작하도록 보장합니다.

2. 투영 위치 인코딩 (Projective Positional Encoding, PRoPE):
   레이 임베딩이 국소적인 시선 방향을 인코딩한다면, PRoPE는 서로 다른 뷰 사이의 기하학적 관계를 포착합니다. PRoPE는 쿼리(query), 키(key), 값(value) 표현에 대해 뷰별 내적($K^v$), 카메라-월드 변환 행렬($T^v$), 그리고 패치 위치를 기반으로 고정된 투영 변환을 도출함으로써 이를 해결합니다. 이는 외형적 유사성에만 의존하는 대신, 카메라 모델 기반의 투投影 관계를 통한 교차 뷰 어텐션을 제공합니다.

3. 양방향 교차 뷰 퓨전 (Bidirectional Cross-View Fusion):
   퓨전 모듈은 두 단계로 프로세스를 진행합니다:

   • 프레임 어텐션 (Frame Attention): 뷰 로컬 구조를 보존하기 위해 각 카메라 스트림 내의 토큰을 독립적으로 처리합니다.
   • 교차 뷰 어텐션 (Cross-View Attention): 뷰 및 패치 차원을 평탄화(flatten)하여, 모든 유효한 토큰이 PRoPE를 위치 신호로 사용하여 뷰 간에 양방향으로 어텐션을 수행할 수 있도록 합니다. 이는 토큰이 행동 모델에 도달하기 전에 기하학적 컨텍스트를 교환하게 합니다.

훈련 전략: 2단계 커리큘럼 및 기하학 증류 (Geometry Distillation)

기하 모듈은 처음부터 학습되며 행동 손실로부터 오는 희소한 태스크 수준의 그래디언트만을 받기 때문에, 저자들은 밀집된 보조 기하 증류 목적 함수와 2단계 훈련 커리큘럼을 도입했습니다.

• 기하 증류 목적 함수: 퓨즈된 시각 토큰에 부착된 보조 포인트 헤드가 조밀한 픽셀당 레이 좌표($\hat{q}^v_u$)와 로그-z 깊이($\hat{d}^v_u$)를 예측합니다. 감독 대상은 시뮬레이션에서의 그라운드 트루스(GT) 포인트 맵 또는 시각 기하 티처($\pi_3X$)로부터 얻은 신뢰도 기반 예측에서 옵니다. 티처의 예측은 신뢰할 수 없는 픽셀을 필터링하기 위해 신뢰도 임계값($\tau=0.1$)에 의해 게이팅되며, 이는 별도의 깊이 센서나 수동 3D 주석을 필요로 하지 않습니다.
• 2단계 훈련:
  • 1단계 (기하 모듈 사전 학습): 사전 학습된 백본을 고정합니다. 레이 임베딩, 교차 뷰 퓨전 레이, 그리고 보조 포인트 헤드만 업데이트되며, 증류 손실이 지배적인 역할을 합니다. 이는 기하 모듈을 밀집된 티처 신호에 정렬시킵니다.
  • 2단계 (전체 정책 미세 조정): 모든 파라미터의 잠금을 해제합니다. 행동 손실이 지배적이 되며, 증류 손실은 경량화된 기하 규제(regularizer) 역할을 합니다. 추론 시에는 보조 헤드와 티처를 폐기하며, 정책은 RGB 이미지, 자기 수용 감각(proprioception), 언어, 그리고 카메라 캘리브레이션 정보만을 필요로 합니다.

주요 기여

1. 기하학적 격차 식별: 본 논문은 사전 학습된 VLA의 2D 기반 시각 토큰과 정밀한 조작에 필요한 교정된 공간 구조 사이의 불일치를 강조합니다.
2. G3VLA 프레임워크: 백본, 행동 공간, 또는 모방 목적 함수를 변경하지 않고도 레이 임베딩, PRoPE, 교차 뷰 퓨전을 통해 교정된 카메라 기하학을 시각 토큰 스트림에 주입하는 경량화되고 백본을 보존하는 경로를 제안합니다.
3. $\pi_3X$를 통한 기하 증류: 신뢰도 게이팅된 밀집 포인트 맵을 사용하는 시각 기하 티처를 통해 기하 모듈을 감독함으로써, 수동 3D 주석이나 깊이 센서 없이도 학습이 가능하게 합니다.
4. 다중 아키텍처 검증: 이 방법은 세 가지 서로 다른 VLA 시스템($\pi_0$, $\pi_0.5$, GR00T 1.5)에서 검증되어, 기하학적 신호가 행동 생성으로 어떻게 전파되는지에 대한 일관된 이점과 아키텍처적 통찰을 제공합니다.

실험 결과

시뮬레이션 벤치마크

• LIBERO: $\pi_0$ 백본에서 G3VLA (GT)는 매크로 평균 성공률을 84.6%에서 88.1%로 개선했습니다(+3.5 포인트). 가장 큰 이득은 LIBERO-Object (+5.0)와 LIBERO-Spatial (+4.0)에서 관찰되었으며, 이는 객체 위치 지정 및 공간 추론이 필요한 작업에서 가장 큰 혜택을 받는다는 것을 확인시켜 줍니다. G3VLA ($\pi_3X$) 또한 유의미한 이득(+베이스라인 대비 +2.4)을 달성하여 티처 증류된 기하학의 유용성을 입증했습니다.
• RoboCasa24 & RoboTwin2.0: G3VLA (GT)는 RoboCasa24 (34.2% $\to$ 37.1%)와 RoboTwin2.0 (44.0% $\to$ 49.0%)에서 성공률을 높였습니다. 주목할 점은 G3VLA ($\pi_3X$)가 RoboTwin2.0에서 성능이 하락(41.0%로 감소)했다는 것인데, 저자들은 이를 시각적으로 깨끗하고 질감이 적은 합성 장면에서 $\pi_3X$의 오프라인 포인트 맵 타겟이 불안정했기 때문이라고 설명합니다.
• 백본 호환성:
  • $\pi_0.5$: 이득은 더 작았지만 일관적이었으며(95.9% $\to$ 97.0%), 이는 더 강력하고 포화 상태에 가까운 백본과의 호환성을 확인해 줍니다.
  • GR00T 1.5: 결과는 엇갈렸습니다. $\pi_3X$ 감독 하에서는 이득이 관찰되었으나 GT로는 그렇지 않았습니다. 저자들은 이것이 GR00T 1.5의 투-타워(two-tower) 아키텍처 때문이라고 제안합니다. 즉, 디퓨전 정책이 고정된 VLM에 대한 크로스 어텐션을 통해 시각적 특징에 간접적으로 접근하기 때문에 기하학적 신호가 약화된다는 것입니다.

실세계 결과

두 개의 bimanual UR5 로봇을 사용하여 두 가지 작업(Test Tube 집기 및 놓기, Nut 붓기)을 평가했을 때, G3VLA는 분포 외(OOD, unseen camera viewpoints) 설정에서 가장 눈에 띄는 개선을 보였습니다.

• "Nut 붓기" 작업에서 G3VLA는 $\pi_0$의 OOD 성공률을 약 70-75%에서 83-87.5%로 향상시켰습니다.
• 정성적 분석 결과, GT 기반 변형 모델은 베이스라인에는 없던 중간 오류 발생 후의 견고한 회복 동작(예: 다시 잡기, 다시 정렬하기)을 보여주었습니다.

절제 연구 (Ablation Studies)

• 기하학적 구성 요소: 레이 임베딩을 제거했을 때 가장 큰 하락(-2.0%)이 발생했으며, 그다음은 PRoPE 제거(-1.1%)였습니다. 이는 두 요소의 상호 보완적인 역할을 확인시켜 줍니다.
• 훈련 커리큘럼: 2단계 커리큘럼을 1단계 공동 훈련으로 대체했을 때 성능이 0.7% 감소하였으며, 이는 행동 최적화 전에 기하학적 경로를 사전 정렬하는 것의 중요성을 강조합니다.
• 감독 소스: 그라운드 트루스(GT) 감독이 가장 강력한 신호를 제공했지만, $\pi_3X$ 증류 역시 대부분의 이득을 회복하여 깊이 센서가 없는 경우 실용적인 대안이 될 수 있음을 보여주었습니다.

의의 및 주장

본 논문은 교정된 카메라 기하학이 일반적인 VLA 정책의 공간적 정밀도를 위한 경량화되고 유용한 귀납 편향이라고 주장합니다. 주요 의의는 백본, 행동 공간, 또는 모방 목적 함수를 수정하지 않고도 기하학적 구조를 사전 학습된 모델의 시각 토큰 스트림에 주입할 수 있음을 입증했다는 데 있습니다.

저자들은 효과적인 기하학 주입 여부가 아키텍처에 따라 달라진다고 겸허히 결론짓습니다. 즉, 기하학 인지 토큰이 행동 생성 경로에 직접 접근할 수 있는 경우(예: $\pi_0$, $\pi_0.5$) 가장 효과적이며, 행동 모델이 시각적 특징에 간접적으로 접근하는 아키텍처(예: GR00T 1.5)에서는 그 이점이 약화됩니다. 또한, 시각 기하 티처에 대한 의존성은 도메인 불일치(예: 질감이 적은 장면)에 민적임을 시사하며, 이는 티처 증류가 실행 가능한 전략이지만 그라운드 트루스 감독이 사용 가능할 때는 여로 우수하다는 것을 의미합니다.

전반적으로 G3VLA는 알려진 카메라 캘리브레이션 파라미터를 구조적 사전 지식으로 활용함으로써, 기존 VLA 모델의 공간적 일반화 능력을 향상시키는 실용적인 접근법을 제공합니다.