GST-VLA: Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models

이 논문은 고정된 밀도 깊이와 의미론적 패치 특징을 3D 가우시안 원시 객체로 변환하는 가우시안 공간 토크나이저 (GST) 와 3D 깊이 인식 체인 오브 씽킹 (DA-CoT) 추론을 도입하여 LIBERO 와 SimplerEnv 환경에서 기존 VLA 모델보다 뛰어난 정밀도와 성능을 달성한 GST-VLA 를 제안합니다.

핵심

이 논문은 로봇이 세상을 더 똑똑하게 이해하고, 정교하게 물건을 잡거나 움직일 수 있도록 도와주는 새로운 기술인 **'GST-VLA'**에 대해 설명합니다.

기존의 로봇 AI 는 세상을 '2 차원 사진'처럼만 보았습니다. 하지만 우리는 손으로 물건을 잡을 때 깊이 (앞뒤 거리), 표면의 기울기, 그리고 그 부분이 얼마나 확실한지까지 고려해야 합니다. 이 논문은 로봇에게 "눈 (시각)"과 "손 (깊이)"을 연결해 주는 새로운 뇌를 만들어주었습니다.

이 기술을 쉽게 이해할 수 있도록 3 가지 핵심 비유로 설명해 드릴게요.

---

1. 기존 방식 vs. 새로운 방식: "평평한 종이" vs. "부드러운 점토"

• 기존 방식 (DepthVLA 등):
  로봇이 세상을 볼 때, 마치 평평한 종이에 찍힌 점들처럼 보입니다. 각 점은 "여기는 1 미터 거리야"라고 숫자만 알려줍니다. 하지만 이 점들은 어느 방향으로 기울어져 있는지, 혹은 그 부분이 흐릿해서 믿을 수 있는지는 알려주지 않습니다.

  • 비유: 벽에 붙은 스티커를 보고 "여기는 1 미터 거리야"라고 말하지만, 그 스티커가 평평한지, 구부러진 건지, 아니면 반짝여서 잘 안 보이는 건지는 모릅니다. 그래서 로봇이 컵을 잡으려다 미끄러지거나, 못을 구멍에 넣으려다 틀어지는 경우가 많습니다.

• 새로운 방식 (GST-VLA):
  이 기술은 세상을 **부드러운 점토 (3D 가우시안)**로 바꿉니다.

  • 점토의 모양 (타원체): 각 점토 덩어리는 단순히 위치만 있는 게 아니라, 어느 방향으로 길쭉하게 늘었는지 (표면의 기울기) 를 알려줍니다. 평평한 책상 위라면 납작하게, 모서리라면 뾰족하게 변합니다.
  • 점토의 투명도 (불투명도): 로봇은 "이 부분은 빛이 반사되어 잘 안 보이니 믿지 말자"라고 판단할 때, 그 점토를 투명하게 만듭니다. 반면, 확실한 부분은 진하게 만듭니다.
  • 결과: 로봇은 "여기가 1 미터 거리"라는 숫자보다, "여기는 평평하고 확실한 표면이니까 잡으면 돼"라는 입체적인 느낌을 얻게 됩니다.

2. 사고 과정: "바로 행동" vs. "생각한 뒤 행동" (DA-CoT)

기존 로봇 AI 는 "사진을 보고 바로 손 움직이기"를 시도했습니다. 하지만 복잡한 작업은 실패하기 쉽습니다. GST-VLA 는 생각하는 시간을 가집니다.

• 비유: 요리사 시나리오
  • 기존 로봇: "냉장고에서 계란 꺼내서 프라이팬에 부어!"라고 명령받자마자, 계란을 쥔 채로 바로 튀기 시작합니다. (실수 확률 높음)
  • GST-VLA (DA-CoT): 명령을 받으면 먼저 4 단계의 생각을 거칩니다.
    1. 위치 확인: "계란이 냉장고 어디에 있나? (3D 좌표)"
    2. 잡는 방법: "계란을 어디로, 어떤 각도로 잡아야 깨지지 않을까? (접촉 면 분석)"
    3. 거리 계산: "프라이팬까지 얼마나 떨어져 있나?"
    4. 이동 계획: "손을 어떻게 움직여야 부드럽게 이동할까?"
  • 이 생각들을 입으로 말하듯 (텍스트로) 출력한 뒤, 그 내용을 바탕으로 실제 손 움직임을 결정합니다. 이렇게 하면 로봇이 "아, 계란이 너무 높게 있네, 먼저 낮춰야지"라고 스스로 판단할 수 있습니다.

3. 학습 방법: "단계별 훈련"

이 로봇은 한 번에 모든 것을 배우지 않습니다. 3 단계 훈련을 거칩니다.

1. 1 단계 (기초 체력): 로봇에게 "세상의 모양을 정확히 점토로 만들어라"라고 가르칩니다. (깊이와 모양을 정확히 인식하는 법)
2. 2 단계 (사고 훈련): "이 점토들을 보고 '계란 위치', '잡는 방법' 등을 말로 설명해라"라고 가르칩니다. (생각을 정리하는 법)
3. 3 단계 (실전 통합): 생각한 대로 손이 움직이도록 전체를 연결합니다.

---

요약: 왜 이 기술이 중요한가요?

이 기술은 로봇이 미세한 작업 (예: 구멍에 못 박기, 얇은 물체 집기, 유리컵 잡기) 을 할 때 실수를 크게 줄여줍니다.

• 기존: "여기가 1 미터야" (숫자만 보고 대충 잡음) → 실패
• GST-VLA: "여기는 평평하고 확실한 표면이니까, 이 각도로 잡아야 해. 그리고 계란은 여기 있고, 프라이팬은 저기에 있어." (입체적 이해 + 생각) → 성공

이 논문은 로봇이 단순히 "보는 것"을 넘어, 세상을 입체적으로 느끼고, 생각한 뒤 행동하는 진정한 지능을 갖추는 중요한 한 걸음이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비전 - 언어 - 행동 (VLA) 모델들은 시각적 관찰을 2D 패치 토큰 (2D patch tokens) 으로 인코딩합니다. 이는 다음과 같은 구조적 한계를 가집니다:

• 기하학적 구조 부재: 패치 토큰은 픽셀 공간의 고정된 영역을 차지할 뿐, 깊이 (depth), 표면 법선 (surface normal), 기하학적 신뢰도 (geometric confidence) 와 같은 3D 구조 정보를 내재하지 않습니다.
• 기존 깊이 기반 모델의 한계 (DepthVLA 등): 기존 연구들은 단일 스칼라 값 (scalar depth) 으로 깊이를 추가하지만, 이는 픽셀마다 균일하게 분포되어 불필요한 영역에도 토큰 예산을 낭비합니다. 또한, 스칼라 깊이는 표면의 방향성 (orientation) 이나 깊이 추정의 신뢰도를 표현하지 못합니다.
• 암묵적 추론: 3D 공간 이해와 행동 생성 사이의 과정이 완전히 암묵적 (implicit) 이며, 모델이 3D 장면을 어떻게 해석했는지 중간 단계를 검증하거나 설명할 수 있는 메커니즘이 부족합니다.

이러한 한계로 인해, 에지 그립 (edge grasping) 이나 핀 삽입 (peg insertion) 과 같이 밀리미터 단위의 정밀한 기하학적 정확도가 필요한 작업에서 VLA 모델의 성능이 저하됩니다.

2. 제안 방법 (Methodology)

저자들은 GST-VLA를 제안하며, 이는 두 가지 핵심 혁신을 통해 3D 공간 추론을 구조화합니다.

A. 가우스 공간 토키나이저 (Gaussian Spatial Tokenizer, GST)

고정된 (frozen) 시각 특징과 깊이 추정치를 결합하여 $N_g=128$개의 이방성 3D 가우스 원시 (anisotropic 3D Gaussian primitives) 로 변환하는 모듈입니다. 각 원시는 다음 7 개의 매개변수로 정의됩니다:

1. 평균 위치 ($\mu \in \mathbb{R}^3$): 깊이 역투영 (back-projection) 된 3D 앵커에서 학습된 잔차 (residual) 오프셋으로, 서브-패치 수준의 정밀한 위치 보정을 제공합니다.
2. 로그 스케일 공분산 ($\sigma \in \mathbb{R}^3$): 축 정렬된 이방성 공분산 ($\Sigma$) 을 정의합니다. 고유값 구조를 통해 표면 방향성 (surface orientation) 을 인코딩합니다 (평면에서는 법선 방향의 분산이 작고, 가장자리에서는 여러 방향의 분산이 축소됨).
3. 불투명도 ($\alpha \in (0,1)$): 멀티 스케일 이미지 피라미드 (MIP) 를 통해 학습된 기하학적 신뢰도입니다. 질감이 없거나 반사되는 (specular) 영역처럼 깊이 추정이 불확실한 경우 토큰의 가중치를 낮춥니다.

핵심 처리 단계:

• 3D 푸리에 위치 인코딩: 2D 픽셀 위치가 아닌 3D 미터 좌표계에 기반한 푸리에 특징을 사용하여, 토큰 간의 실제 3D 거리 계산을 가능하게 합니다.
• 공간 주의 풀링 (Spatial Attention Pooling): 256 개의 원시 토큰을 128 개의 구조화된 토큰으로 압축합니다. 학습된 쿼리를 통해 기하학적으로 중요한 영역 (예: 물체 표면) 에 토큰 예산을 집중시키고, 배경이나 불확실한 영역에는 할당량을 줄입니다.
• 미분 가능 깊이 렌더링: 예측된 가우스 필드가 실제 깊이 지도와 기하학적으로 일관되도록 유지하기 위한 정규화 손실 (Loss) 을 사용합니다.

B. 깊이 인식 체인 오브 씽킹 (Depth-Aware Chain-of-Thought, DA-CoT)

행동 생성 전에 명시적인 3D 공간 추론 단계를 거치는 감독 학습 방식입니다. VLM 은 행동 토큰을 생성하기 전에 다음 4 가지 구조화된 중간 추론 (Thought) 을 생성합니다:

1. 3D 객체 그라운딩 ($c_1$): 작업 대상 객체의 카메라 좌표계 내 3D 질량 중심 (centroid) 생성.
2. 그립 어포던스 ($c_2$): 그립이 접촉해야 할 3D 지점과 접근 방향의 표면 법선 생성.
3. 미터 공간 관계 ($c_3$): 객체 간 또는 객체와 표면 간의 정량적 거리 생성.
4. SE(3) 운동 계획 ($c_4$): 그립 전, 그립, 후퇴 단계를 포함한 coarse 6-DoF 엔드 이펙터 웨이포인트 생성.

아키텍처 특징:

• DA-CoT 생성 중에는 원시 (raw) 256 개 가우스 토큰에 직접 접근하는 크로스-어텐션 레이어가 VLM 의 모든 트랜스포머 블록에 삽입됩니다. 이는 풀링된 토큰이 아닌 고해상도 기하학적 정보를 추론에 활용하게 합니다.
• 생성된 CoT 토큰은 행동 전문가 (Action Expert) 에게 조건부 (conditioning) 로 제공되어, 행동 생성이 검증된 공간 이해에 기반하도록 합니다.

C. 행동 전문가 및 훈련 프로토콜

• Flow-Matching Action Expert: VLM 은닉 상태와 DA-CoT 출력 (기하학적 추론) 의 이중 크로스-어텐션 조건부로 7-DoF 동작을 생성합니다. 혼합 전문가 (MoE) 구조를 사용하여 작업 단계별 (precision-reach, grasp 등) 로 전문가를 분화합니다.
• 3 단계 훈련 프로토콜:
  1. S1: GST 와 행동 전문가의 사전 훈련 (깊이 렌더링 손실 및 행동 손실 사용).
  2. S2: LoRA 를 적용한 VLM 적응 및 DA-CoT 감독 학습.
  3. S3: 전체 시스템의 엔드 - 투 - 엔드 미세 조정.

3. 주요 기여 (Key Contributions)

1. GST 아키텍처: 고정된 깊이와 시각 특징을 이방성 3D 가우스 토큰으로 변환하여, 스칼라 깊이로는 불가능했던 표면 방향성과 기하학적 신뢰도를 토큰 수준에서 인코딩합니다.
2. DA-CoT: 명시적인 3D 기하학적 목표 (질량 중심, 접촉점, 거리, 웨이포인트) 를 중간 생성 단계로 도입하여, 모델의 3D 추론 과정을 검증 가능하고 설명 가능하게 만듭니다.
3. 상호 보완적 시너지: CoT 손실 ($L_{CoT}$) 이 가우스 토큰의 위치 보정에 간접적으로 기여하고, 깊이 렌더링 손실 ($L_{depth}$) 이 기하학적 일관성을 보장하여, 추론 품질과 기하학적 보정이 서로 강화되는 구조를 확립했습니다.

4. 실험 결과 (Results)

GST-VLA 는 LIBERO, SimplerEnv, LIBERO-Pro 등 다양한 벤치마크에서 기존 최첨단 VLA 모델들을 압도적으로 능가했습니다.

• 성능 향상:
  • LIBERO: 평균 성공률 96.4% (DepthVLA 대비 +2.0%p).
  • SimplerEnv: 평균 작업 진행률 80.2% (DepthVLA 대비 +5.4%p).
  • 정밀 작업: 핀 삽입 (Insertion) 및 얇은 물체 그립 (Thin object grasping) 과 같이 기하학적 정밀도가 요구되는 작업에서 가장 큰 성능 향상 (+9.2%p, +8.3%p) 을 보였습니다.
• Ablation Study:
  • 3D 푸리에 위치 인코딩 제거: -2.8%p (가장 큰 손실). 3D 거리 계산 능력을 상실함.
  • 공간 주의 풀링 제거 (평균 풀링 사용): -2.1%p. 불필요한 영역에 토큰을 분배하여 신호가 희석됨.
  • DA-CoT 제거: -3.9%p. 명시적인 공간 추론 단계가 없으면 성능이 크게 저하됨.
  • 3 단계 훈련 (S1) 생략: -6.2%p. 기하학적으로 보정된 토큰이 없으면 VLM 이 공간 추론을 학습할 수 없음.
• 비교: 기존 DepthVLA, SpatialVLA, OpenVLA 등보다 파라미터와 계산 비용이 낮음에도 불구하고 훨씬 높은 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 제어 분야에서 VLA 모델의 3D 공간 이해 능력을 근본적으로 재정의했습니다.

1. 기하학적 정밀도 확보: 단순한 깊이 값이 아닌, 방향성과 신뢰도를 포함한 구조화된 3D 토큰을 도입함으로써, 미세 조작 (precision manipulation) 과 같은 고난이도 작업의 성공률을 획기적으로 높였습니다.
2. 검증 가능한 추론: DA-CoT 를 통해 모델이 "무엇을 보고, 어떻게 3D 공간을 이해했는지"를 명시적인 텍스트/좌표로 출력하게 함으로써, 로봇의 의사결정 과정을 해석 가능하게 (interpretable) 하고 신뢰성을 높였습니다.
3. 효율성: 불필요한 배경 영역에 토큰을 할당하지 않는 적응형 풀링과 효율적인 MoE 구조를 통해, 높은 성능을 유지하면서도 계산 비용을 최적화했습니다.

결론적으로 GST-VLA 는 로봇이 복잡한 3D 환경에서 인간과 유사한 수준의 공간 추론 능력을 갖추고, 이를 기반으로 정밀한 행동을 수행할 수 있는 새로운 패러다임을 제시합니다.