기술 요약: ThinkProprio: VLA 조작을 위한 체화된 시각적 추론(Embodied Visual Reasoning)

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관찰과 자연어 지침을 실행 가능한 행동으로 변환함으로써 일반화 가능한 로봇 제어를 위한 강력한 패러다임으로 부상했습니다. 그러나 현재의 VLA 파이프라인은 일반적으로 고유 수용 감각 신호(로봇 상태, 예: 관절 각도 및 엔드 이펙터 포즈)를 프로세싱 스택의 후반부에 도입하거나, 이를 인식(perception)과 약하게 결합하거나, 혹은 아예 무시합니다.

이러한 후기 통합 방식은 로봇의 물리적 체화(embodiment)가 작업에 대한 초기 이해를 형성하거나 정책 전반에 걸쳐 어떤 시각적 토큰에 주목할지를 결정하는 것을 방해합니다. 결과적으로, 모델은 물리적으로 근거 있는 상태를 활용하여 어떤 장면 요소가 공간적으로 근거 있는 행동에 유효한지를 판단하는 데 실패합니다. $\pi^0$ 및 $\pi^{0.5}$와 같은 최근 연구들이 고유 수용 감각을 더 일찍 통합하기 시작했으나, 비전-언어 집계 및 액션 헤드 컨디셔닝과 관련된 결합된 설계 선택들로 인해 고유 수용 감각의 기능적 역할을 고립시켜 규명하기는 여전히 어렵습니다.

방법론: ThinkProprio

저자들은 고유 수용 감각을 시각적 추론에 능동적으로 참여하는 '제1급 모달리티(first-class modality)'로 취급하여 "고유 수용적으로 생각하도록" 설계된 아키텍처인 ThinkProprio를 제안합니다. 핵심 구성 요소는 다음과 같습니다:

1. 텍스트 토큰화를 통한 고유 수용 상태 인코딩

연속적인 상태 벡터를 학습된 다층 퍼셉트론(MLP)을 사용하여 VLM 임베딩 공간으로 투영하는 방식(이는 분포 불일치를 유발할 수 있음)과 달리, ThinkProprio는 연속적인 고유 수용 상태 값을 이산화(discretize)합니다.

• 이산화(Discretization): 연속적인 상태 값들을 클리핑(clipping)하고 균등하게 빈(bin)으로 나눕니다.
• 토큰화(Tokenization): 이 빈 인덱스들을 사전 학습된 VLM의 임베딩 테이블에 있는 특정 어휘 토큰 ID에 매핑합니다.
• 통합(Integration): 결과물인 고유 수용 토큰들은 VLM의 입력 단계에서 언어 지침 토큰들과 결합됩니다. 이를 통해 로봇의 상태가 언어와 동일한 임베딩 공간에서 참여할 수 있게 하여, 추가적인 투영 계층 없이도 상태 인지적인 시각적 컨디셔ning을 가능하게 합니다.

2. 물리적으로 근거 있는 토큰 선택 (Physically Grounded Token Selection)

ThinkProprio는 작업 지침과 로봇의 현재 고유 수용 상태 모두를 기반으로 시각적 토큰의 선택을 유도하는 메커니즘을 도입합니다.

• 쿼리 생성 (Query Generation): 지침 토큰($H_l$)과 고유 수용 토큰($H_p$)을 결합하여 가이드 토큰($H_q$)을 형성합니다.
• 스코어링 (Scoring): 시각적 토큰들은 이 가이드 토근들에 어텐션(attend)하여 "물리적으로 근거 있는 쿼리"를 형성합니다. 정규화된 쿼리와 정규화된 시각적 토큰을 매칭하여 점수 행렬을 계산합니다.
• 선택 메커니즘 (Selection Mechanism): 시스템은 Straight-Through Estimator(STE)를 사용하는 투표 기반의 이산 선택 방식을 채택합니다. 미분 가능한 학습을 위해 점수에 Gumbel 노이즈를 추가합니다. 투표를 받은 토큰은 유지되고, 그렇지 않은 토큰은 버려집니다.
• 글로벌 컨텍스트 (Global Context): 모든 시각적 토큰에 대해 평균을 낸 글로벌 컨텍스트 토큰을 선택된 서브셋에 추가하여, 거친(coarse) 장면 정보의 손실을 방지합니다.

3. 아키텍처 및 학습

• 백본 (Backbone): 선택된 압축된 시퀀스(시각적 토큰, 글로벌 컨텍스트, 고유 수용 토큰, 언어 토큰)는 사전 학습된 VLM 백본에 의해 처리됩니다.
• 액션 헤드 (Action Head): 액션 헤드는 크로스 어텐션을 통해 VLM의 융합된 특징(fused features)에 컨디셔닝됩니다.
• 목적 함수 (Objective): 액션 헤드는 연속적인 액션 청크(action chunks)를 예측하기 위해 플로우 매칭(flow matching, 확산 기반 접근법)을 사용하여 학습됩니다. 학습 목적 함수는 예측된 속도장(velocity field)과 타겟 속도 사이의 오차를 최소화합니다.

주요 기여

1. VLA 설계의 체계적 절제 실험 (Systematic Ablation): 본 논문은 비전-언어 집계, 컨디셔닝 메커니즘, 그리고 고유 수용 인코딩/진입 지점을 분리하여 VLA 모델의 설계 축들을 체계적으로 비교 분석합니다.
2. 고유 수용 텍스트 토큰화: 저자들은 연속적인 상태를 텍스트 토큰으로 이산화하여 VLM 입력으로 제공하는 것이 학습된 프로젝터나 후기 컨디셔닝 메커니즘을 사용하는 것보다 더 효과적임을 입증했습니다. 이는 VLM의 사전 학습된 토큰 인터페이스를 활용합니다.
3. 물리적으로 근거 있는 토큰 선택: 지침과 고용 수용 감각을 결능한 가이드를 통해 토큰을 선택하는 방식이 행동에 결정적인 증거를 향해 계산을 효과적으로 편향시킬 수 있음을 보여줍니다. 이를 통해 전체 토큰 세트를 사용하는 모델의 성능을 유지하거나 능가하면서도 약 15%의 시각적 토큰만을 유지할 수 있습니다.
4. 효율성: VLM과 액션 헤드가 처리하는 시각적 토큰 수를 줄임으로써 계산 비용을 크게 낮추었습니다.

실험 결과

방법론은 CALVIN (ABC→D split) 및 LIBERO 벤치마크, 그리고 실제 환경의 조작 작업에서 평가되었습니다.

• 작업 성능:
  • CALVIN: ThinkProprio는 평균 완료 체인 길이 4.55를 달성하여, 강력한 베이스라인인 FLOWER(4.44)와 $\pi^{0.5}$(2.38)를 능가했습니다. 특히 장기 호라이즌(long-horizon) 작업(LH-5)에서 강세를 보이며, FLOWER의 77.8% 대비 82.1%의 성공률을 기록했습니다.
  • LIBERO: ThinkProprio는 평균 성공률 **97.3%**를 달성하여, 최고 수준의 베이스라인인 LightVLA(97.4%)와 경쟁 가능한 수준을 보였으며, LIBERO-Long 제품군에서 가장 높은 점수(95.2%)를 기록했습니다.
• 계산 효율성:
  • 지연 시간 (Latency): ThinkProprio는 FLOWER 베이스라인과 비교했을 때 엔드 투 엔드 추론 지연 시간을 58% 단축했습니다 (CALVIN 기준 52ms에서 22ms로 감소).
  • 토큰 감소: 모델은 타임스텝당 평균적으로 단 15개의 시각적 토큰만을 처리합니다 (사용 가능한 100개에서 감소). 이는 VLM과 액션 헤드의 시퀀스 길이를 크게 줄여줍니다.
  • VRAM: 피크 VRAM 사용량이 약 1.9 GB로 감소하였으며, 이는 OpenVLA(14.5 GB)와 비교했을 때 상당한 감소입니다.

의의 및 주장

본 논문은 ThinkProprio가 고유 수용 감각을 후기 신호로 취급하는 기존 VLA 모델의 한계를 성공적으로 해결했다고 주장합니다. 고유 수용 감각을 토큰화하여 언어 지침과 조기에 융합함으로써, 모델은 시각적 추론 과정을 행동에 유의미한 증거를 우선시하도록 형성할 수 있습니다.

저자들의 주장은 다음과 같습니다:

• 고유 수용 감각은 단순히 액션 생성 단계에서만 사용되는 것이 아니라, 작업 이해 과정 중에 명시적으로 제공되고 능동적으로 관여해야 합니다.
• 연속 상태를 텍스트 토큰으로 만드는 것은 학습된 프로젝터보다 우수한 인코딩 전략입니다. 이는 사전 학습된 토큰 임베딩과 정렬되며, 상태가 VLM의 추론 과정에 참여할 수 있게 합니다.
• 지침과 로봇 상태 모두에 의해 가이드되는 공격적인 시각적 토큰 감소는 성능 저하 없이도 충분히 가능합니다.
• 이 접근 방식은 장기 호즌(long-horizon) 작업에서 강력한 성능을 내는 동시에 추론 지연 시간과 메모리 풋프린트를 크게 줄여, 효율적인 체화된 로봇 제어를 위한 유망한 경로를 제시합니다.

결론적으로, 이미지는 많은 암묵적인 상태 단서를 제공하지만, 고유 수용 감각을 적절히 통합하는 것은 복잡한 조작, 특히 지속적인 수정과 접촉 역학(contact dynamics)이 필요한 장기 호라이즌 시나리오에서 매우 중요한 추가적인 근거 정보를 제공합니다.