기술 요약: LaST0 – 로봇 비전-언어-행동 모델을 위한 잠재적 시공간 사고 사슬(Latent Spatio-Temporal Chain-of-Thought)

1. 문제 정의

비전-언어-행동(VLA) 모델은 비전-언어 모델(VLM)의 의미론적 이해를 로봇 제어 정책과 통합함으로써 강력한 일반화 능력을 최근 입증해 왔습니다. 그러나 추론 능력을 향상시키려는 기존의 접근 방식들은 로봇 조작에서 두 가지 근본적인 한계에 직면해 있습니다:

1. 추론 지연(Inference Latency): 언어적 추론 흔적(Chain-of-Thought)을 명시적으로 생성하거나 행동하기 전에 미래의 시각적 관측치를 예측하는 방법은 상당한 자기회귀 생성 오버헤드를 발생시킵니다. 이러한 지연은 실시간 폐루프(closed-loop) 로봇 제어에 필요한 시간 해상도를 제한합니다.
2. 표현의 병목 현상(Representational Bottleneck): 명시적 추론은 언어 공간에 국한되어 있어, 말로 설명하기 어려운 "언어로 표현할 수 없는(ineffable)" 물리적 속성과 미세한 로봇 역학을 충실히 포착하는 데 어려움을 겪습니다. 로봇 에이전트는 자연어로 표현할 수 있는 능력을 넘어서는 물리적 및 기하학적 상태에 대해 추론해야 합니다.

2. 방법론: LaST0 프레임워크

저자들은 효율적인 "행동 전 추론(reason-before-act)" 동작을 가능하게 하는 **잠재적 시공간 사고 사슬(LaST CoT)**을 통해 LaST0라는 통합 VLA 모델을 제안합니다. 이 모델은 텍스트나 이미지를 생성하는 대신, 압축된 연속적 잠재 공간(latent space) 내에서 추론을 수행합니다.

핵심 아키텍처

LaST0는 Janus-Pro (DeepSeek-LLM 1.5B) 백본으로부터 초기화된 혼합 트랜스포머(Mixture-of-Transformers, MoT) 설계를 기반으로 구축되었습니다. 이는 추론과 제어를 서로 다른 주파수에서 작동하면서도 글로벌 셀프 어텐션 컨텍스트를 공유하는 두 개의 특화된 전문가(expert)로 분리합니다:

• 느린 추론 전문가(Slow Reasoning Expert): 낮은 주파수(예: 매 $k$번째 타임스텝마다)로 작동합니다. 이는 미래의 물리적 역학을 나타내는 일련의 잠재 토큰인 LaST CoT를 생성하기 위해 자기회귀 추론을 수행합니다.
• 빠른 행동 전문가(Fast Acting Expert): 고주파 제어율에 맞춰 작동합니다. 고주파 관측치와 추론 전문가로부터 주기적으로 업데이트되는 잠재 표현을 조건으로 하여 연속적인 행동 명령을 생성합니다.

잠재적 시공간 CoT (Latent Spatio-Temporal CoT)

LaST CoT는 시간 지평 $H$에 걸쳐 세 가지 양상(modality)에 대해 미래 상태를 자기회귀적으로 예측하는 토큰 효율적인 잠재 공간입니다:

1. 2D 시각적 잠재 표현(2D Visual Latents): 동결된 SigLIP-Large 인코더를 사용하여 미래 RGB 프레임으로부터 인코딩됩니다.
2. 3D 기하학적 잠재 표현(3D Geometric Latents): 사전 학습된 Uni3D 인코더를 사용하여 미래 포인트 클라우드로부터 인코딩됩니다(학습 중에만 정답 타겟을 제공하기 위해 사용됨).
3. 로봇 고유 수용 감각 잠재 표현(Robot Proprioception Latents): 미래의 로봇 상태(관절 각도, 속도, 그리퍼 상태)로부터 인코딩됩니다.

이러한 양상들은 결합된 시공간적 의존성을 모델링하기 위해 연대순으로 인터리빙($z^v_1, z^p_1, z^s_1, \dots$)됩니다. 학습 과정에서 추론 전문가는 이산적인 토큰 예측 대신, 미래 관측치로부터 유도된 정답 잠재 시퀀스에 대한 **코사인 유사도 손실(cosine similarity loss)**을 통해 감독됩니다.

학습 전략

• 사전 학습(Pretraining): LaST0는 Open-X-Embodiment, DROID, RoboMIND에서 추출한 40만 개 이상의 다양한 궤적 코퍼스로 사전 학습됩니다.
• 지도 미세 조정(Supervised Fine-Tuning, SFT): 모델은 추론 전문가가 잠재 회귀 손실을 최소화하고, 행동 전문가가 Flow Matching 손실을 최소화하는 공동 최적화 과정을 거칩니다.
• 이종 주파수 학습(Heterogeneous Frequency Training): 행동 전문가는 무작위로 혼합된 fast-slow 작동 비율(예: 1:1, 1:2, 1:4)로 학습됩니다. 이를 통해 모델은 배포 시 적절한 실행 빈도를 적응적으로 선택할 수 있으며, 추론 업데이트 속도가 변할 때도 견고성을 보장합니다.

3. 주요 기여

1. 잠재적 시공간 CoT: 압축된 잠재 공간에서 추론을 수행하여, 언어로 설명하기 어려운 미세한 물리적 및 로봇 역학(2D, 3D 및 고유 수용 감각)을 포착하는 동시에 시간적 일관성 있는 모델링을 지원하는 새로운 프레임워크입니다.
2. Dual-System MoT 아키텍처: 저주파 잠재 추론과 고주파 행동 생성을 혼합 트랜스포머 스킴을 통해 조정하는 설계입니다. 이를 통해 실시간 제어 응답성을 해치지 않으면서도 숙고적인 추론을 가능하게 합니다.
3. 효율적인 학습 및 추론: 명시적인 텍언어/이미지 생성 대신 잠재 회귀를 사용하고 비동기적 주파수 조율을 활용함으로써, 명시적 CoT 방식에 비해 상당한 속도 향상을 달과 성을 달성했습니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 환경 벤치마크에서 LaST0를 최신 VLA 모델(예: OpenVLA, $\pi_0.5$, CoT-VLA, SpatialVLA)과 비교 평가했습니다.

시뮬레이션 벤치마크

• RLBench: 10가지 다양한 조작 작업에서 LaST0는 평균 성공률 **82%**를 달성하여, 가장 강력한 베이스라인인 HybridVLA-7B(74%)보다 8% 높은 성능을 보였습니다. 또한 명시적 CoT 방식(1.1 Hz)에 비해 우수한 추론 속도(15.4 Hz)를 입증했습니다.
• LIBERO: LaST0는 **98.1%**의 평균 성공률을 기록하며 $\pi_0.5$(96.9%)와 OpenVLA-OFT(97.1%)를 넘어섰습니다. 특히 장기 과제인 LIBERO-Long 스위트에서 **95.6%**를 달성하며 확장된 과제를 효과적으로 처리함을 보여주었습니다.

실제 환경 실험

테이블탑(단일/이중 팔), 모바일 조작, 그리고 정교한 핸드 제어를 아우르는 10가지 복잡한 작업에 대해 평가되었습니다:

• 성능: LaST0는 Franka 플랫폼에서 평균 성공률 **72%**를 달성하여, SpatialVLA(41%), $\pi_0.5$(59%), CoT-VLA(50%)를 크게 앞질렀습니다.
• 장기 과제 견고성: 세 번의 연속적인 성공적 실행(빵 위에 계란을 반복해서 놓기)이 필요한 장기 과제에서, LaST0는 단계별로 **66% $\to$ 47% $\to$ 33%**의 성공률을 유지한 반면, $\pi_0.5$는 **47% $\to$ 20% $\to$ 7%**로 급격히 하락했습니다.
• 일반화: 모델은 모바일 플랫폼(AgileX)과 정교한 휴머노이드 핸드(TienKung 2.0)로 성공적으로 일반화되어, 복잡한 관절 구조를 가진 객체 조작을 수행했습니다.

5. 의의 및 주장

본 논문은 LaST0가 로봇 VLA 모델에서 추론 깊이와 추론 속도 사이의 결정적인 트레이드오프 문제를 해결한다고 주장합니다. 추론을 언어 공간에서 물리적으로 근거가 있는 잠재 공간으로 전환함으로써, 이 프레임워크는 자기회귀 텍스트 생성의 지연 페널티 없이 견고한 조작에 필수적인 "언어로 표현할 수 없는" 물리적 역학을 포착합니다.

저자들은 듀얼 시스템 아키텍처를 통해 모델이 "행동 전 추론"(시간적 일관성, 물리적 이해)의 이점을 유지하면서도 실시간 제어에 적합한 주파수로 작동할 수 있음을 강조합니다. 결과는 잠재적 추론이 명시적인 텍text 또는 시각적 예측보다, 특히 미세한 물리적 상호작용과 장기 계획이 필요한 과제에서 구현된 AI를 위한 더 효과적이고 효율적인 패러다임임을 시사합니다.