기술 요약: 잠재 추론 VLA(LaRA-VLA)

문제 정의

비전 - 언어 - 행동 (VLA) 모델은 다중 모달 관측과 언어 지시를 연속 제어 명령으로 매핑함으로써 확장 가능한 로봇 조작에 상당한 잠재력을 입증해 왔습니다. 성능을 향상시키기 위한 주류 전략은 작업 분해 및 계획을 위한 구조화된 중간 단계를 제공하는 사고의 사슬 (Chain-of-Thought, CoT) 추론입니다. 그러나 기존 CoT 접근법은 두 가지 근본적인 한계에 직면해 있습니다:

1. 높은 추론 오버헤드: 텍스트 기반 CoT 방법은 추론 중에 광범위한 이산 추론 토큰을 생성해야 합니다. 이로 인해 상당한 계산 비용, 과도한 KV 캐시 사용, 높은 지연 시간이 발생하며, 종종 제어 주파수를 5Hz 미만으로 낮추어 실시간 로봇 제어에 불충분하게 만듭니다.
2. 표현 불일치: 대부분의 CoT 공식은 이산 표현 (언어 토큰 또는 VQ 기반 토크나이저에서 추출된 이산 비주얼 토큰) 에 의존합니다. 이는 로봇의 지각과 행동 공간이 본질적으로 연속적이라는 사실과 불일치를 초래합니다. 추론을 이산 토큰으로 제한하면 구현된 제어에 필요한 유연성을 저해할 수 있습니다.

방법론: LaRA-VLA

이러한 과제를 해결하기 위해 저자들은 다중 모달 CoT 추론을 연속 잠재 표현으로 내부화한 통합 프레임워크인 **잠재 추론 VLA(LaRA-VLA)**를 제안합니다. LaRA-VLA 는 추론 시간에 명시적인 추론 흔적을 생성하는 대신, 추론과 예측을 연속적인 지각 및 제어와 정렬된 잠재 공간 내에서 완전히 수행합니다.

1. 데이터 구축

저자들은 시뮬레이션 및 실제 환경 모두를 위한 구조화된 CoT 데이터셋 (LIBERO-LaRA 및 Bridge-LaRA) 을 구축하기 위해 자동 주석 파이프라인을 개발했습니다. 이 파이프라인은 "먼저 앵커, 나중에 생성" 패러다임을 사용합니다:

• 의미적 앵커: Qwen3-VL 을 사용하여 초기 프레임과 지시사항에서 조작된 객체를 식별합니다.
• 시간적 앵커: 그리퍼 상태 변화를 기반으로 로봇 궤적을 원자 단계로 분할하여 생성합니다.
• 주석: 시스템은 간결한 하위 작업 설명, 시간적으로 일관된 목표 객체 바운딩 박스 (GroundingDINO 및 SAM3 를 통해), 그리고 엔드 이펙터 궤적에서 유도된 운동 추론을 생성합니다.

2. 모델 아키텍처

LaRA-VLA 는 일관된 비주얼 표현을 위해 이미지 인코더를 계승하는 Qwen3-VL을 백본 비전 - 언어 모델 (VLM) 로 활용합니다.

• 비주얼 목표 잠재: 예측된 비주얼 잠재 (visual latents) 를 나타내기 위해 전용 <img next> 토큰이 도입되어 훈련 초기 단계에서 명시적 감독 및 정렬을 가능하게 합니다.
• 액션 전문가: 최종 단계에서 액션 생성은 자기회귀 토큰 디코딩과 분리됩니다. 16 레이어 확산 트랜스포머 (Diffusion Transformer) 가 학습된 잠재 표현에 조건부적으로 연속 액션 궤적을 생성하는 액션 전문가 역할을 합니다.

3. 3 단계 커리큘럼 훈련

훈련 패러다임은 명시적 추론에서 잠재 구현 추론으로 점진적으로 전환됩니다:

• 1 단계: 명시적 CoT 파인튜닝. 모델은 명시적 텍스트 CoT 주석 및 비주얼 목표 예측이 포함된 데이터셋으로 파인튜닝됩니다. 이 단계에서 모델은 이산 CoT 토큰을 자기회귀적으로 생성하고, 표현 붕괴를 방지하기 위해 지수 이동 평균 (EMA) 타겟 인코더를 사용하여 미래 비주얼 잠재 ($z_{t+1}$) 를 정렬하는 법을 학습합니다. 액션 토큰도 역동역학 (inverse dynamics) 목적 함수를 통해 훈련됩니다.
• 2 단계: 커리큘럼 기반 교체. 이산 CoT 토큰이 점진적으로 마스킹되고 학습 가능한 연속 잠재 표현으로 대체됩니다. 커리큘럼 일정에 따라 명시적 토큰의 비율이 감소하는 반면, 모델은 비주얼 예측 목적 함수와 액션 신호에 의해 안내되어 잠재 추론에 점점 더 의존합니다.
• 3 단계: 플로우 매칭을 통한 액션 생성. 명시적 CoT 감독이 제거됩니다. 모델은 플로우 매칭 목적 함수를 사용하여 연속 제어에 적응합니다. 액션 전문가는 현재 비주얼/텍스트 입력, 중간 추론 잠재, 그리고 예측된 미래 비주얼 잠재와 같은 다중 모달 잠재 컨텍스트에 조건부적으로 속도장을 예측하여 명시적 CoT 생성 없이 연속 액션 궤적을 생성합니다.

4. 어텐션 메커니즘

전용 어텐션 메커니즘이 토큰 간 정보 흐름을 조절합니다. 1 단계와 2 단계에서 미래 이미지 토큰은 텍스트 및 현재 이미지 토큰에 인과적으로 어텐션합니다. 3 단계에서는 액션 토큰이 어텐션 계산에서 제외되며, 모델은 동일한 제약 하에서 텍스트 및 비주얼 토큰만으로 작동하여 효율적인 추론을 보장합니다.

주요 기여

1. 잠재 추론 패러다임: 이 논문은 CoT 추론이 텍스트 및 비주얼 모달리티 전반에 걸쳐 연속 잠재 표현으로 내부화되는 패러다임을 제시하며, 이는 연속적인 지각 및 제어와 정렬된 추론 효율적인 추론을 가능하게 합니다.
2. LaRA-VLA 프레임워크: 이 패러다임을 실현하는 통합 VLA 모델로, EMA 기반 비주얼 인코더에 의해 안정화된 커리큘럼 기반 훈련 전략을 통해 명시적 다중 모달 CoT 감독에서 잠재 구현 추론으로 전환합니다.
3. 구조화된 데이터셋: 구현된 조작을 위한 다중 모달 추론 주석 (하위 작업 분해, 운동 추론, 목표 위치 파악) 이 포함된 두 개의 구조화된 CoT 데이터셋 (LIBERO-LaRA 및 Bridge-LaRA) 구축.

실험 결과

저자들은 LaRA-VLA 를 시뮬레이션 벤치마크 (LIBERO, SimplerEnv) 및 장기적 실제 로봇 조작 작업에서 평가했습니다.

• 시뮬레이션 성능: LIBERO 벤치마크에서 LaRA-VLA 는 **97.9%**의 최첨단 평균 성공률을 달성하여 No-CoT 베이스라인 (예: OpenVLA, $\pi_0$) 과 명시적 CoT 방법 (텍스트 및 비주얼) 모두를 능가했습니다. SimplerEnv-WidowX 에서는 **68.8%**의 가장 높은 평균 성공률을 기록하여 우수한 실제 - 시뮬레이션 일반화 능력을 입증했습니다.
• 실제 환경 성능: 실제 환경의 장기 작업 (예: 과일 분류, 그릇 쌓기) 에서 LaRA-VLA 는 비교된 방법 (ACT, ECoT, GR00T N1.5) 중 가장 높은 평균 성공률을 달성했으며, 특히 다단계 추론과 시간적 조정이 필요한 작업에서 뛰어난 성능을 보였습니다.
• 추론 효율성: LaRA-VLA 는 명시적 CoT 기반 접근법 대비 추론 지연 시간을 최대 **90%**까지 단축하여 NVIDIA A100 GPU 에서 135ms의 롤아웃 시간을 달성했습니다. 이는 실시간 로봇 공학에 적합한 제어 주파수를 가능하게 합니다.
• 견고성: 모델은 비잠재 베이스라인에 비해 시각적 교란 (가우시안 노이즈 및 흐림) 에 대해 더 큰 견고성을 보였으며, 잠재 표현은 손상 하에서도 의미적으로 일관성을 유지했습니다.
• 애블레이션 연구: 결과는 잠재 CoT 감독이 명시적 텍스트 CoT 보다 더 큰 개선을 제공함을 확인했습니다. 잠재 텍스트 및 비주얼 CoT 의 조합이 가장 좋은 성능을 발휘하여 다중 모달 정렬의 이점을 강조했습니다.

의의 및 주장

이 논문은 LaRA-VLA 가 추론 시간에 명시적인 사고의 사슬 생성 없이도 구현된 에이전트를 위한 구조화된 추론을 잠재 공간 내에서 효과적으로 실현할 수 있음을 보여준다고 주장합니다. 추론을 연속 잠재 역학으로 내부화함으로써 이 접근법은 이산 토큰과 연속 제어 간의 표현 불일치를 해결하면서도 계산 오버헤드를 크게 줄입니다. 저자들은 이 패러다임이 verbose 한 이산 추론 흔적의 한계를 넘어 효율적이고 실시간이며 견고한 로봇 조작을 위한 실현 가능한 길을 제시한다고 봅니다.

저자들은 잠재 표현이 명시적 감독 없이는 붕괴될 수 있음을 인정하며 (여기서는 잠재 토큰을 제한하고 EMA 를 사용하여 완화됨), 커리큘럼 훈련 과정이 전환 단계에서 더 높은 비용을 초래한다고 지적합니다. 그러나 이 연구는 VLA 모델에서 효율적이고 행동 지향적인 추론을 위한 기초를 마련했습니다.