기술 요약: PearlVLA

문제 정의

현재의 시각-언어-행동(Vision-Language-Action, VLA) 모델들은 효율적인 행동 생성과 명시적 숙고(deliberation) 사이의 근본적인 트레이드오프 문제에 직면해 있습니다.

• 직접 디코딩(Direct Decoding): 표준적인 접근 방식은 시각-언어 백본으로부터 행동을 직접 디코딩합니다. 이는 저지연 제어를 가능하게 하지만, "잠재적 숙고(latent deliberation)"의 기회를 제한하여, 정책이 실행 전 미래 상태를 미리 보거나 스스로 교정하는 것을 방지합니다.
• 명시적 추론(Explicit Reasoning): 대안적인 방법들은 텍스트 추론 흔적, 픽셀 수준의 하위 목표(subgoal), 또는 행동 공간 탐색을 통해 중간 계획 신호를 도입합니다. 이러한 방식은 계획 능력을 향상시키지만, 상당한 지연 시간, 계산 오버헤드, 그리고 표현 불일치(예: 텍스트 추론은 연속적인 제어와 거리가 멀며, 픽셀 수준의 미래는 행동으로 매핑하기 어려움)를 초래합니다.
• 공백(The Gap): 텍스트 생성이나 픽셀 재구성의 오버헤드 없이, 잠재 공간(latent space) 내에서 미래 피드백을 생성하고, 현재의 잠재 계획에 적응하며, 행동 디코딩 전 계획을 정교화할 수 있는 효율적인 폐쇄 루프(closed-loop) 메커니즘이 부족합니다.

방법론: PearlVLA

PearlVLA는 시각-언어 모델(VLM)의 잠재 공간으로 행동 계획 숙고를 이동시키는 프레임워크입니다. 외부의 추론 체인을 사용하는 대신, 고정된 잠재 세계 모델(World Model, WM)을 포함하는 폐쇄 루프를 통해 잠재 행동 계획을 점진적으로 정교화합니다.

핵심 아키텍처

1. 잠재 계획 초기화 (Latent Plan Initialization):

   • VLM(OpenVLA-7B 백본)은 메타 쿼리 표현($z_{meta}$)을 생성합니다.
   • 이는 고정된 시각적 접지 브랜치(fixed visual grounding branch, $z_{vis}$)와 반복적 잠재 계획 브랜치($\tilde{z}_0$)로 나뉩니다.
   • 초기 계획 토큰($z_0$)은 WM 조건 공간으로의 매핑을 부드럽게 하기 위해 $\tilde{z}_0$에 작은 가우시안 노이즈를 더하여 초기화됩니다.

2. 계획 조건부 세계 쿼리 (Plan-Conditioned World Query):

   • 프레임워크는 쿼리 생성을 고정된 앵커와 동적인 계획 구성 요소로 분리합니다:
     • $q_{anchor} = P_{vis}(z_{vis})$ (고정된 시각적 접지).
     • $q_k = q_{anchor} + \beta_k P_{plan}(z_k)$ (동적인 계획 의존 항).
   • 여기서 $\beta_k$는 앵커로부터 쿼리가 얼마나 벗어날지를 제어하는 학습 가능한 스칼라로, 쿼리가 사전 학습된 잠재 WM의 조건 분포 내에 머물도록 보장합니다.

3. 폐쇄 루프 정교화 (Closed-Loop Refinement, K 라운드):

   • 미래 예측 (Future Prediction): 각 라운드 $k$에서, 현재의 계획 $z_k$는 쿼리 $q_k$를 생성합니다. 고정된 잠재 세계 모델(UWM)은 $q_k$에 조건화되어 행동이 배제된 미래 관측 잠재값($o_k$)을 예측합니다. 결정적으로, 이는 행동 조건부 롤아웃이 아닌 관측 롤아웃입니다.
   • 잔차 업데이트 (Residual Update): **미래 가이드 정교화 네트워크(Future-Guided RefineNet)**는 현재의 계획 $z_k$와 미래 피드백 요약 $s_k$($o_k$로부터 인코딩됨)를 입력받아 잔차 수정값 $\delta_k$를 계산합니다.
   • 쓰기-백 (Write-Back): 계획은 다음과 같이 업데이트됩니다: $z_{k+1} = z_k + w_k \delta_k$.
   • 스케줄링 (Scheduling): 감소하는 쓰기-백 스케줄($w_k$)을 통해 초기 라운드에서는 거시적인 전역 수정을, 후기 라운드에서는 미세한 지역 수정을 수행합니다.

4. 행동 디코딩 (Action Decoding):

   • $K$ 라운드 후, 정교화된 잠재 계획 $z_K$는 경량화된 행동 헤드로 디코딩되어 $H$-스텝 연속 행동 청크(action chunk)로 변환됩니다. 이는 직접적인 VLA 정책의 저지연 실행 경로를 보존합니다.

학습 목표

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):

   • 예측된 행동 청크와 전문가 행동 사이의 MSE를 최소화합니다.
   • **교사 정렬 손실(Teacher Alignment Loss)**을 포함합니다: 이는 투영된 세계 쿼리($q_k$)가 고정된 잠재 WM의 조건 매니폴드(manifold)에 가깝게 유지되도록 하여 루프를 안정화합니다.
   • 주파수 영역의 행동 모델링을 위한 이산 코사인 변환(DCT) 손실을 포함합니다.

2. 인과적 정교화 그룹화 프로세스 보상 RL (Causal Refinement-Grouped Process-Reward RL, CRG-PRL):

   • 정교화 궤적을 최적화하는 강화 학습 단계입니다.
   • 메커니-즘: 이를 내부 MDP로 취급합니다. 특정 상태에 대해, 여러 "잔차 브랜치"(서로 다른 편집본)를 샘플링하고, 고정된 보상 모델(Robometer-4B)을 사용하여 각 편집에 의해 유도된 상상된 미래를 점수화합니다.
   • 그룹 상대적 이점 (Group-Relative Advantage): 시작 상태의 난이도에서 편집의 인과적 효과를 분리하기 위해, 동일한 기본 상태를 공유하는 브랜치 그룹 내에서 보상을 표준화합니다. 이는 학습된 가치 함수(critic) 없이도 작동하게 합니다.
   • 가드레일 (Guardrails): 드리프트를 방지하기 위해 지도 정책에 대한 KL 발산, 편집 크기 페널티, 행동 복제(behavior cloning) 앵커를 포함합니다.

주요 기여

1. 잠재 숙고 프레임워크: PearlVLA를 도입하여, 명시적인 텍스트나 픽셀 수준의 추론 없이 VLM의 잠재 공간 내에서 점진적인 행동 계획 정교화를 수행합니다.
2. 폐쇄 루프 미래 피드백: 계획 조건부 세계 쿼리가 고정된 잠재 WM을 탐색하여 업데이트된 상상된 미래를 생성하고, 이것이 픽셀 재구성이나 행동 공간 롤아웃 없이 계획을 정교화하는 데 피드백되는 메커니즘을 설계했습니다.
3. 안정적인 정교화 체계: 앵커 기반 잔차 업데이트 방식을 제안합니다. 앵커 쿼리는 세계 쿼리를 사전 학습된 조건 공간 내에 유지하며, 스케줄링된 잔차 쓰기-백은 잠재 계획의 드리프트를 제어하여 거친 수준에서 미세한 수준으로의 정교화를 가능하게 합니다.
4. 보상 가이드 최적화: 상상된 미래로부터 도출된 그룹 상대적 보상을 사용하여 정교화 궤적을 최적화하는 CRG-PRL을 개발했습니다. 이는 가치 함수 없이도 잠재 편집의 인과적 효과를 분리해냅니다.
5. 최첨단 성능: 점진적 미래 가이드 정교화와 보상 가이드 최적화를 결합하여 LIBERO 벤치마크에서 우수한 성능을 달성함을 입증했습니다.

실험 결과

LIBERO 벤치마크(Spatial, Object, Goal, Long-horizon suite)에서 평가되었습니다:

• 주요 결과: PearlVLA(Supervised)는 평균 성공률 **98.5%**를 기록하여, 강력한 OpenVLA-OFT 베이스라인(97.1%) 및 기타 flow-matching/diffusion 기반 VLA들을 능가했습니다.
• CRG-PRL 적용 시: 최종 모델은 **98.7%**의 평균 성공률을 달성하여 새로운 SOTA를 기록했습니다.
• 강건성 (Robustness): LIBERO-Plus(레이아웃, 카메라, 조명 등의 통제된 섭동)에서 PearlVLA는 76.3%의 성공률을 기록하며 OpenVLA-OFT(69.6%)를 크게 앞질렀습니다.
• 절제 실험 (Ablations):
  • 정교화 라운드($K$)를 0에서 4로 늘림에 따라 성능이 96.8%에서 98.5%로 향상되었습니다.
  • 장기 궤적 강건성 (Long-Horizon Robustness): 확장된 행동 청크($H=20$)를 사용할 때, 정교화된 모델($K=4$)과 직접 디코딩 모델($K=0$) 사이의 성능 격차가 더 벌어졌습니다. 잠재 정교화는 성공률 하락 폭을 직접 디코딩의 3.2포인트에서 1.7포인트로 줄여, 개선된 행동 일관성과 감소된 개방 루프 드리프트를 보여주었습니다.

의의 및 주장

본 논문은 PearlVLA가 정책 내부에 **예측적 계획(anticipatory planning)**을 내재화함으로써 VLA 정책의 구체적인 공백을 해결한다고 주장합니다.

• 효율성 vs 추론: 명시적인 추론 체인의 지연 시간이나 행동 공간 탐색의 계산 비용 없이도 "System 2" 스타일의 숙고가 가능하다는 것을 보여줍니다.
• 최적화 가능한 숙고: 정교화 과정은 단순히 고정된 아키텍처적 선험 지식이 아니라 최적화 가능한 메커니즘입니다. CRG-PRL의 성공은 잠재 편집의 궤적이 상상된 미래로부터 얻은 보상 신호를 통해 개선될 수 있음을 확인시켜 줍니다.
• 일반화: 이 프레임워크는 (언어 모델에서 이미 탐구된 바 있는) 잠재 추론의 개념을 체화된 행동 계획으로 확장하며, 여기서 중간 계산은 현재의 장면과 진화하는 계획에 의해 암시되는 미래를 공동으로 고려합니다.

저자들이 언급한 한계점: 현재 구현은 모든 쿼리에 대해 고정된 정교화 깊이($K$)를 사용하며, 이는 작업 복잡도와 무관합니다. 향후 연구에서는 불확실성이나 미래 일관성 신호에 따라 이 깊이를 가변적으로 만드는 것을 제안합니다.