기술 요약: DriftingVLA

문제 정의

기존의 시각-언어-행동(Vision-Language-Action, VLA) 모델, 특히 flow matching 기반 모델(예: $\pi_0$, $\pi_{0.5}$)은 표현력이 풍부하고 연속적인 액션 청크(action chunk)를 생성하는 데 탁-월합니다. 그러나 이 모델들은 추론 시 학습된 벡터 필드로부터 행동을 복구하기 위해 **반복적인 수치적 적분(iterative numerical integration)**에 의존합니다. 이 과정은 액션 전문가(action expert)에 대한 여러 번의 순차적인 네트워크 함수 평가(NFE, 예: 10 NFE)를 요구하며, 이는 실시간 온라인 로봇 제어를 저해하는 상당한 지연 시간(latency)을 유발합니다.

최근에는 증류(distillation, 예: SnapFlow)를 통해 이러한 정책을 가속화하거나, 단일 단계 예측을 위해 flow 공식을 조정하려는(예: MeanFlowVLA) 노력이 있었으나, 이러한 방법들은 여전히 추론 시의 수송 과정(transport process)에서 파생되었습니다. 따라서 반복적인 정교화(refinement)나 수치 솔버(numerical solver)에 의존하지 않으면서도, 다단계 flow 정책의 높은 제어 성능을 유지하면서 단 한 번의 순방향 패스(forward pass)로 완전한 액션 청크를 생성할 수 있는 네이티브 원스텝(native one-step) VLA가 필요합니다.

방법론

저자들은 **분포 드리프팅(Distribution Drifting)**을 사용하여 분포 정교화의 부담을 추론 시의 적분에서 훈련 시의 최적화로 전환하는 프레임워크인 DriftingVLA를 제안합니다.

1. 분포 드리프팅을 통한 네이티브 원스텝 생성

시간에 따라 적분될 속도 필드 $v_\theta$를 학습하는 flow 기반 모델과 달리, DriftingVLA는 가우시안 노이즈로부터 완전한 액션 청크로의 직접적인 매핑 $f_\theta$를 학습합니다.

• 훈련 목적 함수: 모델은 드리프트 기반 정책(Drift-Based Policy, DBP) 공식을 활용합니다. 훈련 중에 주어진 컨텍스트 $c_t$에 대해, 모델은 독립적인 잠재 샘플들로부터 $G$개의 형제(sibling) 액션 청크를 생성합니다. "드리프팅 필드(drifting field)"는 시연된 궤적에 대한 인력(attraction)과 생성된 형제 샘플들로부터의 척력(repulsion)을 사용하여 구축됩니다.
• 최적화: 훈련 시의 드리프팅 필드를 추론 시에 반복적으로 적용하는 대신, 수정 사항들을 stop-gradient 회귀 목적 함수를 통해 생성기 파라미터에 흡수시킵니다. 일단 훈련되면, 정책은 단 한 번의 순방향 패스 $\hat{A}_t = f_\theta(Z_t, c_t)$를 실행합니다 (여기서 $Z_t$는 단일 노이즈 샘플입니다).
• 아키텍처 적응: DriftingVLA는 $\pi_{0.5}$의 사전 학습된 멀티모달 백본(VLM)을 유지하지만, 새롭게 초기화된(freshly initialized) 액션 전문가를 사용합니다. 액션 전문가는 flow 속도를 예측하는 대신 노이즈를 액션 청크로 직접 매핑하도록 재학습됩니다. VLM과 액션 전문가는 공동으로 사후 학습(post-training)되며, 중복 계산을 피하기 위해 멀티모달 컨텍스트는 형제 샘플 전반에 걸쳐 공유됩니다.

2. 차원별 시간적 드리프팅 (Per-Dimension Temporal Drifting, PDTD)

VLA로 분포 드리프팅을 확장할 때 직면하는 핵심 과제는 액션 청크 $A \in \mathbb{R}^{H \times D}$ (여기서 $H$는 시간적 지평, $D$는 액션 차원)의 기하학적 구조를 정의하는 것입니다.

• 기존 방식의 한계:
  • 청크 단위 드리프팅(Chunk-wise Drifting): 전체 청크를 평탄화하여 이질적인 액션 채널(예: 이동, 회전, 그리퍼)을 하나의 기하학적 구조로 혼합합니다. 이는 한 차원의 스케일이 다른 차원의 드리프팅 신호에 영향을 미치는 교차 채널 간섭을 유발합니다.
  • 스텝 단위 드리프팅(Step-wise Drifting): 각 타임 스텝을 독립적으로 취급하여 개별 액션 채널의 시간적 궤적을 파편화합니다.
• PDTD 해결책: 저자들은 **차원별 시간적 드리프팅(Per-Dimension Temporal Drifting)**을 도입하여, 각 개별 액션 차원($A_{:,d} \in \mathbb{R}^H$)의 완전한 시간적 궤적을 별도의 드리프팅 단위로 취급합니다.
  • 기하학: 드리프팅 통계량(거리 스케일, 친화도, 힘)은 각 액션 차원 $d$에 대해 독립적으로 계산됩니다.
  • 결합 생성: 결정적으로, PDTD는 훈련 기하학만을 분리할 뿐 생성기 자체를 분리하지는 않습니다. 공유된 VLA 모델은 여전히 전체 $H \times D$ 청크를 공동으로 생성하여, 조율된 제어에 필요한 교차 차원 의존성을 보존합니다.

주요 기여

1. 네이티브 원스텝 VLA: 사전 학습된 flow 기반 VLA를 네이티브 드리프트 기반 생성으로 확장했습니다. 이는 사전 학습된 멀티모달 백본을 보존하면서 액션 인터페이스를 직접적인 조건부 생성기로 재학습함으로써 달성되었으며, 배포 시 수치적 적분이나 flow 궤적 증류의 필요성을 제거했습니다.
2. 차원별 시간적 드리프팅 (PDTD): 서로 다른 제어 의미론과 분포적 특성을 존중하는 액션 청크 드리프팅을 위한 새로운 구조를 제안합니다. PDTD는 이질적인 채널 기하학을 분리하면서도 완전한 채널별 시간적 궤적을 보존하며, 이를 통해 Chunk-wise 및 Step-wise 방식보다 우수한 성능을 보입니다.
3. 포괄적 평가: 시뮬레이션 벤치마크(LIBERO, RoboTwin 2.0)와 6가지 실제 단일 및 듀얼 암 조작 작업에 대한 광범위한 평가를 통해, 네이티브 원스텝 생성이 반복적인 flow 정책의 성능을 대등하게 유지하거나 능가하면서도 지연 시간을 크게 줄일 수 있음을 입증했습니다.

실험 결과

• 시뮬레이션 성능:
  • LIBERO: DriftingVLA는 **98.32%**의 전체 성공률을 달성하여, 원래의 10-NFE $\pi_{0.5}$ 정책(97.10%)과 원스텝 베이스라인인 SnapFlow(97.48%)를 능가했습니다.
  • RoboTwin 2.0: DriftingVLA는 **81.09%**에 도달하여, 10-NFE $\pi_{0.5}$보다 1.51포인트, SnapFlow보다 2.56포인트 더 높은 성과를 냈습니다. 특히, 표준 $\pi_{0.5}$ 정책을 표준적인 원스텝 절단(truncation) 방식으로 적용했을 때 성능이 63.76%로 급락했다는 점은 네이티브 훈련의 필요성을 강조합니다.
• 실제 환경 성능:
  • 6가지 실제 작업(단일 및 듀얼 암) 전반에서 DriftingVLA는 **77.67%**의 성공률을 기록하며, $\pi_{0.5}$(74.22%) 및 기타 원스텝 베이스라인들을 상당한 차이로 앞질렀습니다.
  • PDTD는 시뮬레이션과 실제 환경 모두에서 Chunk-wise 및 Step-wise 변형보다 일관되게 우수한 성능을 보였습니다.
• 효율성:
  • 지연 시간(Latency): 네이티브 원스텝 생성은 액션 청크 지연 시간을 10-NFE 기준 227.61 ms에서 67.67 ms로 단축하여, 3.36배의 속도 향상을 이루었습니다.
  • 훈련 오버헤드: 공유 컨텍스트 샘플링 설계를 통해 형제 샘플 수($G$)를 2에서 8로 늘려도 훈련 GPU 시간은 3.78%, 피크 메모리는 **9.54%**만 증가했습니다.

의의

본 논문은 반복적인 액션 정교화 과정을 성능 저하 없이 배포 루프에서 제거할 수 있음을 보여줍니다. 분포 드리프팅을 통해 분포 정교화를 훈련 단계로 옮기고 차원별 시간적 기하학을 활용함으로써, DriftingVLA는 네이티브 원스텝 배포를 달实现합니다. 이 접근 방식은 복잡한 로봇 조작에 필요한 표현력과 조율 능력을 유지하면서도 기존 flow 기반 VLA의 지연 시간 병목 현상을 해결하며, 실시간 고성능 로봇 제어를 위한 유망한 경로를 제시합니다.