기술 요약: CycleVLA

문제 정의

현재의 로봇 실패 탐지 및 수정 방식은 주로 사후적(post hoc) 방식으로 작동합니다. 이들은 오류가 완전히 발생한 후(예: 물체를 떨어뜨리거나 충돌이 발생한 후)에야 오류를 식별하고, 잔차 정책(residual policies)을 통해 사후적으로 교정 조치를 적용합니다. 이는 인간이 유리가 깨진 후에야 그것을 고치려고 노력하는 것과 유사하며, 예방할 수 있는 기회는 이미 상실된 상태입니다.

본 논문은 많은 로봇 작업 실패가 서브태스크 전환점(예: 잡기에서 들어 올리기로 넘어가는 단계)에서 발생한다고 주장합니다. 이러한 임계 지점에서는 진행 신호(예: 들어 올리기 직전의 어긋난 그리퍼 상태)가 실패를 예측할 수 있는 강력한 신호를 제공합니다. 과제는 일반적인 로봇 파운데이션 모델, 특히 시각-언어-행동(Vision-Language-Action, VLA) 모델에 선제적 자기 수정(proactive self-correction) 능력을 갖추는 것입니다. 즉, 외부의 개입 없이 실행 중에 발생하는 초기 오류를 감지하고 실패가 나타나기 전에 적응하는 능력을 부여하는 것입니다.

방법론: CycleVLA

CycleVLA는 VLA가 실패를 예측하고 다음의 3단계 사이클을 통해 회복할 수 있도록 설계된 시스템입니다: 진행 인지 실행(Progress-Aware Execution), VLM 기반 백트래킹(VLM-Gated Backtracking), 그리고 MBR 기반 재시도(MBR-Based Retry).

1. 진행 인지 VLA 미세 조정 (Progress-Aware VLA Finetuning)

표준 VLA는 일반적으로 서브태스크의 진행도를 추정하거나 서브태스크를 언제 멈출지 결정하는 메커니즘이 부족합니다. CycleVLA는 다음과 같은 방식으로 이를 해결합니다:

• 데이터 구축: 대규모 언어 모델(LLM)을 사용하여 고수준 작업 데모를 정밀한 시작/종료 타임스탬프를 가진 원자적 서브태스크로 분해합니다. 이를 로봇의 고유 수용 감각(그리퍼 상태 및 움직임 프리미티브)과 정렬하여 서브태스크가 분해된 데이터셋을 생성합니다.
• 확장된 행동 차원: VLA 정책은 확장된 행동 공간으로 미세 조정됩니다. 표준 7차원 행동 벡터(3D 이동, 3D 회전, 그리퍼 상태) 대신, 출력은 다음을 포함하는 9차원으로 확장됩니다:
  • $s_t \in \{0, 1\}$: 서브태스크 종료를 나타내는 중단 신호(stop signal).
  • $p_t \in [0, 1]$: 현재 서브태스크의 완료 수준을 나타내는 진행 신호(progress signal) (이산화된 빈(bin)으로 표현).
• 학습 전략: 각 서브태스크의 마지막 액션 스텝을 오버샘플링하여 종료 감지를 강조합니다. 모델은 엔드 이펙터 델타와 함께 스칼라 출력으로서 중단 및 진행 신호를 공동으로 예측하며, 이는 구조적 변경 없이 행동 차원을 넓히는 것만으로 가능합니다.

2. VLM 기반 실패 예측 및 백트래킹 (VLM-Based Failure Prediction and Backtracking)

추론 시, 시스템은 예측된 진행도 $p_t$를 모니터링합니다. $p_t$가 임계값 $\tau_p$(예: 0.9)에 도달하면, 시스템은 외부의 **시각-언어 모델(VLM)**에 질의하여 계속 진행할지 아니면 개입할지를 결정합니다.

• 입력: VLM은 동기화된 3인칭 및 손목 장착 카메라 뷰, 현재 서브태스크 지침, 그리고 전체 서브태스크 목록을 전달받습니다.
• 추론: 연쇄 사고(Chain-of-Thought) 추론을 사용하여, VLM은 전역적 문맥(물체 정체성, 올바른 서브태스크 실행 여부)과 미세한 단서(그리퍼 정렬, 접촉 품질)를 융합하여 현재 실행이 실패할지 여부를 예측합니다.
• 결정:
  • 전이(Transit): 실패가 예측되지 않으면, 시스템은 다음 서브태스크로 진행합니다.
  • 백트래킹(Backtrack): 실패가 예측되면, 시스템은 누락된 전제 조건을 복구할 수 있는 가장 이른 서브태스크의 시작점으로 로봇 구성을 되돌립니다(예: 물체를 놓친 경우, 잡기 서브태크로 백트래킹). 로봇 상태는 기록된 델타 액션을 역순으로 실행하여 복구되지만, 물체의 상태는 리셋되지 않습니다. 즉, VLA는 현재 장면을 다시 인지해야 합니다.

3. 최소 베이즈 위험(MBR) 디코딩을 통한 테스트 타임 스케일링

백트래킹 후, VLA는 서브태스크를 재시도합니다. 이러한 재시도의 성공률을 높이기 위해, CycleVLA는 제로샷 테스트 타임 스케일링 전략으로서 최소 베이즈 위험(Minimum Bayes Risk, MBR) 디코딩을 채택합니다.

• 샘플링: 확률적 VLA 정책은 현재 관측값과 서브태스크에 대해 $N$개의 액션 청크 가설($A = \{a^{(1)}, \dots, a^{(N)}\}$)을 생성합니다.
• 선택: 가장 가능성이 높은 액션을 선택하는 대신, MBR은 정책 분포 하에서 기대 위험(평균 쌍별 거리)을 최소화하는 가설을 선택합니다:
  $$a^{MBR} = \arg\min_{a^{(i)} \in A} \frac{1}{N} \sum_{j=1}^{N} d(\phi(a^{(i)}), \phi(a^{(j)}))$$
  여기서 $d$는 거리 메트릭(구체적으로 예측된 엔드 이펙터 운동의 L2 거리)이며, $\phi$는 궤적 특징을 추출합니다. 이는 정책 출력 공간의 고밀도 영역에 있는 "합의된(consensus)" 궤적을 선택합니다.

주요 기여

1. CycleVLA 시스템: 서브태스크 진행도 예측, VLM 가이드 백트래킹, MBR 기반 재시도를 결속하여 VLA에 선제적 자기 수정 능력을 부여하는 새로운 프레임워크를 제시했습니다.
2. 제로샷 테스트 타임 스케일링: MBR 디코딩이 특히 덜 훈련된 정책에 대해 VLA 성공률을 높이는 효과적인 학습 불필요(training-free) 전략임을 입증했습니다.
3. 성능 향상: CycleVLA가 다양한 역량의 VLA(미훈련부터 완전 수렴까지)에서 성공률을 개선하며, 시뮬레이션 벤치마크에서 SOTA인 $\pi0.5$를 능가함을 보여주었습니다.
4. 실세계 강건성: 실제 로봇에서 이 접근 방식을 검증하여, 정밀하고 긴 호흡의 작업에서 높은 성공률을 달 기록하였으며, 스트레스 테스트 상황에서 수동으로 주입된 실패의 약 80%를 교정했습니다.

실험 결과

시뮬레이션 벤치마크 (LIBERO & LIBERO-Plus)

• 표준 작업: LIBERO 벤치마크에서 CycleVLA($\pi0.5$ 백본 사용)는 **98.5%**의 평균 성공률을 달성하여, 기본 $\pi0.5$(96.9%) 및 GR00T N1(93.9%)과 같은 다른 최첨단 방식들을 앞질렀습니다.
• 섭동 강건성: 7차원의 섭동이 도입된 LIBERO-Plus에서 CycleVLA는 상당한 이득을 보였습니다. $\pi0.5$ 기반의 CycleVLA는 기본 모델 대비 평균 성공률을 +21.0% 향상시켰으며, 이는 환경 변화로 인한 미스그랩(misgrasp) 등의 실행 오류로부터 우수한 회복력을 보여줍니다.
• 미훈련 모델: CycleVLA는 더 적은 스텝(200K 및 350K) 동안 훈련된 모델에서도 효과적이었습니다. 200K 체크포인트의 경우, 실패 교정을 통해 평균 성공률을 73.2%에서 80.0%로 높여 더 큰 모델과의 성능 격차를 효과적으로 줄였습니다.
• 절제 연구(Ablation Studies): MBR 디코딩을 제거하면 성능이 완만하게 하락했습니다. 더 작은 VLM(LLaMA-3.2-11B)을 사용했을 때는 실패 예측의 신뢰도가 낮아져 성능이 저하되었습니다. 중단 신호(stop signal)를 제거하면 서브태스크가 조기에 종료되는 현상이 발생했습니다.

실세계 실험

• 설정: AgileX PiPER 암과 손목 장착 및 전면 카메라를 사용하여 평가했습니다. 작업에는 찻주전자 걸기(정밀도), 접시에 과일 놓기(장기 호흡), 조리 도구 패킹(시각적 도전 과제) 등이 포함되었습니다.
• 자연적 실패: CycleVLA는 모든 작업에서 교정 기능이 없는 베이스라인보다 우수한 성능을 보였습니다(예: 패킹 작업에서 0.93 대 0.80).
• 스트레스 테스트: 인간이 서브태스크 전환 직전에 오류(방해 물체, 목표물 위치 변화, 목표물 교체)를 주입했습니다. CycleVLA는 이러한 주입된 실패의 **약 80%**를 평균적으로 교정하며, 많은 경우 섭동이 없는 실행과 유사한 성공률을 유지했습니다.

의의 및 주장

본 논문은 CycleVLA를 VLA에 선제적 자기 수정 능력을 부여하기 위한 초기 연구로 포지셔닝합니다. 그 의의는 패러다임을 반응적 오류 수정(깨진 후 고치는 것)에서 예측적 회복(깨지기 전에 방지하는 것)으로 전환하는 데 있습니다.

저자들은 다음과 같이 주장합니다:

1. 서브태스크 전환은 진행 신호를 활용하여 예측을 수행할 수 있는 핵심적인 실패 지점입니다.
2. VLM은 VLA를 재학습시킬 필요 없이, 진행 신호의 안내를 받아 제로샷 실패 예측 및 플래너 역할을 효과적으로 수행할 수 있습니다.
3. MBR 디코딩은 특히 완전히 수렴되지 않은 정책에 대해 테스트 타임에 VLA의 신뢰성을 높이는 강력한 학습 불필요 메커니즘입니다.
4. 이 접근 방식은 일반화 가능하며, 다양한 VLA 백본과 시뮬레이션 및 실세계 환경 모두에서 작동합니다.

논문은 한계점도 인정하고 있는데, 백트래킹은 로봇 상태가 가역적임을 가정한다는 점(동적인 환경에서는 성립하지 않을 수 있음)과 MBR 디코딩이 여러 번의 순방향 패스로 인해 추론 시간을 증가시킨다는 점을 언급했습니다. 향-후 연구로는 이러한 능력들을 VLA에 직접 통합하여 엔드 투 엔드 추론을 구현하는 것이 제안되었습니다.