기술 요약: World-VLA-Loop

문제 제기

강화 학습 (RL) 은 행동 모방 (behavior cloning) 을 넘어 비전 - 언어 - 행동 (VLA) 정책을 정제할 수 있는 경로를 제공하지만, 실제 세계에서의 적용은 광범위한 물리적 롤아웃, 안전 위험, 리셋을 위한 운영 오버헤드 등 막대한 비용으로 인해 방해받고 있습니다. 행동 조건부 비디오 월드 모델은 훈련을 위한 가상 대안을 제공하지만, 현재 두 가지 중요한 한계에 직면해 있습니다:

1. 정확하지 않은 행동 추종: 기존 비디오 월드 모델은 미묘한 행동 오류의 결과를 정확하게 시뮬레이션하지 못하는 경우가 많습니다. 로봇이 사소한 오류 (성공에 근접한 실패) 를 수행할 때조차도 성공적인 결과를 "환각"하는 경향이 있어, 성공과 실패를 구분하는 데 필요한 세밀한 물리적 기반이 부족합니다.
2. 내재적 보상 신호의 부재: 이러한 모델은 RL 을 위한 보상 신호를 본질적으로 제공하지 않습니다. 시각적 예측에서 보상을 유도하는 기존 접근법 (예: 별도의 VLM 사용 또는 휴리스틱 유사도 지표) 은 기본이 되는 비디오 예측이 부정확할 때, 특히 중요한 성공에 근접한 실패 사례에서 신뢰할 수 없습니다.

결과적으로 초기 데이터로 훈련된 정적 시뮬레이터는 진화하는 VLA 정책과 불일치하게 됩니다. 정책이 개선되고 행동을 변화함에 따라 고정된 시뮬레이터는 더 이상 새로운 실패 모드를 정확하게 반영하지 못해, 예측된 궤적과 보상 추정치 모두에서 편향이 발생합니다.

방법론: World-VLA-Loop

저자들은 비디오 월드 모델과 VLA 정책이 공진화하도록 설계된 폐루프 프레임워크인 World-VLA-Loop를 제안합니다. 이 시스템은 네 가지 반복 단계를 통해 작동합니다:

1. SANS 데이터셋 큐레이션

세밀한 실패 데이터의 부재를 해결하기 위해, 저자들은 성공 및 성공에 근접한 (SANS) 데이터셋을 큐레이션합니다. 주로 성공적인 시연에 초점을 맞추는 표준 데이터셋과 달리, SANS 는 성공적인 궤적과 "성공에 근접한" 궤적 (로봇이 말단 작동기 위치 정확도 부족으로 인해 실패하는 경우) 을 명시적으로 혼합합니다. 이 데이터셋은 ManiSkill, LIBERO, 그리고 실제 로봇 환경에서 구축되어, 월드 모델이 성공과 미묘한 실패 사이의 날카로운 경계를 학습하도록 강제합니다.

2. 상태 인식 비디오 월드 모델

시뮬레이터의 핵심은 Cosmos-Predict 2를 기반으로 구축된 상태 인식 비디오 월드 모델입니다.

• 아키텍처: 확산 트랜스포머 (DiT) 백본을 활용합니다. 행동 임베딩 (6-DoF 말단 작동기 포즈 및 그리퍼 상태) 은 생성을 조건부로 만들기 위해 확산 타임스탬프 임베딩에 직접 통합됩니다.
• 연합 보상 예측: 외부 모듈에 의존하는 대신, 모델은 확산 잠재 공간에서 작동하는 보상 예측 헤드를 포함합니다. 이 헤드는 미래 비디오 프레임과 함께 이진 성공/실패 보상을 예측합니다.
• 훈련 목적: 모델은 비디오 생성을 위한 플로우 매칭 손실과 보상 예측 손실을 결합한 연합 손실 함수로 훈련됩니다. 이 연합 감독은 생성기가 잠재 공간에서 성공과 실패 결과를 더 잘 구분하도록 장려하여, 시각적 충실도와 보상 정확도 모두를 향상시킵니다.

3. VLA RL 사후 훈련

훈련된 월드 모델은 **그룹 상대 정책 최적화 (GRPO)**를 위한 가상 환경으로 작용합니다.

• VLA 정책 (OpenVLA-OFT 기반) 은 월드 모델과 상호작용하며, 이 모델은 미래 시각적 관찰과 단계별 보상 신호를 자기회귀적으로 생성합니다.
• 이러한 보상은 이진 성공 신호를 만들기 위해 임계값 처리되어, 정책이 물리적 상호작용 없이 시뮬레이션된 롤아웃에서 학습할 수 있도록 합니다.

4. 폐루프 반복 정제

이 프레임워크는 공진화 사이클을 수립합니다:

• RL 업데이트 후, 정제된 VLA 정책은 실제 세계 또는 대상 환경에서 새로운 롤아웃 (성공 및 실패 모두) 을 생성하도록 배포됩니다.
• 이러한 새로운 궤적은 SANS 데이터셋을 확장하는 데 사용됩니다.
• 그런 다음 월드 모델은 이 확장된 데이터셋으로 미세 조정되어, 업데이트된 정책의 특정 실패 모드를 시뮬레이션하는 능력을 향상시킵니다.
• 이 사이클이 반복되어 시뮬레이터가 정책의 진화하는 행동과 정렬되도록 보장합니다.

주요 기여

1. SANS 데이터셋: 월드 모델에서의 행동 - 결과 정렬을 개선하기 위해 성공 및 성공에 근접한 궤적을 명시적으로 혼합한 데이터셋의 도입.
2. 상태 인식 월드 모델: 확산 잠재 공간에서 미래 비디오 프레임과 이진 보상을 연합적으로 예측하는 새로운 아키텍처. 이 설계는 내재적이고 신뢰할 수 있는 보상 신호를 제공하며, 연합 훈련을 통해 시각적 예측 정밀도를 향상시킵니다.
3. World-VLA-Loop 프레임워크: 월드 모델과 VLA 정책을 반복적으로 정제하는 폐루프 패러다임. 정책 롤아웃을 월드 모델 훈련에 피드백함으로써, 시스템은 시뮬레이터와 진화하는 정책 간의 정렬을 유지합니다.

실험 결과

이 프레임워크는 시뮬레이션 (LIBERO 벤치마크) 과 실제 로봇 작업 (컵 들기 및 놓기, 큐브 밀기) 전반에 걸쳐 평가되었습니다.

• 월드 모델 성능: 모델은 평균 시각적 정렬 88.5% 및 **보상 정렬 87.25%**를 달성하여 성공과 실패를 구분하는 높은 충실도를 입증했습니다.
• RL 성능 향상:
  • LIBERO 벤치마크에서 OpenVLA-OFT 정책은 RL 사후 훈련 후 평균 성공률이 12.7% 향상되었습니다.
  • 실제 세계 시나리오에서 정책은 두 가지 다른 작업에서 감독 미세 조정 (SFT) 기준선에 비해 각각 23.4% 및 13.3% 개선되었습니다.
• 반복 정제: 폐루프 프로세스는 추가적인 향상을 가져왔습니다. 두 번의 연합 최적화 반복 후, 실제 세계 성공률은 초기 SFT 기준선 대비 추가로 36.7% 및 26.6% 증가하여 공진화 사이클의 유효성을 검증했습니다.
• 절대 연구: 훈련에서 성공에 근접한 데이터를 제거하면 시각적 정렬이 약 30% 감소했으며, 보상 판단을 위해 외부 VLM(Qwen3-VL) 을 사용하는 것은 내부 보상 헤드보다 낮은 정확도를 보여, 제안된 설계의 필요성을 확인시켰습니다.

중요성 및 주장

이 논문은 World-VLA-Loop가 비용이 많이 드는 물리적 상호작용에 대한 의존성을 크게 줄임으로써 실제 세계 로봇 학습을 위한 확장 가능한 방향을 제공한다고 주장합니다. 현재 비디오 시뮬레이터의 부정확한 행동 추종과 내재적 보상 신호의 부재를 해결함으로써, 이 프레임워크는 가상 환경 내에서 효과적인 RL 사후 훈련을 가능하게 합니다. 저자들은 공진화 패러다임이 중요하다고 강조합니다. 정적 시뮬레이터는 결국 개선된 정책과 불일치하게 되지만, 그들의 반복적 루프는 시뮬레이터가 정책의 새로운 실패 모드에 지속적으로 적응하도록 하여, 신뢰할 수 있는 원회 시뮬레이션을 견고한 반복 학습 시스템으로 전환합니다.

저자들은 현재 자기회귀 비디오 모델의 컨텍스트 메모리 및 품질 편향으로 인해 300 프레임 이상의 장기 작업과 관련하여 제한 사항이 있음을 인정하며, 장기 안정성 향상과 단계별 중간 하위 목표 탐색을 위한 향후 작업을 제안합니다.