기술 요약: RLinf-VLA

문제 정의

최근 시각-언어-행동(Vision-Language-Action, VLA) 모델의 발전은 상호작용을 통해 작업 성능을 향상시키는 강화학습(RL)의 잠재력을 입증했습니다. 그러나 이 분야의 현재 연구는 세 가지 주요 과제에 직면해 있습니다:

1. 파편화(Fragmentation): 기존의 노력들은 다양한 VLA 아키텍처, RL 알고리즘 및 시뮬레이터를 아우르는 공정한 비교를 위한 통합된 플랫폼이 부족합니다.
2. 비효율성(Inefficiency): 확장 가능한 RL 학습은 임바디드(embodied) 환경의 특수한 자원 경합을 고려하지 않은 시스템 설계로 인해 저해됩니다. 대규모 언어 모델(LLM)과 달리, VLA 학습은 모델 추론, 시뮬레이터 렌더링, 최적화 사이의 긴밀한 결합을 수반하며, 이는 종종 상당한 GPU 유휴 시간과 파이프라인 버블(pipeline bubbles)을 초래합니다.
3. 표준화 부재(Lack of Standardization): 통일된 인터페이스의 부재로 인해 기존 연구들이 서로 다른 프로토콜과 코드베이스에 의존함에 따라, RL 기반 VLA 학습에 대한 일반적인 원칙을 추출하기가 어렵습니다.

방법론

저자들은 시스템 수준의 추상화와 알고리즘 최적화를 통해 이러한 과제를 해결하기 위해 설계된 통합적이고 효율적인 프레임워크인 RLinf-VLA를 제시합니다.

1. 통합 시스템 추상화

RLinf-VLA는 다음을 통합하는 표준화된 인터페이스를 제공합니다:

• 다양한 시뮬레이터: CPU 병렬화 방식(예: LIBERO) 및 GPU 병렬화 방식(예: ManiSkill, RoboTwin)을 포함한 이기종 환경을 지원합니다.
• 다양한 아키텍처: 다양한 VLA 모델(예: OpenVLA, OpenVLA-OFT, $\pi_0$)과 행동 공식화(단일 단계 vs. 액션 청크)를 수용합니다.
• RL 알고리즘: PPO 및 GRPO와 같은 온-폴리시(on-policy) 알고리즘을 지원하며, 오프-폴리시(off-policy) 방법으로의 확장성을 갖추고 있습니다.

2. 유연한 GPU 할당 전략

자원 활용도를 극대화하기 위해, 프레임워크는 세 가지 실행 모드를 도입합니다:

• Collocated Mode (동일 배치 모드): 모든 구성 요소(생성, 시뮬레이터, 학습)가 동일한 GPU를 공유합니다. 저자들은 이러한 작업을 롤아웃 단계의 시작과 끝으로 제한함으로써 오프로드-온로드(offload-onload) 오버헤드를 최소화하도록 표준 방식을 수정했습니다.
• Disaggregated Mode (분리 배치 모드): 구성 요소가 별도의 GPU 파티션에 할당됩니다. 단순하지만, 구성 요소 간의 의존성(예: 데이터를 기다리는 GPU)으로 인해 자원 저하가 발생하는 경우가 많습니다.
• Hybrid Mode (하이브리드 모드 - 신규): 이전 두 모드의 장점을 결합합니다. 생성(Generation)과 시뮬레이터를 서로 다른 GPU 파티션에 할당하는 동시에 학습(Training)이 모든 GPU를 활용할 수 있도록 합니다. 결정적으로, 시뮬레이터 인스턴스를 서브 시뮬레이터($S^{(1)}, S^{(2)}, \dots$)로 분할하는 **미세 조정 파이프라이닝(fine-grained pipelining)**을 도입합니다. 이를 통해 시뮬레이터와 생성 구성 요소가 동시에 실행될 수 있게 하여, 빈번한 데이터 오프로딩 오버헤드 없이 순차적 의존성으로 인한 "GPU 버블"을 완화합니다.
• Auto-Placement (자동 배치): 런타임 프로파일링을 기반으로 최적의 GPU 할당 및 파이프라인 깊이($k=1$ 또는 $k=2$)를 자동으로 결정하는 경량 알고리즘입니다.

3. 알고리즘 설계 선택

프레임워크는 VLA로의 RL 확장을 위한 구체적인 설계 선택 사항을 정립합니다:

• 다중 입도 지원 (Multi-Granularity Support): 청크(Chunk), 액션(Action), 토큰(Token) 수준에서의 어드밴티지(advantage) 및 로그 확률 계산을 지원합니다.
• PPO 강화 사항:
  • 부분 리셋 (Partial Reset): 고정된 에피소드 길이를 기다리는 대신, 종료 즉시 서브 환경을 리셋하여 샘플 효율성을 높입니다.
  • 파라미터 공유 크리틱 (Parameter-Sharing Critic): 별도의 크리틱 네트워크의 계산 비용을 피하기 위해 액터의 언어 모델에 경량 가치 헤드(value head)를 부착합니다.
  • 액션 수준 가치 추정 (Action-Level Value Estimation): 액션 청크의 경우 청크 수준 추정보다 성능이 우수함을 경험적으로 발견했습니다.
• GRPO 강화 사항:
  • 유효 액션 마스크 (Valid Action Mask): 작업 완료 후 발생하는 타임스텝을 마스킹하여 관련 단계에 최적화가 집중되도록 합니다.
  • 궤적 길이 정규화 (Trajectory Length Normalization): 긴 궤적이 그래디언트를 지배하는 것을 방지하기 위해 유효 타임스텝 수로 손실(loss)을 정규화합니다.
  • 성공률 필터 (Success Rate Filter): 의미 있는 어드밴티지 계산을 보장하기 위해 모든 결과가 동일한(모두 성공하거나 모두 실패한) 궤적 그룹을 제외합니다.

주요 결과

프레임워크는 LIBERO (130개 작업), ManiSkill (25개 작업), RoboTwin (6개 작업)의 세 가지 벤치마크를 통해 평가되었습니다.

• 성능 향상:

  • LIBERO: 단일 통합 모델이 130개 작업에 대해 **98.11%**의 성공률을 달성했습니다 (기존 베이스라인 약 42%에서 상승).
  • ManiSkill: 단일 모델이 25개 작업에 대해 **97.66%**의 성공률을 달성했습니다 (OpenVLA-OFT의 베이스라인 약 18%에서 상승).
  • RoboTwin: 6개의 작업별 모델이 평균 **84.63%**의 성공률을 달了 (기본 모델 대비 63.75% 개선).
  • RL로 학습된 모델은 특히 분포 외(OOD) 일반화 측면에서 지도 미세 조정(SFT) 베이스라인보다 일관되게 우수한 성능을 보였습니다.

• 시스템 효율성:

  • 미세 조정 파이프라이닝을 적용한 하이브리드 모드는 ManiSkill에서 분리 배치(disaggregated) 베이스라인 대비 1.61배~1.88배의 속도 향상을 달성했습니다.
  • 전체적으로 RLinf-VLA는 롤아웃과 학습 단계를 모두 최적화함으로써 기존 프레임워크(예: SimpleVLA-RL) 대비 최대 2.27배의 속도 향상을 달성했습니다.

• 실세계 전이 (Real-World Transfer):

  • 서랍 닫기 작업에 대한 예비 실세계 실험 결과, RL 최적화 정책은 주로 시뮬레이션에서 학습되었음에도 불구하고 SFT 전용 베이스라인보다 더 직접적이고 유연한 동작을 보이며 작업을 더 효율적으로 완료했습니다.

의의 및 주장

저자들은 RLinf-VLA를 임바디드 지능 분야를 위한 기초적인 프레임워크로 자리매김합니다. 그 의의는 다음과 같습니다:

1. 통합: 다양한 시뮬레이터, 모델 및 알고리즘을 지원하는 최초의 통합 인터페이스를 제공하여 공정한 비교와 재현성을 가능하게 합니다.
2. 효율성: 임바디드 RL의 특수한 자원 경합 문제(시뮬레이터 vs. 추론 vs. 학습)를 해결함으로써, 학습 시간을 크게 단축하는 확장 가능한 솔루션을 제공합니다.
3. 최적의 관행 (Best Practices): RL 기반 VLA 학습을 안내하는 실행 가능한 설계 선택 사항들(예: 액션 수준 가치 추정, 부분 리셋, 유효 액션 마스킹)을 정립합니다.
4. 개방성: 오픈 소스로 공개되어 활발히 유지 관리되는 플랫폼으로서, 이 분야의 연구를 가속화하고 표준화하는 것을 목표로 합니다.

본 논문은 시뮬레이션 기반 RL이 실세계 배포에 대한 유망함을 보여주지만, 주요 기여는 강화학습을 통해 VLA 역량을 발전시키는 데 필요한 견고하고 효율적이며 확장 가능한 인프라를 구축한 것에 있다고 결론짓습니다.