기술 요약: EXPO-FT

문제 정의

새로운 작업을 효율적이고 신뢰성 있게 학습하는 능력은 로봇공학에서 여전히 근본적인 과제로 남아 있습니다. 비전 - 언어 - 행동 (VLA) 모델은 대규모 모방 학습을 통해 다양한 조작 작업에서 강력한 일반화 능력을 입증해 왔지만, 사전 훈련된 정책은 실제 세계 배포에 필요한 신뢰성 수준에 미치지 못합니다. 물리적 환경에서의 실패는 비용이 크므로, 일반화 능력을 갖춘 사전 훈련과 신뢰할 수 있는 작업별 성능 사이의 간극을 메우는 길이 필요합니다.

실제 세계 로봇 정책을 강화 학습 (RL) 을 통해 훈련하는 기존 접근법은 다음과 같은 이분법에 직면해 있습니다:

1. 처음부터 훈련 (Training from scratch): VLA 를 미세 조정하지 않고 RL 정책을 훈련하거나 (또는 그 위에 경량 모델을 훈련하는) 방법은 종종 강력한 점근적 성능을 달성하지만, 대규모 사전 훈련된 VLA 에 내재된 풍부한 의미론적 및 행동적 사전 지식을 활용하지 못합니다.
2. VLA 미세 조정 (Finetuning VLAs): 사전 훈련된 VLA 를 미세 조정하는 방법은 일반화 가능한 표현을 계승하지만, 종종 신뢰할 수 있는 성공률에 도달하지 못하거나, 과도하게 많은 환경 상호작용을 요구하거나, 두 가지 모두의 문제를 겪습니다.

사전 훈련된 VLA 의 사전 지식을 동시에 활용하면서도 실제 배포에 필요한 높은 샘플 효율성과 신뢰성을 달성할 수 있는 프레임워크에 대한 중요한 공백이 존재합니다.

방법론: EXPO-FT

저자들은 사전 훈련된 VLA 정책의 안정적이고 샘플 효율적인 RL 미세 조정을 위해 설계된 시스템인 EXPO-FT를 제시합니다. 이 시스템은 표현력 있는 흐름 (flow) 또는 확산 (diffusion) 정책을 위한 안정적인 RL 을 위한 최근 제안된 방법인 EXPO 알고리즘을 기반으로 구축되었으며, 로봇공학의 특정 과제를 해결하기 위해 확장되었습니다.

핵심 아키텍처 및 설계 선택

EXPO-FT 는 높은 샘플 효율성과 신뢰성을 달성하기 위해 세 가지 주요 구성 요소를 통합합니다:

1. 기본 정책 및 편집 메커니즘 (확장된 EXPO):

   • 시스템은 기본 흐름 정책 ($\pi_{VLA}$) 으로 사전 훈련된 VLA(구체적으로 $\pi_{0.5}$) 를 활용합니다.
   • RL 업데이트 중 대규모 VLA 모델을 통해 역전파하는 대신, EXPO-FT 는 경량 편집 정책 (edit policy)($\pi_{edit}$) 을 사용합니다.
   • 편집 정책은 작은 범위 $[-\beta, \beta]$로 제한된 수정 $\hat{a}$를 예측하며, 이는 기본 행동 $a$에 추가되어 편집된 행동 $\tilde{a} = a + \hat{a}$를 생성합니다.
   • Q 함수는 시간 차 (Temporal Difference, TD) 학습을 통해 훈련되어 기본 행동과 편집된 행동 중 값을 최대화하는 후보를 선택합니다. 이를 통해 시스템은 사전 훈련된 VLA 를 불안정하게 만들지 않으면서 TD 업데이트를 근사 최적 행동에 기반할 수 있게 합니다.

2. 시간적으로 확장된 행동 (행동 청크):

   • 단일 단계 가우시안 행동을 위해 설계된 고전적인 RL 알고리즘과 달리, 현대의 VLA 는 행동 청크 (action chunks)(미래 $H$개의 행동 시퀀스) 를 기반으로 작동합니다.
   • EXPO-FT 는 편집 정책과 Q 함수를 이러한 청크 ($a_{t:t+C}$) 에서 네이티브로 작동하도록 적응시킵니다. 편집 정책은 전체 청크에 대한 편집을 예측하여 VLA 설계의 핵심인 시간적 추상화를 유지합니다.

3. 인간 - 루프 (HIL) 개입:

   • 학습을 가속화하고 자율 탐색이 불충분한 곳에서 표적 수정을 제공하기 위해 시스템은 인간 - 루피 피드백을 통합합니다.
   • 온라인 훈련 중 인간 운영자는 SpaceMouse 를 사용한 원격 조작을 통해 행동 청크 내 특정 시간 단계에 대한 행동 수정을 제공할 수 있습니다.
   • 이러한 수정 행동은 개입된 시간 단계에서 정책의 행동을 덮어쓰며, 결과적으로 생성된 궤적은 재생 버퍼에 추가됩니다. 이 메커니즘은 탐색 부담을 줄이기 위한 고품질 신호를 제공합니다.

훈련 절차

시스템은 대규모 VLA 추론 및 훈련의 지연 시간을 관리하기 위해 분리된 러너 - 액터 (Learner-Actor) 아키텍처를 사용합니다:

• 액터: 실제 세계 환경에서 롤아웃을 실행하고, 인간 개입을 수집하며, 상태 - 행동 - 보상 튜플 $(s, a, r, s')$을 러너에게 전송합니다.
• 러너: VLA 훈련, 추론을 처리하고 재생 버퍼를 유지합니다. 에이전트 (Q 네트워크 및 편집 정책) 를 단계별, 에피소드별 또는 대규모 배치별로 업데이트합니다.
• 초기화: 온라인 RL 전에 VLA 는 종종 감독 미세 조정 (모방 학습) 을 통해 소규모 오프라인 인간 시연 데이터셋으로 부트스트랩되어 기준 성공률 (예: ~40%) 에 도달합니다.
• 보상: 시스템은 밀도 있는 보상 설계의 엔지니어링 오버헤드를 피하고 작업 완료를 나타내는 희소 이진 보상 신호를 사용합니다.

주요 기여

1. 샘플 효율적인 RL 미세 조정 시스템: RL 을 사용하여 사전 훈련된 VLA 모델을 신뢰성 있게 미세 조정할 수 있는 완전한 프레임워크 (EXPO-FT) 로, 최소한의 온라인 데이터로 높은 성공률을 달성합니다.
2. 아키텍처 확장: 시간적으로 확장된 행동 청크를 지원하도록 EXPO 알고리즘을 확장하고, VLA 미세 조정을 위해 인간 - 루프 개입을 통합한 점입니다.
3. 오픈소스 공개: 로봇공학 커뮤니티에서 VLA 모델에 대한 RL 미세 조정의 광범위한 채택을 촉진하기 위해 오픈소스 코드베이스를 공개했습니다.

실험 결과

저자들은 높은 정밀도, 동적 행동, 다양한 초기 상태에 대한 견고성이 필요한 여덟 가지 까다로운 실제 세계 조작 작업에서 EXPO-FT 를 평가했습니다. 작업에는 다음이 포함됩니다:

• 동적/접촉이 풍부한 작업: 에그 플립 (주걱으로 프라이팬의 계란 뒤집기), 풀 샷 (당구공 치기).
• 정밀도/정렬 작업: 플라워 인서트 (병에 줄기 삽입), 큐브 픽 (무작위화 상태에서의 그리핑), 스트링 라이트 라우팅 (전구 매달기 및 전원 연결).
• 변형 가능/노이즈가 있는 작업: 캔디 스쿱 (숟가락으로 캔디 옮기기).

성능 지표:

• 성공률: EXPO-FT 는 평가된 모든 작업에서 **완벽한 성공률 (30/30)**을 달성했습니다.
• 샘플 효율성: 시스템은 평균 19.1 분의 온라인 로봇 데이터 내에서 이 신뢰할 수 있는 성능에 도달했습니다.
• 비교: EXPO-FT 는 다음보다 우수한 성능을 보였습니다:
  • HIL-SERL(HIL 을 통한 처음부터 RL): 평균 5.5/30 성공률만 달성했으며, 큰 초기 상태 분포에 어려움을 겪었습니다.
  • DSRL(VLA 의 잠재 공간 RL): 평균 19/30 을 달성했으며, 사전 분포 내 최적화 제약으로 인해 제한되었습니다.
  • HG-DAgger(수정付き 모방 학습): 평균 22.1/30 을 달성했으나, 동적 작업에서 누적 오류를 복구하는 데 어려움을 겪었습니다.
  • 감독 미세 조정 (SFT): 평균 20.5/30 을 달성했습니다.

특히 동적 행동 (에그 플립, 풀 샷) 이나 높은 정밀도가 필요한 작업에서 EXPO-FT 와 기존 방법 간의 성능 격차가 가장 두드러졌습니다.

중요성 및 주장

이 논문은 EXPO-FT 가 올바른 아키텍처 선택으로 설계될 때 VLA 의 RL 미세 조정은 샘플 효율성과 신뢰성을 모두 가질 수 있음을 보여준다고 주장합니다. 사전 훈련된 VLA 의 의미론적 사전 지식과 효율적인 오프 - 정책 RL 알고리즘 (EXPO) 및 인간 - 루프 수정을 결합함으로써, 이 시스템은 일반화 능력을 갖춘 사전 훈련과 실제 세계 배포에 필요한 신뢰성 사이의 간극을 메웁니다.

저자들은 이 작업을 RL 을 통한 일반화 VLA 모델 미세 조정의 광범위한 채택을 위한 발판으로 위치시킵니다. 그들은 수동 환경 재설정 필요성과 수십억 파라미터 모델에서 고주파수 훈련을 실행하는 계산적 어려움과 같은 한계를 인정하며, 이를 향후 연구의 방향으로 제시합니다. 그러나 핵심 기여는 통합된 샘플 효율적 파이프라인이 일반화 VLA 를 복잡한 조작 작업을 위한 고도로 신뢰할 수 있는 전문가로 변환할 수 있음을 검증했다는 점입니다.