기술 요약: Flow Reversal Steering을 통한 로봇 범용 정책 개선

문제 정의

대규모의 다양한 데이터셋으로 학습된 시각-언어-행동(Vision-Language-Action, VLA) 모델과 같은 범용 로봇 정책은 "합리적인" 행동에 대한 풍부한 사전 지식(prior)을 보유하고 있다. 그러나 이 정책들이 학습 데이터와는 다른 새로운 과제(예: 장기적 호라이즌의 행동이나 특정 적응이 필요한 경우)에 직면했을 때, 종종 실패하곤 한다. 표준적인 회복 방법은 새로운 시연 데이터를 사용하여 재학습하는 것이지만, 이는 비용이 많이 들고 시간이 오래 걸린다.

기존의 스티어링(steering) 방법들은 인간이나 시각-언어 모델(VLM)의 의미론적 지식을 사용하여 정책을 유도하려고 시도한다. 그러나 결정적인 병목 현상이 존재한다: VLM은 고수준의 의미론적 목표(예: "오른쪽으로 이동")를 추론할 수는 있지만, 정밀하고 저수준의 숙련된 행동을 생성하는 데는 어려움을 겪는다. 반대로, 플로 매칭(flow matching) 정책(범용 모델에서 흔히 쓰이는 아키텍처)은 노이즈를 행동으로 결정론적으로 매핑하지만, 그 노이즈 공간에는 즉각적으로 파악할 수 있는 구조가 결여되어 있다. 원하는 행동에 매핑되는 특정 노이즈 벡터를 찾는 작업은 일반적으로 비용이 많이 드는 시행착오 방식의 강화 학습(RL)을 필요로 하는데, 기본 정책이 해당 과제에서 성공률이 거의 0에 가까운 경우에는 이러한 RL이 실행 불가능한 경우가 많다.

방법론: Flow Reversal Steering (FRS)

저자들은 의미론적 가이드와 정밀한 로봇 행동 사이의 간극을 메우기 위해 플로 매칭 정책의 결정론적 특성을 활용하는 방법인 **Flow Reversal Steering (FRS)**을 제안한다.

핵심 메커니즘

FRS는 플로 정책을 역전(invert)시키는 방식으로 작동한다. 무작위 노이즈를 샘플링하여 이를 디노이징(denoising)하는 대신, FRS는 "거친(coarse)" 참조 행동($a_1$)—이는 최적이 아니거나 심지어 분포 외(OOD)일 수도 있음—을 가져와서 플로 정책을 통해 역방향으로 통과시킨다.

1. Flow Reversal (플로 역전): 주어진 참조 행동 $a_1$과 관측값 $o$에 대해, 이 방법은 학습된 속도장(velocity field) $v_\theta$를 시간의 역순(t=1에서 t=0으로)으로 적분하여 $a_1$을 생성했을 법한 잠재 노이즈 벡터 $\hat{a}_0$를 식별한다.
   $$\hat{a}_0 \leftarrow \mu^{-1}_\theta(a_1, o)$$
2. Denoising (디노이징): 이렇게 계산된 노이즈 $\hat{a}_0$는 다시 표준 순방향 플로 매칭 과정(디노이징)을 거쳐 정제된 행동 $\hat{a}_1$을 생성한다.
   $$\hat{a}_1 \leftarrow \mu_\theta(\hat{a}_0, o)$$

핵심 통찰: 적분 오차로 인해 $\hat{a}_1$이 참조 행동 $a_1$과 완전히 동일하지는 않지만, $\hat{a}_1$은 범용 정책의 분포 내(in-distribution)에 존재한다. 이 과정은 거친 의미론적 의도를 범용 정책이 이미 실행할 수 있는 근처의 고품질 행동 모드로 "투영(project)"하는 역할을 한다. 이를 통해 정책은 추론기(reasoner)가 제공하는 고수준의 방향을 따르면서도, 합리적인 행동에 대한 내부의 사전 지식을 활용할 수 있게 된다.

추론 구현

이 방법은 두 가지 유형의 추론기를 지원한다:

• 인간: 키보드 입력을 통한 데카르트 방향(Cartesian directions)과 같은 거친 방향 명령을 제공할 수 있다.
• VLM: 고수준의 서브골(subgoal)을 추론하고 단순한 방향 벡터(예: "오른쪽으로 이동")를 출력할 수 있다.
  이러한 거친 입력들은 FRS에 의해 정제되는 참조 행동 청크(action chunks)로 변환된다.

정책 개선 패러다임

FRS는 세 가지 뚜렷한 정책 개선 모드를 지원한다:

1. Zero-Shot Steering (제로샷 스티어링): 배포 중 매 단계마다 추론기가 정책을 가이드하며 별도의 학습이 필요 없다.
2. Diffusion Steering via Behavioral Cloning (DSBC): FRS로 생성된 노이즈 벡터($\hat{a}_0$)를 "전문가" 행동으로 취급한다. 보조적인 경량 노이즈 정책을 지도 학습(행동 복제, BC)을 통해 관측값으로부터 이 노이즈들을 직접 예측하도록 학습시킨다. 이는 FRS 능력을 빠르고 작은 정책으로 증류(distill)한다.
3. Diffusion Steering via Reinforcement Learning (DSRL + FRS): FRS 궤적은 RL을 부트스트랩하는 데 사용된다. 성공적인 노이즈 벡터들은 리플레이 버퍼를 채우는 사전 데이터 및 보조 손실 항으로 사용되어, RL 에이전트가 무작위 노이즈가 아닌 의미론적으로 유의미한 행동 주변을 탐색하도록 유도한다.

주요 기여

1. Flow Reversal Steering (FRS): 거친 참조 행동에 대응하는 노이즈 벡터를 찾기 위해 플로를 역전시켜, 의미론적 가이드로부터 분포 내의 고품질 행동을 추출함으로써 플로 매칭 범용 모델을 스티어링하는 새로운 기술을 제시한다.
2. 효율적인 적응을 위한 DSBC: FRS 생성 노이즈를 행동 복제를 통해 보조 정책으로 증류하는 과정이 1분 미만의 학습으로 가능하며, 매우 적은 데이터(예: 10개의 궤적)로도 높은 성공률을 달enc히는 것을 입증하였다.
3. RL 부트스트래핑: FRS가 어떻게 강화 학습을 부트스트랩할 수 있는지 보여준다. FRS는 표준 RL이 무작위 탐색을 통해 찾아내기 어려운 "좋은" 노이즈 벡터를 제공함으로써, 기본 정책이 거의 실패하는 과제에서도 학습을 시작할 수 있게 한다.
4. 실험적 검증: 시뮬레이션(LIBERO) 및 실제 환경(DROID) 조작 과제 전반에 걸친 광범한 평가를 통해 제로샷 제어, 샘플 효율성, 최종 과제 성공률의 향상을 입증하였다.

실험 결과

본 논문은 다양한 설정에서 SOTA VLA(특히 $\pi0.5$)를 대상으로 FRS를 평가하였다:

• Zero-Shot 성능: 기본 VLA의 성공률이 $\le 2\%$였던 42개의 까다로운 LIBERO 과제에서, VLM에 의해 가이드된 FRS는 11개 과제에서 최소 10%의 절대적 성공률 향상을 보였다. 이는 직접적인 VLM 행동 실행, 부분적 노이징(partial noising), 샘플 앤 랭크(sample-and-rank) 등의 베이스라인보다 크게 우수한 성능이다.
• Behavioral Cloning (DSBC): LIBERO-90 벤치마크에서 FRS 데이터로 학습된 DSBC는 제로샷 VLM 스티어링과 대등한 성능을 보이면서도 분포 외 상태에 대해 더 높은 강건성을 보였다. 실제 DROID 실험에서 단 10개의 성공적인 FRS 롤아웃만으로 학습된 DSBC는 기본 정책 대비 평균 성공률을 60% 높였으나, 동일한 데이터로 학습된 표준 행동 복제(BC)는 완전히 실패하였다.
• Reinforcement Learning (DSRL + FRS):
  • FRS가 적절한 성공을 제공하는 과제에서, DSRL + FRS는 표준 DSRL 및 잔차 RL(residual RL)보다 빠른 수렴 속도와 더 높은 최종 성공률을 달성하였다.
  • 기본 정책의 성공률이 $\approx 0\%$인 매우 어려운 과제에서, 단 하나의 성공적인 FRS 궤적으로 초기화된 DSRL + FRS는 높은 성공률로 수렴할 수 있었던 반면, 표준 DSRL은 $\approx 30\%$ 이상의 학습을 이끌어내는 데 어려움을 겪었다.
• 오프라인 학습: 저자들은 노이즈 라벨이 없는 표준 로봇 오프라인 데이터셋에도 FRS를 적용하여 노이즈-행동 쌍을 생성할 수 있으며, 이를 통해 기존 시연 데이터로부터 노이즈 정책을 학습할 수 있음을 보여주었다.

의의 및 주장

본 논문은 FRS가 범용 정책을 개선하는 새로운 패러다임을 제공한다고 주장한다. 단순히 보상 함수를 최적화하거나 방대한 양의 새로운 시연 데이터를 수집하는 것에 의존하기보다, FHS는 의미론적 지식을 활용하여 기존의 행동 사전 지식에 접근함으로써 정책을 빠르게 적응시킬 수 있게 한다.

저자들은 FRS가 다음과 같은 이유로 특히 중요하다는 점을 강조한다:

• 고수준의 의미론적 추론(VLM과 인간이 잘하는 영역)과 저수준의 숙련된 제어(범용 모델이 잘하는 영역)를 분리한다.
• 플로 공간에서 좋은 노이즈 벡터를 찾기 위해 필요한 비용이 많이 드는 시행착오 없이도 빠른 정책 개선(1분 미만)을 가능하게 한다.
• 보상이 희소하고 초기 성공 궤적이 부족하여 표준 RL이 실패하는 환경에서 학습을 부트스트랩할 수 있는 메커니즘을 제공한다.

이 연구는 미래의 로봇 범용 모델의 발전이 단순히 학습 데이터를 확장하는 것보다, 이 모델들을 "스티어링"하고 "역전"시켜 풍부하게 사전 학습된 모델로부터 과제 관련 행동을 효율적으로 추출하는 방법에 달려 있을 것임을 시사한다.