기술 요약: FORCE – 효율적인 VLA 강화 학습 미세 조정

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 범용 로봇 공학 분야에서 상당한 잠재력을 보여주었으나, 근본적으로 "모방의 천장(imitation ceiling)"이라는 제약에 직면해 있습니다. 이러한 한계는 표준 지도 미세 조정(Supervised Fine-Tuning, SFT)이 정적인 시연 데이터에 의존하며, 이 데이터에는 필연적으로 차선책이거나 일관되지 않은 행동이 포함되어 있기 때문에 발생합니다. 강화 학습(Reinforcement Learning, RL)은 온라인 상호작용을 통해 이 천장을 돌파할 수 있는 경로를 제시하지만, VLA 미세 조정에 RL을 적용하는 데에는 두 가지 핵심적인 병목 현상이 존재합니다.

1. 파괴적인 초기 학습 상실(Catastrophic Initial Unlearning): 오프라인 사전 학습에서 온라인 미세 조정으로 전환될 때, 정책은 종종 심각한 성능 붕괴를 경험합니다. 이는 보수적인 오프라인 데이터로 학습된 Q-함수가 온라인 정책이 방문하는 새로운 상태(state)들에 대해 정의되지 않거나 심하게 과소평가되는 분포 변화(distributional shift)로 인해 발생합니다. 결과적으로 발생하는 "Q-값 척도 불일치(Q-value scale mismatch)"는 정책을 기만하여 불안정성을 초래합니다.
2. 비효율적인 정책 업데이트: 고차원 VLA 행동 공간에서의 온라인 탐색은 방대한 양의 저품질 노이즈 데이터를 생성합니다. 표준 RL 업데이트는 이러한 노이즈를 필터링하는 데 어려움을 겪으며, 안전성과 수렴을 보장하기 위해 비용이 많이 드는 인간 참여형(Human-in-the-Loop, HiL) 개입을 요구하는 경우가 많습니다

2. 방법론: FORCE 프레임워크

FORCE는 안정적인 오프라인-온라인 RL 미세 조정을 위해 설계된 3단계, 개입 불필요(intervention-free) 프레임워크입니다. 이 프레임와크는 가치 교정 워밍업(Value-Calibrated Warm-up)과 가치 유도 정책 자기 증류(Value-Guided Policy Self-Distillation, VGPD) 메커니즘을 통해 핵심 문제를 해결합니다.

1단계: 전문가 시연을 이용한 오프라인 강화 학습 미세 조정

프로세스는 정적 전문가 데이터셋($D_E$)에 대한 오프라인 RL로 시작됩니다.

• 교정된 Q-러닝(Calibrated Q-Learning, Cal-QL): 본 프레임워크는 보수적인 가치 함수를 학습하기 위해 Cal-QL을 채택합니다. 이는 행동 정책($\mu_D$)에 기반하여 가치 추정치를 제한하는 교정 정규화 항을 부과함으로써 시간차(temporal-difference, TD) 오차를 최소화합니다. 이를 통해 분포 외(out-of-distribution, OOD) 행동의 과대평가를 방지하며, 이는 안정적인 전이를 위한 전제 조건입니다.
• 액터 최적화: 정책은 시연 매니폴드에 정책을 고정시키는 행동 복제(Behavior Cloning, BC)와 성능 극대화를 유도하는 Q-유도 정책 경사(Q-guided policy gradient)를 결합한 하이브리드 목적 함수를 사용하여 최적화됩니다. 빠른 추론과 안정적인 Q-경사 전파를 가능하게 하기 위해 일관성 정책(consistency policy)이 액터로 사용됩니다.

2단계: 분포 변화 완화를 위한 온-정책 워밍업

오프라인 데이터와 온라인 상호작용 사이의 간극을 메우기 위해, FORCE는 완전한 온라인 적응 이전에 분포 워밍업(Distributional Warm-up) 단계를 도입합니다.

• 메커니즘: 시스템은 소량의 온-정책 궤적($D_{warm}$)을 수집하고 이를 오프라인 데이터와 병합합니다($D_{mix} = D_{offline} \cup D_{warm}$).
• 교정: 이 혼합 데이터셋에 보수적 가치 제약이 적용됩니다. 이는 교정된 Q-함수의 유효 지지 집합(support)을 오프라인 행동 정책의 지지 집합에서 현재 정책의 방문 분포를 포함하도록 명시적으로 확장합니다.
• 목표: 이는 에이전트가 실제로 방문하는 상태에서 Q-추정치가 잘 정의되고 하한값이 유지되도록 보장하여, 공변량 변화(covariate shift)로 인한 "초기 학습 상실" 현상을 방지합니다.

3단계: VGPD를 이용한 개입 없는 온라인 미세 조정

마지막 단계에서 모델은 전문가 버퍼($D_E$)와 정책 버퍼($D_\pi$)를 활용하여 인간의 개입 없이 온라인 미세 조정을 수행합니다.

• 가치 유도 정책 자기 증류(Value-Guided Policy Self-Distillation, VGPD): 이는 온라인 단계를 위한 핵심 혁신으로, 정책 업데이트를 위한 동적 필터 역할을 합니다.
  • 동적 베이스라인: 주어진 상태에 대해, 현재 정책에서 샘플링된 $K$개의 후보 행동들에 대한 Q-값의 경험적 평균인 베이스라인 가치($V_{ref}$)가 계산됩니다.
  • 양의 어드밴티지 절단(Positive Advantage Truncation): 음의 어드밴티지를 가진 행동(즉, $Q(s, a) < V_{ref}$인 행동)을 폐기하는 마스크를 적용합니다.
  • 증류: 정책은 베이스라인보다 양의 어드밴티지를 보이는 행동들로부터만 추출(distill)되는 필터링된 중요도 샘플링(importance sampling)을 통해 업데이트됩니다. 전문가 데이터의 경우, 정책은 표준 행동 복제를 통해 업데이트됩니다.
• 이론적 근거: VGPD는 동적이고 데이터 의존적인 베이스라인을 갖는 정규화된 정책 개선(Regularized Policy Improvement) 문제의 근사 해법으로 이론적 근거를 가지며, 단조적인 가치 향상을 보장합니다.

3. 주요 기여

1. FORCE 프레임워크: 사전 학습된 VLA 모델로부터 시작하는 개입 불필요 오프라인-온라인 RL 미세 조정을 위한 원칙적인 3단계 파이프라인을 제시합니다.
2. 분포 워밍업: 공격적인 미세 조정 이전에 Q-함수의 지지 집합을 정책의 방문 분포와 정렬함으로써 콜드 스타트 공변량 변화를 완화하는 메커니즘을 제공합니다.
3. 가치 유도 정책 증류: 고분산 탐색 노이즈를 필터링하여 인간의 감독 없이도 수렴을 가속화하는, 이론적으로 근거가 확실한 정규화된 정책 개선 연산자를 제공합니다.
4. 실증적 검증: 시뮬레이션 및 실제 로봇 작업 모두에서 최첨단 성능과 샘플 효율성을 입증하였으며, 인간의 개입 없이 거의 완벽한 성공률을 달성했습니다.

4. 실험 결과

저자들은 다양한 시뮬레이션 작업(ManiSkill)과 Franka Emika Panda 로봇을 이용한 실제 작업을 통해 FORCE를 평가했습니다.

• 시뮬레이션 성능: FORCE는 6개 작업에 대해 Octo 백본을 기준으로 평균 **82.3%**의 성공률을 달연하였으며, 이는 가장 강력한 베이스라인인 ConRFT보다 10% 이상 높은 수치입니다. 특히 보수적인 베이스라인들이 정책 붕괴를 겪었던 StackCube 및 PullCube와 같은 작업에서는 100% 성공률에 도달했습니다.
• 샘플 효율성: FORCE는 학습을 32.5% 가속화하였으며, 훨씬 적은 단계(예: PushCube에서 베이스라인 대비 5,000단계 만에 100% 도달) 내에 높은 성공률로 수렴했습니다.
• 실제 환경 신뢰성: 실제 작업에서 FORCE는 평균 성공률을 BC 베이스라인의 **45.0%**에서 **98.3%**로 향상시켰으며, 6개 작업 중 4개(Insert USB, Open Drawer 포함)에서 100% 성공률을 달성했습니다.
• 실행 효율성: 성공률 외에도, FORCE는 실행 단계를 평균 112.8에서 38.9로 크게 줄였으며, 이는 BC 정책에 비해 움직임의 품질이 높고 "망설이는" 동작이 적음을 나타냅니다.

5. 의의 및 주장

본 논문은 FORCE가 모로적인 인간의 개입 없이 "모방의 천장"을 해결함으로써, 유능하고 자율적인 로봇 에이전트를 배치하는 데 있어 중요한 진전임을 주장합니다.

• 안정성: 오프라인 데이터와 온라인 데이터 간의 분포 불일치를 해결함으로써, FORCE는 표준 RL 미세 조정에서 나타나는 전형적인 파괴적 성능 저하를 완화합니다.
• 자율성: 이 프레임워크는 알고리즘적 메커니즘(워밍업 및 자기 증류)을 통해 실시간 인간 수정 없이 접촉이 빈번한 실제 환경에서 견고한 정책 적응을 가능하게 합니다.
• 일반화 가능성: 이 방법은 다양한 VLA 백본(Octo부터 $\pi_0$까지)과의 호환성을 보여주며, 대규모 로봇 정책을 강화하기 위한 일반적인 사후 학습(post-training) 프레임워크로 기능할 수 있음을 시사합니다.

저자들은 VGPD 과정 중 여러 행동 후보를 샘플링하는 데 드는 계산 오버헤드가 현재의 한계점임을 인정하며, 이를 해결하기 위해 행동 캐싱(action caching) 또는 오프-폴리시 근사(off-policy approximation)에 대한 향후 연구를 제안합니다.