1. 연구 배경 및 문제 정의 (Problem)

• Flow Matching (FM) 의 한계: Flow Matching 은 로봇 제어 분야에서 확산 모델 (Diffusion Models) 대비 빠른 샘플링 속도와 표현력을 제공하여 대규모 embodied AI 시스템의 핵심 백본으로 부상했습니다. 그러나 기존 FM 정책은 주로 모방 학습 (Imitation Learning, IL) 에 의존하며, 이는 시연 데이터의 하위 최적성 (suboptimal behaviors) 을 그대로 학습하고 공변량 이동 (covariate shift) 문제를 겪는 한계가 있습니다.
• 강화 학습 (RL) 파인튜닝의 난제: FM 정책의 성능을 시연 데이터를 넘어 향상시키기 위해 RL 파인튜닝이 필수적입니다. 하지만 FM 은 본질적으로 결정론적 ODE(Ordinary Differential Equation) 기반이므로, 행동의 확률 밀도 (likelihood) 가 정의되지 않아 직접적인 정책 경사 (Policy Gradient) 방법 적용이 어렵습니다.
• 기존 해결책의 부족: 최근 연구들 (예: ReinFlow) 은 FM 을 확률 미분 방정식 (SDE) 으로 변환하여 학습 가능한 노이즈 주입을 통해 탐색 (exploration) 을 가능하게 했습니다. 그러나 이러한 방법들은 주로 노이즈 항 (noise term) 만을 제어하여 상태의 위치를 교란시키는 데 그칩니다. 이는 흐름 (flow) 의 동역학 자체를 조절하지 못하므로, 이미 강력한 사전 지식을 가진 시연 데이터가 있는 경우 학습 효율성이 떨어질 수 있습니다.

2. 제안 방법: ScoRe-Flow (Methodology)

저자들은 **스코어 함수 (Score Function, 로그 밀도의 기울기)**를 활용하여 FM 의 **드리프트 (drift)**를 조절하는 새로운 RL 파인튜닝 프레임워크인 ScoRe-Flow를 제안합니다.

핵심 아이디어

1. 드리프트 조절 (Drift Modulation): 기존 방법들이 노이즈만 추가하는 것과 달리, 스코어 함수가 가리키는 고확률 영역 (high-probability regions) 으로 탐색을 유도하기 위해 드리프트 항을 수정합니다. 이는 랭게빈 동역학 (Langevin Dynamics) 원리와 유사하며, 저밀도 영역으로 이탈하는 것을 방지하고 수렴을 가속화합니다.
2. 닫힌 형식의 스코어 (Closed-Form Score): 선형 흐름 경로 (linear flow paths) 에서 스코어 함수는 미리 학습된 속도장 (velocity field, $v_\theta$) 에서 **닫힌 형식 (closed-form)**으로 유도될 수 있습니다.
   • 수식: $s_t(a) = \frac{t v_\theta(t, a, s) - a}{1 - t}$
   • 이 특징은 별도의 보조 네트워크 (auxiliary network) 가 필요 없으며, 계산 오버헤드가 거의 없다는 큰 장점을 가집니다.
3. 분리된 평균 - 분산 제어 (Decoupled Mean-Variance Control): ScoRe-Flow 는 두 가지 학습 가능한 구성 요소를 도입하여 분포의 첫 번째 모멘트 (평균/드리프트) 와 두 번째 모멘트 (분산/노이즈) 를 독립적으로 제어합니다.
   • 스코어 스케줄러 ($\alpha_\psi$): 스코어 기반 드리프트 보정의 강도를 조절합니다. $t \to 1$일 때 스코어 값이 발산하는 문제를 해결하기 위해 $(1-t)$에 비례하는 시간 감쇠 (time-decay) 제약이 적용됩니다.
   • 분산 예측기 ($\sigma_\phi$): 탐색의 크기 (magnitude) 를 독립적으로 학습합니다.
   • SDE 형태: $da_t = [v_\theta + \alpha_{scaled} \cdot s_t]dt + \sigma_\phi dW_t$

알고리즘 흐름

1. 초기 노이즈 샘플링.
2. 각 시간 단계 $t$에서:
   • 학습된 속도장 $v_\theta$ 계산.
   • 닫힌 형식 공식으로 스코어 $s_t$ 계산.
   • 학습된 가중치 $\alpha_\psi$와 분산 $\sigma_\phi$를 적용하여 드리프트와 확산을 조정.
   • 오일러 - 마루야마 (Euler-Maruyama) 방식으로 다음 상태 업데이트.
3. 생성된 궤적의 로그 가능도 (log-likelihood) 를 PPO(Proximal Policy Optimization) 를 통해 최적화.

3. 주요 기여 (Key Contributions)

1. 새로운 통찰: FM 파인튜닝을 위한 노이즈 기반 SDE 변환은 위치만 교란할 뿐 흐름의 동역학을 조절하지 못함을 지적하고, 스코어 함수를 통한 드리프트 조절이 기하학적으로 유리한 경로를 따라 탐색을 유도하여 안정성을 높인다는 것을 발견했습니다.
2. ScoRe-Flow 제안: 보조 네트워크 없이 닫힌 형식 스코어를 사용하여 드리프트를 조절하고, 학습된 분산 예측과 결합하여 평균과 분산을 분리 제어하는 방법을 제안했습니다. 이는 기존 흐름 기반 RL 방법에서 누락된 기능입니다.
3. 성능 입증: D4RL locomotion 작업에서 기존 SOTA(ReinFlow) 대비 2.4 배 빠른 수렴을 달성했으며, Robomimic 및 Franka Kitchen 조작 작업에서 최대 5.4% 높은 성공률을 기록했습니다.

4. 실험 결과 (Results)

실험은 D4RL(locomotion), Robomimic(visual manipulation), Franka Kitchen(multi-task manipulation) 세 가지 벤치마크에서 수행되었습니다.

• D4RL (Locomotion):
  • Hopper, Walker2d, Ant, Humanoid 등 모든 작업에서 평균 성능이 가장 높았습니다.
  • 특히 복잡한 Humanoid-v3 작업에서 ReinFlow-R(5041) 및 DPPO(5001) 를 능가하는 5100±47의 높은 보상을 기록했습니다.
  • 수렴 속도: DPPO 대비 22 배, ReinFlow 대비 2.4 배 빠른 수렴 시간을 보였습니다.
• Robomimic (Manipulation):
  • PickPlaceCan, Square, Transport 작업에서 모든 베이스라인을 상회하는 성공률을 기록했습니다.
  • PickPlaceCan에서 **98.3%**의 성공률을 달성했습니다.
• Franka Kitchen:
  • 희소 보상 (sparse reward) 환경에서도 ScoRe-Flow 는 평균 3.60 개의 서브태스크를 완료하여 가장 높은 성능을 보였습니다.
  • Score-SDE(분산 예측 없이 스코어만 사용) 는 초기 수렴은 빠르지만 최종 성능이 낮아, 분리된 분산 예측의 중요성을 입증했습니다.
• 학습 안정성: ReinFlow 는 학습 중 높은 분산과 불안정성을 보인 반면, ScoRe-Flow 는 스코어 기반 드리프트 조절 덕분에 안정적인 학습 곡선을 유지했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 성능의 균형: Flow Matching 의 빠른 샘플링 장점 (확산 모델 대비 4~10 배 빠른 스텝) 을 유지하면서, RL 파인튜닝을 위한 강력한 탐색 메커니즘을 제공했습니다.
• 계산 효율성: 별도의 스코어 네트워크를 학습할 필요가 없어 파라미터 증가가 미미하며, 계산 오버헤드가 거의 없습니다.
• 로봇 제어의 발전: 복잡한 다중 모드 행동 분포를 다루는 로봇 제어에서, 시연 데이터를 넘어선 최적의 행동을 학습하기 위한 새로운 표준 (SOTA) 을 제시했습니다.

요약하자면, ScoRe-Flow는 Flow Matching 기반 로봇 정책의 RL 파인튜닝 과정에서 드리프트와 분산을 독립적으로 제어함으로써, 기존 방법들의 불안정성과 비효율성을 해결하고 더 빠르고 정확한 로봇 제어를 가능하게 한 획기적인 방법론입니다.