기술 요약: VGFM – 밀집된 가치 가이던스를 통한 표현력 있는 로봇 정책 (Flow Matching에서의 Dense Value Guidance)

1. 문제 정의

오프라인 강화 학습(Offline RL)은 온라인 탐색의 안전 위험과 비용을 피하기 위해 사전에 수집된 정적 데이터셋을 사용하여 제어 정책을 학습하는 것을 목표로 합니다. 이 설정의 핵심 과제는 **분포 변화(distribution shift)**입니다. 즉, 학습된 정책이 분포 외(OOD) 행동을 선택하여 안전하지 않거나 비효율적인 동작을 유발할 수 있다는 점입니다. 이를 완화하기 위해, 정책은 행동 분포에 가깝게 유지되도록 규제되는 경우가 많습니다.

최근의 생성 모델(예: 확산 모델 및 Flow Matching)은 로봇 데이터셋의 복잡한 행동 다양성을 포착할 수 있는 표현력 있고 다중 모드(multimodal)인 정책 표현을 제공합니다. 그러나 이러한 생성적 정책을 가치 기반 오프라인 RL 프레임워크(예: DDPG+BC)에 통합하는 데는 다음과 같은 상당한 어려움이 따릅니다:

• 시간에 대한 역전파(Backpropagation Through Time, BPTT): 표준 액터-크리틱 프레임워크는 정책의 출력 행동에 대한 가치 함수의 그래디언트를 계산해야 합니다. 정책이 다단계 생성 과정(ODE를 푸는 과정)인 경우, 이는 전체 생성 궤적을 통해 역전파하는 것을 필요로 합니다. 이는 고차원 또는 긴 호라이즌(long-horizon) 작업에서 상당한 계산 오버헤드, 수치적 불안정성 및 메모리 비용을 초래합니다.
• 기존 솔루션의 트레이드오프: 기존 방법들은 BPTT를 우회하려고 시도하지만 다른 한계점을 도입합니다. 예를 들어, Flow Q-Learning(FQL)은 생성 정책을 단일 단계 네트워크로 증류(distillation)하여 추론 시의 확장성을 희생합니다. 다른 접근 방식(예: SORL, SSCP)은 훈련 중에 BPTT를 유지하거나, 훈련을 복잡하게 만들고 다단계 생성의 이점을 제한하는 보조 손실(증류, 숏컷 또는 완성 손실)에 의존합니다.

2. 방법론: 가치 가이드 플로우 매칭 (VGFM)

저자들은 BPTT나 보조 증류 손실 없이도 flow 기반 정책 내에서 밀집된 가치 가이드 정책 개선을 가능하게 하는 확장 가능한 오프라인 RL 프레임워크인 VGFM을 제안합니다.

핵심 개념

VGFM은 정책을 행동 공간에서의 조건부 **플로우 매칭 모델(flow-matching model)**로 매개변수화합니다. 생성 과정을 최종 행동으로부터 그래디언트가 역방향으로 흐르는 블랙박스로 취급하는 대신, VGFM은 x-예측(x-prediction) 공식화를 활용합니다.

• 플로우 공식화: 정책은 잠재 노이즈 샘플 $a_0$로부터 터미널 행동 $a_1$까지의 연속적인 궤적 $\{a_t\}_{t \in [0,1]}$를 정의합니다. 동역학은 학습된 속도장(velocity field) $u_\theta(s, a_t, t)$에 의해 제어됩니다.
• X-예측: 신경망은 임의의 중간 시간 단계 $t$에서 터미널 행동 $\hat{a}_\theta(s, a_t, t)$를 직접 예측합니다. 속도는 $u_\theta = (\hat{a}_\theta - a_t) / (1-t)$로 분석적으로 복구됩니다.

주요 메커니즘

1. 행동 공간의 유효성 (Lemma 1): x-예측 매개변수화 하에서, 임의의 중간 단계 $t$에서의 네트워크 출력 $\hat{a}_\theta$는 행동 공간 $\mathcal{A}$ 내의 유효한 행동입니다. 결정적으로, 이 예측은 생성 궤적을 미분하지 않고도 표준적이고 시간 독립적인 크리틱 $Q_\phi(s, a)$에 의해 직접 평가될 수 있습니다.
2. 밀집된 가치 감독 (Dense Value Supervision): 중간 예측이 유효한 행동이기 때문에, 프레임워크는 표준 가치 기반 손실(Q 극대화)을 이러한 중간 예측에 직접 적용합니다. 이를 통해 가치 그래디언트가 모든 샘플링된 플로 단계에서 정책을 가이드할 수 있게 하며, BPTT 없이도 밀집된 크레딧 할당(credit assignment)을 제공합니다.
3. 결합된 목적 함수: 훈련 목적 함수는 두 가지 항을 결합합니다:
   • 행동 규제 ($L_{FM}$): 궤적을 경험적 데이터 분포에 고정하여 보수성을 보장하는 플로우 매칭 손실입니다.
   • 가치 가이드 ($L_{\pi Q}$): 샘플링된 시간 단계에서의 예측된 터미널 행동 $\hat{a}_\theta$에 적용되는 음의 Q-손실입니다.
     $$L(\theta) = \alpha L_{FM}(\theta) + L_{\pi Q}(\theta)$$
     이 구조는 $L_{FM}$이 행동 매칭을 강제하고 $L_{\pi Q}$가 가치 가이드를 구현하는 KL-규제 정책 개선 목적 함수를 근사합니다.

추론 및 확장성

추론 시, 행동은 $t=0$에서 $t=1$까지 학습된 ODE를 수치적으로 적분하여 생성됩니다. VGFM의 핵심 특징은 추론 시 확장성입니다. 계산량을 조절하여 성능을 높이기 위해(제어 정밀도 향상) 적분 단계 수($T$)를 모델 재학습 없이 늘릴 수 있습니다.

3. 주요 기여

• 가치 가이드 플로우 공식화: 저자들은 각 플로 단계가 행동 공간에서의 리턴 최적화 결정으로 해석되는 공식을 도입하여, 모든 단계에서 DDPG+BC 스타일의 목적 함수를 적용함으로써 가치 가이드된 개선을 가능하게 합니다.
• BPTT가 없는 정책 개선: 엔드-타겟 예측(end-target prediction) 목적 함수와 속도 공간 손실을 활용함으로써, VGFM은 생성 궤적에 대한 역전파 없이 정책 개선을 가능하게 하여 밀집된 가치 가이드와 훈련 안정성 사이의 긴장을 해결합니다.
• 확장 가능하고 표현력 있는 성능: 이 접근 방식은 조정 가능한 ODE 이산화를 통해 추론 시 확장성을 지원하며, 다양한 로봇 조작 및 보행(locomotion) 작업에서 강력한 경험적 성능을 달升합니다.

4. 실험 결과

이 방법은 보행(AntMaze, HumanoidMaze, AntSoccer) 및 조작(Cube, Scene) 환경을 아우르는 40개의 고유한 작업을 포함하는 OGBench 벤치마크에서 평가되었습니다.

• 성능: VGFM은 가우시안 방법(BC, IQL, ReBRAC), 확산 기반 방법(IDQL, CAC), 그리고 다른 플로우 기반 방법(IFQL, FQL, SORL)을 포함한 대부분의 작업 그룹에서 최고 또는 최상위권의 성능을 달성했습니다.
• 훈련 효율성: 이 방법은 여러 보조 손실 가중치를 필요로 하는 다른 방법들과 달리, 규제와 가치 가이드 사이의 균형을 맞추는 단일 계수($\alpha$)에 의존하여 최소한의 하이퍼파라미터 튜닝을 요구했습니다.
• 추론 확장성: 오일러 적분 단계($T \in \{1, 2, 5, 10\}$)를 변화시킨 실험은 테스트 시 계산량을 늘리는 것이 작업 성공률과 제어 정밀도를 향상시킨다는 것을 입증했습니다. 특히, VGFM은 함수 호출 횟수가 증가했음에도 불구하고 실제 벽 시계(wall-clock) 추론 시간이 단일 단계 베이스라인(예: FQL)과 유사하게 유지되어, 실질적인 테스트 타임 스케일링을 가능하게 했습니다.

5. 의의 및 주장

본 논문은 VGFM이 장기 호라이즌 및 목표 지향적 로봇 제어에서 표현력 있는 정책을 학습하기 위한 단순하고, 확장 가능하며, 효과적인 접근 방식을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 훈련과 추론 복잡성의 분리: 훈련 중에는 BPTT의 계산적 부담을 피하면서, 추론 중에는 다단계 생성의 유연성을 유지합니다.
• 보조적 오버헤드 제거: 증류 손실이나 숏컷 모델을 필요로 하는 이전 연구들과 달리, VGFM은 오직 핵심적인 플로우 매칭과 가치 가이드 항에만 의존합니다.
• 오프라인 RL에서의 강건성: 행동 규제를 플로우 매개변수화에 직접 내장하고 밀집된 가치 가이드를 적용함으로써, 생성 모델의 다중 모드 능력을 활용하는 동시에 분포 변화 문제를 효과적으로 해결합니다.

저자들은 VGFM을 생성 모델의 표현력과 오프라인 강화 학습에 필요한 안정성 사이의 간극을 메우는 실용적인 대안으로 포지셔닝하며, 특히 행동의 다양성과 다중 모드가 필수적인 환경에서 그러합니다.