기술 요약: 흐름 맵 정책과 최적 Q-가이드의 정렬

문제 제기

확산 모델이나 흐름 매칭과 같은 표현력 있는 모델 클래스에 기반한 생성 정책은 고도로 다중 모드 행동 분포를 특징으로 하는 복잡한 제어 문제에 적합합니다. 그러나 이러한 표현력은 상당한 추론 비용을 수반합니다. 단일 행동을 생성하는 것은 일반적으로 생성 과정의 많은 단계를 시뮬레이션 (예: 상미분 방정식의 수치적 해결) 해야 하므로 발생합니다. 이러한 누적 지연은 온라인 및 실제 환경에서의 배포를 방해합니다.

최근의 노력들은 이러한 지연을 완화하기 위해 한 단계 오프라인 정책을 학습하려고 시도해 왔으나, 이러한 접근 방식은 종종 오프라인에서 온라인 강화 학습 (RL) 에는 여전히 불충분합니다. 온라인 단계에서 정책은 정적 행동 사전 지식 이상으로 개선되어야 합니다. 현재 한 단계 생성 정책들은 종종 고평가자 Q-값을 향해 행동을 편향시키기 위해 휴리스틱한 "생성 및 선택" 절차 (예: best-of-$N$ 샘플링) 에 의존합니다. 이 접근 방식은 의사결정 당 수많은 정책 및 평가자 평가를 요구함으로써 한 단계 생성의 계산적 이점을 상쇄하며, 유한한 $N$에 대해 최적의 국소 개선을 보장하지 못합니다.

방법론

본 논문은 기존 흐름 기반 정책의 생성 역학에서 임의 크기의 점프 (단일 단계 점프 포함) 를 학습함으로써 빠른 행동 생성을 위해 설계된 새로운 생성 정책 클래스인 흐름 맵 정책 (Flow Map Policies) 을 소개합니다.

1. 흐름 맵 정책

순간 속도장 $v_t$를 시간 동안 적분하도록 학습하는 표준 흐름 매칭 정책과 달리, 흐름 맵 정책은 임의의 두 시간점 $r, t \in [0, 1]$ 사이의 행동 역학을 진화시키는 이중 시간 점프 연산자 $X_{r,t}$를 학습합니다.

• 정의: 정책은 $X_{r,t}(a_r | s) = a_t$가 되도록 흐름 맵 $X_{r,t}$로 정의됩니다.
• 매개변수화: 맵은 평균 행동 속도 $u_{r,t}$를 통해 매개변수화되며, 여기서 $X_{r,t}(a_r | s) = a_r + (t-r)u_{r,t}(a_r | s)$입니다.
• 학습 목적: 대각선 외 시간 쌍 ($r < t$) 에 흐름 맵을 학습하기 위해, 저자들은 흐름 맵 점프 조건과 ODE 의 반군 성질에서 유도된 일관성 규칙을 부과합니다. 이는 세 가지 정책 증류 목적을 도출합니다:
  1. 라그랑지안: 맵의 시간 미분을 증류합니다.
  2. 오일러: 공간 기울기와 시간 미분을 증류합니다.
  3. 점진적: 중간 점프 간의 일관성을 보장합니다.
     참고: 평균 흐름 정책 (예: MVP) 은 오일러 목적의 특정 구현으로 나타납니다.

2. 흐름 맵 Q-가이드 (FMQ)

온라인 적응을 위해, 저자들은 오프라인 정책에 가깝게 유지하면서 평가자의 Q-값을 개선하는 신뢰 영역 최적화 문제로 문제를 공식화합니다.

• 최적화 문제: $\|\Delta\|_2 \le \eta$를 조건으로 $Q_\phi(s, a_1 + \Delta)$를 최대화합니다. 여기서 $a_1$은 오프라인 흐름 맵에 의해 생성된 행동입니다.
• 폐쇄형 해 (정리 3.2): Q-함수를 1 차 테일러 전개로 근사함으로써, 저자들은 분석적으로 최적의 목표 변위를 유도합니다. 최적 평균 속도 $u^*_{r,1}$은 다음과 같습니다:
  $$u^*_{r,1} = u^{off}_{r,1} + \eta \frac{\nabla_a Q_\phi(s, a_1)}{\|\nabla_a Q_\phi(s, a_1)\|_2}$$
• 학습 목표: 정책은 스톱-그라디언트 연산자를 사용하여 이 최적 목표에 대해 회귀하도록 학습되며, 증류 네트워크 없이 행동 분포를 Q-가이드와 정렬하는 자기 부트스트랩 학습 목표를 생성합니다.
• 적응형 신뢰 영역: 평가자 불확실성을 처리하기 위해 반지름 $\eta$는 트윈 평가자 앙상블 간의 불일치에 따라 샘플별로 적응적으로 설정됩니다. 불일치가 클수록 신뢰 영역이 작아져 오프라인 사전 지식을 우선시합니다.

3. Q-가이드 빔 서치 (QGBS)

추가적인 학습이나 비용이 많이 드는 ODE 시뮬레이션 없이 추론 시 행동을 더 정제하기 위해, 저자들은 QGBS를 소개합니다.

• 메커니즘: 이는 확률적 재노이즈 (신호 대 잡음비에 기반하여 현재 행동을 중간 상태 $t' < 1$로 손상시킴) 와 빔 서치를 결합합니다.
• 과정:
  1. 탐색: 현재 행동을 재노이즈하여 중간 상태의 배치 생성.
  2. 데노이즈 및 선택: 흐름 맵을 사용하여 이러한 상태를 $t=1$로 데노이즈하여 여러 후보 행동 생성.
  3. 활용: 평가자 Q-값을 기반으로 상위 후보 선택, 최적 신뢰 영역 변위 (식 11) 적용, 반복.
• 이를 통해 탐험과 활용을 균형 있게 유지하는 반복적 추론 시 정제가 가능해집니다.

주요 기여

1. 흐름 맵 정책: 흐름 기반 생성 액터를 위한 한 단계 정책을 이중 시간 점프 연산자로 학습하는 프레임워크로, 기존 한 단계 정책을 일반화합니다.
2. 알고리즘 (FMQ 및 QGBS):
   • FMQ: 신뢰 영역 제약에서 유도된 최적 Q-가이드를 사용하는 효율적인 적응 방법으로, 학습 중 best-of-$N$ 휴리스틱의 필요성을 제거합니다.
   • QGBS: 재노이즈, 빔 선택, 신뢰 영역 Q-가이드를 결합한 확률적 추론 시 정제 알고리즘.
3. 최첨단 성능: 이 방법은 12 가지 로봇 조작 및 이동 작업에서 우수한 성능을 달성합니다.

실험 결과

저자들은 OGBench와 RoboMimic의 12 가지 작업에서 FMQ 와 QGBS 를 평가했으며, QC(다단계 흐름 매칭) 와 MVP(최첨단 한 단계 평균 흐름 정책) 를 포함한 베이스라인과 비교했습니다.

• 성능: FMQ 는 0.91의 최첨단 4 분위수 평균 (IQM) 성공률을 달성하여 MVP(0.75) 보다 **21.3%**의 상대적 개선, QC(0.86) 보다 5.8% 의 개선을 보였습니다.
• 효율성: FMQ 는 온라인 적응 중 MVP 보다 약 2.77 배 더 효율적이며, 동일한 성공 목표에 훨씬 빠르게 수렴합니다.
• 추론 확장: FMQ 에 QGBS 를 적용하면 IQM 이 0.93으로 추가로 향상되었습니다. 주목할 점은 특정 구성에서 QGBS 가 표준 best-of-32 샘플링보다 적은 네트워크 순전파 평가 (NFE) 로 이를 달성했다는 것입니다. 이는 단순히 더 많은 후보를 샘플링하는 것보다 재노이즈를 통해 후보를 다양화하는 것이 더 효율적임을 보여줍니다.
• 강건성: 이 방법은 베이스라인이 어려움을 겪었던 까다로운 환경 (예: cube-trl-t4 및 amaze-gnt-t4) 에서 특히 큰 개선을 보였으며, 희소 보상 이동 작업에서 안정성을 유지했습니다.

의의

본 논문은 생성 정책의 표현력과 오프라인에서 온라인 RL 의 저지속 요구 사항 사이의 간극을 해소한다고 주장합니다. 온라인 적응을 신뢰 영역 최적화 문제로 공식화함으로써, 저자들은 반복적 샘플링의 계산 오버헤드나 휴리스틱 선택의 부Optimality 없이 행동을 Q-값 가이드와 정렬하는 원칙적이고 폐쇄형 학습 목표 (FMQ) 를 유도합니다. 또한 QGBS 의 도입은 확률적 샘플링과 빔 서치를 활용하여 추가 학습 비용 없이 추론 시 정책을 정제할 수 있는 메커니즘을 제공합니다. 이 연구는 올바르게 최적 Q-그라디언트에 의해 안내될 때, 한 단계 생성 정책이 복잡한 연속 제어 작업에서 다단계 확산 모델과 기존 한 단계 베이스라인 모두를 능가할 수 있음을 보여줍니다.