기술 요약: 온라인 RL 미세 조정을 위해 Q-함수를 반드시 사전 학습해야 하는가?

1. 문제 정의

본 논문은 사전 학습된 정책을 온라인 강화 학습(RL)으로 미세 조정할 때, 오프라인 데이터로 Q-함수를 사전 학습하는 것이 효과적인지 조사한다. 설정은 에이전트가 고정된 오프라인 데이터셋 $D_{offline}$과 사전 학습된 베이스 정책 $\pi_{base}$(일반적으로 $D_{offline}$을 통한 지도 학습 또는 모방 학습으로 훈련됨)를 보유한 마르코프 결정 과정(MDP)을 다룬다. 목표는 리턴(return)을 최대화하기 위해 온라인 RL 미세 조정을 수행하는 것이다.

핵심 질문은 온라인 업데이트 중에 정책의 행동 선택을 가이드하는 Q-함수($Q_\phi$)를 베이스 정책과 함께 $D_{offline}$에서 공동으로 사전 학습해야 하는지, 아니면 무작위로 초기화하여 온라인에서 완전히 학습시켜야 하는지 여부이다. 오프라인-투-온라인 RL에 대한 통념은 정책과 Q-함수의 공동 사전 학습이 유익하다고 제안한다. 그러나 최근 연구들은 사전 학습된 정책과 무작위로 초기화된 Q-함수로부터 시작하는 것이 매우 우수한 성능을 낼 수 있음을 보여주었다. 본 논문은 Q-함수를 사전 학습하는 것이 다운스트림 성능을 위한 필수적인 출발점을 제공한다는 직관을 체계적으로 테스트한다.

2. 방법론

실험 설정

저자들은 Robomimic(lift, can, square)과 OGBench(cube, scene, puzzle)의 여섯 가지 도전적인 연속 제어 조작 작업에서 가설을 평가한다. 이 작업들은 희소 보상(sparse rewards)과 긴 호라이즌 추론을 포함한다.

• 기본 알고리gy: 연구는 샘플 효율적인 오프-폴리시 RL 알고리즘인 EXPO를 활용한다. EXPO는 "베이스 플로우 정책"($\pi_{base}$)과 행동 수정을 예측하는 경량 "에디트 정책"($\pi_{edit}$)을 사용한다. 최종 행동은 베이스 및 에디트된 행동 세트에 대해 Q-값을 최대화함으로써 선택된다.
• 베이스라인:
  1. 단순 사전 학습(Naive Pretraining): 온라인 미세 조정 전, $D_{offline}$ 상에서 $\pi_{base}$와 $Q_\phi$를 각각 지도 학습과 오프라인 TD 학습을 통해 모두 사전 학습한다.
  2. 무작위 초기화(Random Initialization): $D_{offline}$ 상에서 $\pi_{base}$만 사전 학습한다. $Q_\phi$는 무작위로 초기화하며 온라인 미세 조정 동안 완전히 학습시킨다.
  3. 오프라인 가치 최대화(Offline Value Maximization): 사전 학습 중에 오프라인 가치 최대화(예: 에디트 정책 학습 또는 원스텝 정책 증류)를 수행하여 오프라인과 온라인 타겟 사이의 간극을 메우려 시도한다.

제안된 방법: 정책 앙상블을 통한 초기화 (IPE)

단순 사전 학습이 실패한다는 발견에 착안하여, 저자들은 표준 사전 학습의 미스매치 문제를 피하면서 오프라인 데이터를 더 잘 활용하는 방법인 IPE를 제안한다.

• 핵심 아이디어: 단일 사전 학습된 정책은 종종 좁은 행동 분포를 생성하며, 이는 Q-함수가 일반화 가능한 행동-가치 구조를 배우기보다 특정 정책의 가치 함수($Q_{\pi_{base}} \approx V_{\pi_{base}}$)로 붕괴되게 만든다.
• 절차:
  1. 오프라인 데이터셋에서 베이스 정책 $\pi_{base}$를 훈련한다.
  2. 동일한 행동 분포 상에서 $N$개의 추가적인 다양한 정책($\pi_1, \dots, \pi_N$)을 훈련한다(동일한 데이터셋을 사용하거나 서로 다른 시드를 가진 하위 집합을 사용).
  3. $N+1$개의 모든 정책을 환경 내에서 롤아웃(rollout)하여 다양한 전이(transition)를 수집한다.
  4. 이 롤아웃들을 결합하여 온라인 RL 미세 조정을 위한 리플레이 버퍼를 초기화한다.
     이 접근 방식은 Q-함수에 각 상태에서의 더 넓은 범위의 행동 커버리지를 제공하여, Q-함수가 단일 정책의 좁은 분포에 제약받지 않고 최적의 온라인 타겟($Q^*_{RL}$)에 더 가까운 행동-가치 구조를 학습할 수 있게 한다.

3. 주요 결과 및 분석

단순 사전 학습의 실패

통념과는 반대로, 저자들은 단순히 Q-함수를 사전 학습하는 것이 무작위 초기화에 비해 이득이 거의 없거나 오히려 도움이 되지 않는다는 것을 발견했다. 몇몇 작업에서는 심지어 온라인 학습을 방해하기도 했다.

• 미스매치(Mismatch): 오프라인 사전 학습 중에 학습된 Q-함수($Q_{\pi_{base}}$)는 베이스 정책의 가치 함수를 타겟으로 한다. 그러나 온라인 RL 미세 조정은 다른 최적의 Q-함수($Q^*_{RL}$)로 수렴한다.
• 선호도 정확도(Preference Accuracy): 베이스 정책이 최적에 가깝더라도, 오프라인에서 사전 학습된 크리틱(critic)은 온라인 수렴에 필요한 방식대로 최적 정책($\pi^*$)과 베이스 정책($\pi_{base}$) 사이의 행동을 올바르게 순위 매기지 못한다.
• 해결책의 비효과성: 오프라인 가치 최대화(예: 에디트 정책 학습 또는 사전 학습 중 액션 그래디언트 적용)를 통해 이 간극을 좁히려는 시도들도 성능이나 선호도 정확도를 개선하는 데 실패했으며, 이는 올바른 타겟을 학습하기 위해 온라인 상호작용이 필수적임을 나타낸다.

IPE의 메커니즘

논문은 단순 사전 학습의 실패가 행동 다양성의 부족에서 기인함을 입증한다. 단일 정책의 롤아웃은 매우 낮은 분산을 가진 Q-함수를 생성하며, 이는 사실상 결정론적으로 만들어 다른 대안적 행동들을 구별할 수 없게 만든다.

• 다양성: 정책 앙상블을 사용함으로써, IPE는 훨씬 더 높은 행동 다양성을 가진 롤아웃을 생성한다.
• 결과: 이러한 다양성은 Q-함수가 단일 정책의 행동에 붕괴되는 대신 의미 있는 행동-가치 구조($Q^*_{RL}$)를 학습할 수 있게 한다.

4. 결과

• 성능 향상: 연속 제어 벤치마크 전반에서 IPE는 단순 Q-함수 사전 학습과 비교했을 때 미세 조정 성능에서 평균 1.26배(약 26%)의 향상을 보인다.
• 무작위 초기화와의 비교: IPE는 단순 사전 학습과 무작위 초기화 모두를 능가하며, 이는 Q-함수 초기화의 품질이 결정적이지만 그 초기화의 출처가 반드시 다양해야 함을 입증한다.
• 확장성(Scaling): 성능은 앙상블에 사용된 정책의 수($N$)에 따라 확장된다. 실험에서 $N=5$가 가장 좋은 결과를 제공했으며, 이는 더 넓은 행동 정책 커버리지가 더 나은 다운스트림 미세 조정을 이끈다는 것을 시사한다.
• 선호도 정확도: IPE로 훈련된 Q-함수는 베이스라인들에 비해 최적 행동에 대한 선호도 정확도가 높게 나타나며, 이는 해당 방법이 $Q^*_{RL}$을 향한 간극을 성공적으로 메웠음을 확인시켜 준다.

5. 의의 및 주장

본 논문은 오프라인-투-온라인 RL 맥ini에서 "사전 학습이 많을수록 항상 좋다"는 기존의 가정을 반박한다. 주요 기여는 다음과 같다:

1. 실증적 증거: 베이스 정책으로부터 시작할 때, Q-함수를 직접 오프라인 데이터로 사전 학습하는 것이 온라인 RL 미세 조정을 가속하거나 개선하는 데 종종 실패함을 체계적으로 입증했다.
2. 이론적 통찰: 오프라인 Q-함수($Q_{\pi_{base}}$)와 온라인 타겟($Q^*_{RL}$) 사이의 근본적인 미스매치를 식별하였으며, 오프라인 가치 최대화만으로는 이 불일치를 해결할 수 없음을 보여주었다.
3. 실용적 솔루션: 정책 앙상블을 활용하여 Q-함수 부트스트래핑을 돕는 간단하고 효과적인 방법인 IPE를 도입했다. 사전 학습 단계에서 행동 다양성을 높임으로써, IPE는 온라인 RL이 올바른 가치 함수를 더 효율적으로 학습할 수 있게 한다.

저자들은 정책을 사전 학습하는 것은 필수적이지만, Q-함수를 초기화하는 전략은 단순히 단일 정책의 오프라인 데이터 분포에 맞추는 것이 아니라, 최적의 가치 지형을 학습하는 데 필요한 행동의 다양성을 고려해야 한다고 결론짓는다. 본 연구는 오프-폴리시 RL 설정으로 제한되며, 저자들은 IPE의 데이터 수집 오버헤드를 줄이는 것이 향후 연구 과제라고 언급했다.