기술 요약: 모델 기반 강화학습에서 탐색의 놀라운 난이도

문제 제기

모델 기반 강화학습 (MBRL) 은 전통적으로 학습된 동역학 모델을 활용하여 미래 궤적을 시뮬레이션하고 사전 계획을 수립함으로써, 샘플 효율적인 의사결정을 위한 유망한 패러다임으로 간주되어 왔습니다. 해당 분야의 지배적인 가정은 MBRL 성능의 주요 장애물이 모델 정확도와 장기 시간 범위에서의 누적 오차라는 점입니다. 따라서 많은 연구가 동역학 모델과 불확실성 추정을 개선하는 데 집중해 왔습니다.

그러나 본 논문은 더 나은 모델이 자동으로 더 나은 계획으로 이어진다는 가정에 도전합니다. 저자들은 학습된 정책을 대체할 수 있는 탐색(특히 모델 예측 제어, MPC) 의 효과성을 조사합니다. 저자들은 MBRL 에서 탐색의 어려움이 모델의 불완전성 때문만이 아니라, 분포 이동과 과대평가 편향과 관련하여 탐색이 가치 학습과 상호작용하는 방식의 근본적인 문제에서 비롯된다고 가정합니다.

방법론

이론적 및 실증적 조사

저자들은 먼저 완벽한 모델을 사용하더라도 탐색이 실패할 수 있음을 입증합니다. "흡수 N-체인" MDP 를 사용하여 균일한 무작위 탐색 하에서 고가치 궤적을 찾을 확률이 계획 시간 범위가 증가함에 따라 기하급수적으로 감소함을 보여줌으로써, 대규모 행동 공간에서 완전 탐색이 불가능함을 입증했습니다.

모델의 질과 탐색 효과를 분리하기 위해, 저자들은 구조적으로 유사한 두 가지 알고리즘을 비교합니다:

1. MR.Q: 탐색 없이 표현 학습을 위해 순수하게 모델 기반 목적 함수를 사용하는 최첨단 방법.
2. TD-MPC2: 잠재 세계 모델을 MPC 에 사용하는 선도적인 탐색 기반 MBRL 방법.

실험적으로 MR.Q 에 MPC 를 단순히 추가하면 성능이 저하됨을 보여주었습니다. 이는 MR.Q 가 TD-MPC2 와 동등하거나 더 나은 정확도의 동역학 모델을 학습함에도 불구하고 발생했습니다. 반대로 TD-MPC2 에서 MPC 를 제거하면 성능 프로필이 변경됩니다. 이러한 비대칭성은 모델 정확도만으로는 탐색의 성공이 결정되지 않음을 확인시켜 줍니다.

근본 원인 분석: 과대평가 편향

저자들은 과대평가 편향을 주요 병목 현상으로 식별합니다. 표준 MBRL 설정에서:

• 가치 함수는 학습된 정책 네트워크 ($\pi$) 로부터의 롤아웃을 사용하여 훈련됩니다.
• 실행 중에는 탐색 (MPC) 이 가치 함수 ($\pi_{MPC}$) 를 기반으로 행동을 선택합니다.
• 이로 인해 분포 이동이 발생합니다: 가치 함수는 훈련된 분포 ($\pi$) 와 다른 행동 ($\pi_{MPC}$) 에 대해 쿼리됩니다.
• 이 불일치는 특히 분포 외 (OOD) 행동에 대해 가치 함수가 탐색으로 선택된 행동의 보상을 과대평가하게 만들어 전체 성능을 저하시킵니다.

제안된 솔루션: MRS.Q

이러한 통찰을 바탕으로 저자들은 MRS.Q(탐색 및 Q-학습을 위한 모델 기반 표현) 를 제안합니다. MRS.Q 는 모델 정확도만 개선하는 것이 아니라 과대평가 편향을 직접 해결함으로써 효과적인 탐색을 가능하게 하도록 MR.Q 를 수정합니다. 주요 수정 사항은 다음과 같습니다:

1. 탐색 기반 행동 선택: MRS.Q 는 TD-MPC2 와 유사하게 짧은 시간 범위 (3 단계) 로 행동을 선택하기 위해 모델 예측 경로 적분 (MPPI) 제어를 사용합니다.
2. 앙상블에 대한 공격적 최소화: 과대평가 편향을 완화하기 위해 MRS.Q 는 10 개의 가치 함수 앙상블을 사용합니다. 핵심적으로, 다음 두 가지 상황에서 전체 앙상블에 걸쳐 최소 값을 취합니다:
   • 가치 목표 계산 (벨만 업데이트).
   • MPC 중 궤적 평가 (최고의 행동 시퀀스 선택).
     이는 TD-MPC2 와 대조되는데, TD-MPC2 는 업데이트를 위해 가치 함수 쌍을 무작위로 샘플링하고 MPC 평가에는 평균을 사용합니다.
3. 하이퍼파라미터 조정:
   • 탐색 노이즈 제거: MPC 가 본질적으로 행동 변이를 유도하므로, 가산 가우시안 탐색 노이즈를 제거합니다.
   • 심플리셜 임베딩 (SEM): 다단계 롤아웃을 안정화하기 위해 상태 인코더 및 동역학 모델 출력에 적용합니다.
   • 터미널 손실 가중치 증가: 가치 추정에 중요한 에피소드 종료 예측의 정확도를 높이기 위해 가중치를 증가시킵니다.

주요 기여

1. "더 나은 모델" 교조에 대한 도전: 본 논문은 매우 정확하거나 완벽한 동역학 모델을 사용하더라도 탐색이 실패할 수 있음을 입증합니다. 탐색의 효과성은 모델 충실도보다는 탐색과 가치 학습 간의 상호작용에 더 의해 결정됩니다.
2. 병목 현상으로서의 분포 이동 식별: 저자들은 비탐색 데이터로 훈련된 가치 함수를 탐색으로 수집된 데이터로 훈련할 때 발생하는 분포 이동이 심각한 과대평가 편향을 초래함을 보여줍니다.
3. MRS.Q 알고리즘: 저자들은 공격적 최소화를 사용하는 가치 함수 앙상블을 통해 표현 학습 프레임워크에 탐색을 통합한 MRS.Q 를 도입합니다. 이 접근법은 과대평가 편향을 효과적으로 완화합니다.
4. 최첨단 성능: MRS.Q 는 TD-MPC2 및 최근 확장 버전 (TD-M(PC)2, BMPC, BOOM) 을 포함한 모델 프리 및 모델 기반 베이스라인보다 여러 벤치마크에서 우수한 성능을 달성합니다.

결과

저자들은 Gym, DeepMind Control Suite (DMC), HumanoidBench라는 세 가지 벤치마크 도메인에서 50 개 이상의 작업에 대해 MRS.Q 를 평가했습니다.

• 성능: MRS.Q 는 네 개의 벤치마크 하위 집합 중 세 개 (Gym, HumanoidBench-No Hand, HumanoidBench-Hand) 에서 모든 베이스라인을 능가하며, DMC 에서는 경쟁력 있는 성능을 유지합니다.
• TD-MPC2 와의 비교: 동일한 탐색 절차 (MPPI) 를 사용함에도 불구하고, MRS.Q 는 특히 고차원 작업 (예: 손 특징이 포함된 HumanoidBench) 과 Gym 환경에서 TD-MPC2 를 크게 능가합니다.
• 애블레이션 연구:
  • 앙상블 크기: 앙상블 크기가 10 개의 가치 함수까지 증가함에 따라 성능이 향상됩니다. 표준 Double Q-학습과 같이 2 개만 사용하는 것은 편향을 완화하기에 충분하지 않습니다.
  • 최소화 전략: MPC 궤적 평가 시 전체 앙상블에 걸쳐 최소 값을 취하는 것이 결정적입니다. TD-MPC2 와 같이 평균을 사용하는 경우 성능이 낮아집니다.
  • 탐색 노이즈: 가산 탐색 노이즈를 제거하면 성능이 향상되어, MPC 가 충분한 탐색을 제공함을 확인시켜 줍니다.
• 계산 비용: MRS.Q 는 MR.Q 보다 높은 계산 비용 (HalfCheetah 에서 1M 스텝당 약 53 시간 대 10 시간) 을 발생시키며, 이는 주로 가치 함수 앙상블이 아닌 MPC 탐색 과정 때문입니다.

중요성 및 주장

본 논문은 MBRL 의 병목 현상이 동역학 모델의 품질뿐만 아니라 모델이 어떻게 사용되는지에 있다고 주장합니다. 저자들은 MBRL 의 진전이 가치 학습과 탐색 사이의 근본적인 긴장 관계를 이해하고 관리하는 데 필요하다고 주장합니다.

• 패러다임 전환: 이 연구는 단순히 더 나은 모델을 구축하는 것만으로는 부족함을 시사합니다. 대신, 탐색과 훈련 사이의 분포 이동으로 인해 발생하는 과대평가 편향을 해결하는 것이 탐색의 이점을 실현하는 열쇠입니다.
• 일반화 가능성: 탐색으로 인한 과대평가를 완화하기 위해 앙상블 최소값을 사용하는 기법은 MRS.Q 에뿐만 아니라 TD-MPC2 에 적용했을 때도 효과적임이 입증되었습니다.
• 실용적 영향: 학습된 모델을 더 효과적으로 사용할 수 있게 함으로써, MRS.Q 는 데이터 수집 비용이 높거나 안전이 중요한 로봇 공학 및 자율 시스템 응용 분야에서 중요한 샘플 효율적인 RL 로 가는 길을 제시합니다.

저자들은 한계에 대해 겸손하게 언급하며, 10 개의 가치 함수를 유지하고 MPC 를 실행하는 계산 비용이 상당하며, 공격적 최소화 전략은 밀집 보상과 조기 종료가 없는 작업 (예: DMC) 에서는 더 작은 이득을 낸다고 지적합니다. 이는 이 방법이 과대평가가 심각한 곳에서 가장 유익함을 시사합니다.