기술 요약: 샘플 효율적인 연속 제어 를 위한 편향 제거 모델 기반 표현

문제 정의

강화 학습 (RL) 에이전트는 종종 샘플 비효율성에 시달려 효과적인 정책을 학습하기 위해 광범위한 온라인 상호작용이 필요합니다. 모델 프리 (model-free) 방법은 다양한 기법을 통해 효율성을 개선해 왔지만, 모델 기반 (model-based) 접근법은 환경 역학을 학습함으로써 더 높은 샘플 효율성을 제공하지만 높은 학습 비용을 수반합니다. 최근의 하이브리드 접근법은 다운스트림 액터-크리틱 네트워크에 입력하기 위해 잠재 역학을 상태 - 행동 표현에 임베딩하는 모델 기반 표현을 학습하여 두 패러다임의 장점을 결합하려 시도합니다.

그러나 저자들은 기존 모델 기반 표현 방법에서 성능을 저하시키는 두 가지 주요 편향 원인을 식별했습니다:

1. 표현 편향 (Representation Bias): 기존 방법들은 일반적으로 현재 상태 - 행동 표현 ($z_{sa}$) 과 다음 상태 표현 ($z_{s'}$) 간의 수치적 편차 (예: 평균 제곱 오차) 를 최소화합니다. 저자들은 유클리드 거리를 최소화하는 것이 본질적으로 이러한 표현 간의 **상호 정보 (mutual information)**를 최대화하는 것은 아니라고 주장합니다. 결과적으로 학습된 표현은 충분한 관련 정보를 포착하지 못하거나 고차원 공간에서 특히 중복 요소에 과적합될 수 있습니다.
2. 샘플링 편향 (Sampling Bias): 균일 샘플링이나 우선 경험 재생 (Prioritized Experience Replay, PER) 과 같은 표준 경험 재생 전략은 **선입관 편향 (primacy bias)**에 취약합니다. PER 는 시간 차 (TD) 오차가 큰 전이를 선호하는데, 이는 종종 초기의 잠재적으로 비최적 경험에 해당합니다. 이로 인해 에이전트는 현재 정책 분포와 크게 벗어날 수 있는 초기 데이터에 과적합되어 학습 불안정성과 열악한 성능을 초래합니다.

방법론: DR.Q 알고리즘

이러한 문제를 해결하기 위해 저자들은 정보 있는 모델 기반 표현을 학습하도록 설계된 오프-폴리시 RL 알고리즘인 DR.Q(Q-학습을 위한 편향 제거 모델 기반 표현) 를 제안합니다. 이 프레임워크는 학습 과정을 두 단계로 분리합니다: (i) 모델 기반 목적을 사용하여 상태 및 상태 - 행동 표현 학습, (ii) 다운스트림 가치 함수 및 정책 최적화.

1. 표현 학습에서의 상호 정보 최대화

DR.Q 는 편차를 최소화하는 것 외에도 상태 - 행동 표현 ($z_{sa}$) 과 다음 상태 표현 ($z_{s'}$) 간의 상호 정보를 명시적으로 최대화하도록 인코더 학습 목적 함수를 수정합니다.

• 잠재 일관성 손실 (Latent Consistency Loss): 예측된 다음 상태 표현과 목표 다음 상태 표현 간의 MSE 를 최소화합니다.
• 상호 정보 손실 (Mutual Information Loss): 직접적인 상호 정보 계산의 비실현성을 피하기 위해 DR.Q 는 InfoNCE 손실(상호 정보의 하한) 을 사용합니다. 이 손실은 표현이 수치적으로 가깝을 뿐만 아니라 잠재 역학에 대한 공유된 정보 지식을 인코딩하도록 장려합니다.
• 이론적 정당성: 저자들은 (정리 4.1) MSE 를 최소화하는 것이 상호 정보 증가를 보장하지 않는다고 증명합니다. 또한 (보조 정리 4.2), 상호 정보를 최대화하는 것은 현재 상태 - 행동에 따른 다음 상태의 조건부 엔트로피를 엄격히 감소시켜 더 결정론적이고 구별력 있는 잠재 역학 모델을 유도하며, 이는 가치 추정 오차의 상한을 좁힌다고 보여줍니다.

2. 페이드 우선 경험 재생 (Faded PER)

DR.Q 는 **우선 경험 재생 (PER)**과 **포기 메커니즘 (forget mechanism)**을 결합하여 선입관 편향을 완화하는 새로운 샘플링 전략을 도입합니다.

• 메커니즘: 전이 $e_i$에 대한 샘플링 확률 $P(i)$는 TD 오차 크기와 재생 버퍼 내 나이에 기반한 감쇠 인자의 곱에 비례합니다:
  $$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$$
  여기서 $\delta(i)$는 TD 오차, $\alpha$는 평활화 계수, $\epsilon$은 감쇠율입니다.
• 효과: 이 전략은 새로운(최근 추가된) 이자 정보 있는(큰 TD 오차) 전이에 높은 우선순위를 부여합니다. 정책이 진화함에 따라 초기에 큰 오차가 있었더라도 오래된 경험은 점차 우선순위가 낮아지도록 보장하여 에이전트가 구식 데이터에 과적합되는 것을 방지합니다.
• 이론적 분석: 저자들은 Faded PER 하에서 동일한 TD 오차를 가진 오래된 경험의 샘플링 확률이 새로운 것보다 엄격히 낮으며, 오래된 경험의 기대 샘플링 횟수가 유계임을 보여주는 이론적 경계 (정리 4.3) 를 제공합니다.

주요 기여

1. DR.Q 알고리즘: 다양한 연속 제어 벤치마크에서 단일 하이퍼파라미터 세트를 사용하여 모델 기반 표현을 학습하는 범용 오프-폴리시 RL 알고리즘.
2. 편향 제거 표현 학습: 표준 잠재 일관성 손실을 보완하기 위해 InfoNCE 기반 상호 정보 손실을 도입하여 표현이 충분히 정보 있고 표현력이 있도록 보장.
3. 페이드 우선 경험 재생: 높은 오차 전이를 우선시하는 이점과 구식 경험을 잊는 필요성 사이의 균형을 효과적으로 맞추는 샘플링 전략으로, 선입관 편향을 완화.
4. 종합 평가: MuJoCo, DMC Suite, HumanoidBench 의 세 가지 표준 벤치마크에서 73 개의 작업에 걸친 광범위한 실증적 검증을 통해 견고성과 일반화 능력을 입증.

실험 결과

저자들은 DR.Q 를 모델 프리 방법 (예: SimBaV2, FoG, TD7) 과 모델 기반 방법 (예: MR.Q, TDMPC2, DreamerV3) 을 포함한 강력한 베이스라인과 비교 평가했습니다.

• 성능: DR.Q 는 일관되게 최첨단 베이스라인과 맞먹거나 능가합니다. 주목할 만한 개선 사항은 다음과 같습니다:
  • DMC-Hard 작업에서 SimBaV2 대비 15.5% 향상.
  • HumanoidBench (재능 있는 손 포함) 작업에서 FoG 대비 58.9% 개선.
  • DMC-Visual 작업에서 MR.Q 대비 26.8% 우위.
• 샘플 효율성: DR.Q 는 종종 베이스라인을 큰 차이로 능가하는 우수한 샘플 효율성을 달성합니다. 예를 들어, 100 만 환경 스텝 내에서 도전적인 dog-run 작업에서 평균 보상이 700 을 초과하는 첫 번째 방법으로 보고되었습니다.
• Ablation 연구: 실험은 InfoNCE 손실이나 Faded PER 메커니즘을 제거하면 특히 중복 상태 정보가 있는 고차원 작업 (예: 손이 있는 HumanoidBench) 에서 성능이 크게 저하됨을 확인했습니다.
• 표현 품질: t-SNE 시각화는 DR.Q 가 MR.Q 에 비해 더 연속적이고 집중된 클러스터를 학습함을 나타내며, 잠재 공간의 구조적 학습이 더 우수함을 시사합니다.

중요성 및 주장

이 논문은 DR.Q 가 고성능이고 일반적인 모델 프리 RL 알고리즘 구축을 위한 구체적인 단계라고 주장합니다. 표현 학습 (상호 정보 최대화를 통해) 과 경험 재생 (Faded PER 를 통해) 의 편향을 명시적으로 해결함으로써 DR.Q 는 작업별 하이퍼파라미터 튜닝이나 복잡한 아키텍처 변경 없이 강력한 성능을 달성합니다.

저자들은 Hopper-v4와 같은 특정 작업에서 통합 하이퍼파라미터 사용으로 인한 성능 저하와 제한된 학습 예산 내의 humanoid-run과 같이 극도로 어려운 시각 작업에서의 어려움과 같은 한계를 지적합니다. 또한 이 알고리즘은 어려운 탐색이나 비마코프ian 작업을 위해 설계되지 않았음을 인정합니다. 이러한 한계에도 불구하고, 이 작업은 편향 제거 모델 기반 표현이 연속 제어에서 샘플 효율성을 향상시키는 실현 가능한 경로임을 보여줍니다.