Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

기술 요약: 강화 학습의 일반화를 위한 진화적 이중 수준 보상 형성 (Evolutionary Bilevel Reward Shaping)

문제 정의
본 논문은 딥 강화 학습(Deep Reinforcement Learning, RL)에서의 일반화 격차(generalization gap) 문제를 다룹니다. 이는 제한된 환경에서 훈련된 정책이 서로 다른 역학(예: 변화하는 전이 확률)을 가진 미지의 테스트 환경에서 제대로 작동하지 못하는 현상을 의미합니다. 저자들은 다음과 같은 특정하고 제약된 시나리오에 집중합니다:

• 훈련 환경 ($M_{train}$): 전체 상태-행동 궤적(state-action trajectories)을 관찰할 수 있는 작고 고정된 환경 집합.
• 검증 환경 ($M_{val}$): 스칼라 성능 지표(누적 비할인 보상)만 사용할 수 있는 더 큰 규모의 환경 집합. 전체 궤적에 접근할 수 없으므로, 정책 경사(policy gradient)를 계산하거나 표준 도메인 무작위화(Domain Randomization, DR)와 같이 다양한 궤적 데이터에 의존하는 기법을 사용할 수 없습니다.
• 목표: 검증 환경으로부터 얻은 제한된 스칼라 피드백을 활용하여, 접근 가능한 훈련 환경에서의 훈련을 가이드함으로써 미지의 테스트 환경에 대한 일반화 성능($J_{gen}$)을 극대화하는 것입니다.

방법론: 보상 형성을 통한 일반화 (GERS)
저자들은 검증 궤적에 대한 접근 없이도 일반화를 개선하기 위해 보상 함수를 자동으로 형성하는 이중 수준 최적화 프레임워크인 GERS를 제안합니다.

1. 이중 수준 공식화 (Bilevel Formulation):

   • 하위 수준 (정책 최적화): RL 에이전트(PPO 사용)가 형성된(shaped) 보상 함수 $\hat{r}_\nu$를 사용하여 훈련 환경($M_{train}$)에서 정책 $\pi_\theta$를 학습합니다. 목적 함수는 훈련 데이터에 대한 할인된 수익을 최대화하는 것입니다: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$.
   • 상위 수준 (보상 형성 최적화): 진화 전략(CMA-ES)이 보상 형성 파라미터 $\nu$를 최적화합니다. 목적 함수는 검증 환경에서 하위 수준 정책이 얻은 누적 비형성(unshaped) 보상을 최대화하는 것입니다: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$.
   • 형성된 보상은 선형적으로 정의됩니다: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$, 여기서 $\phi(s, a)$는 상태 및 행동 벡터를 결합한 것입니다.

2. 알고리즘 구현:

   • 사전 훈련 (Pretraining): 견고한 초기화를 제공하기 위해 PPO 에이전트를 원래의 보상 함수로 먼저 사전 훈련합니다.
   • 진화적 탐색 (Evolutionary Search): CMA-ES는 후보 보상 파라미터 $\nu$를 샘플링합니다. 각 후보에 대해, PPO 에이전트는 (사전 훈련된 정책을 시작점으로 사용하여) 형성된 보상을 가지고 훈련 환경에서 미세 조정(fine-tuning)됩니다.
   • 평가 (Evaluation): 생성된 정책은 검증 환경에서 평가되어 스칼라 점수를 얻습니다. 이 점수들은 CMA-ES 업데이트를 가이드합니다.
   • 효율성: 계산 비용을 줄이기 위해, 이 방법은 사전 훈련된 모델로부터 파라미터 공유(Actor 및 Critic 네트워크 모두 상속)를 사용하며, CMA-ES 후보들의 병렬 평가를 활용합니다.

주요 기여

• 새로운 설정: 본 논문은 검증 궤적에 대한 접근 없이 오직 스칼라 수익만을 제공하는 "블랙박스" 환경이라는 제약 조건 하에서의 RL 일반화 문제를 공식화하고 해결합니다. 이는 표준 도메인 무작위화(DR)나 절차적 콘텐츠 생성(PCG) 기법들이 간과해 온 제약 사항입니다.
• 이중 수준 프레임워크: 정책 학습(하위 수준)과 보상 함수 설계(상위 수준)를 분리하고, 진화 전략을 사용하여 훈련 성능과 검증 성능 사이의 간극을 메우는 이중 수준 최적화 방식을 도입합니다.
• 데이터 효율성: GERS가 검증 환경의 궤적 데이터에 접근하지 않고도, 오직 스칼라 피드백에 의존하여 보상 형성을 유도함으로써 높은 일반화 성능을 달 수 있음을 입증했습니다.

실험 결과
저자들은 네 가지 MuJoCo 연속 제어 작업(InvertedPendulum, Hopper, HalfCheetah, Ant)에 대해 물리적 파라미터(예: 질량, 마찰, 중력)를 변화시키며 GERS를 평가했습니다.

• 베이스라인 비교: 단일 환경에서 훈련된 표준 PPO는 심각한 과적합(overfitting)을 보였으며, 훈련 보상은 높았으나 미지의 테스트 환경에서는 낮은 성능을 기록했습니다.
• GERS 성능: GERS는 모든 작업에서 표준 PPO 베이스라인을 크게 앞질렀으며, 여러 경우(예: InvertedPendulum)에서 훈련 성능에 필적하는 일반화 성능을 달 achievement 했습니다.
• 도메인 무작위화(DR)와의 비교:
  • GERS는 훈련 데이터로 사용된 것과 동일한 환경 집합을 활용한 DR 베이스라인과 비교되었습니다.
  • 복잡한 작업(HalfCheetah, Ant)에서는 DR이 가장 우수한 성능을 보였으나, 단순한 작업(InvertedPendulum, Hopper)에서는 GERS가 DR보다 뛰어난 성능을 보였습니다.
  • 결정적으로, GERS는 훨씬 더 엄격한 정보 제약 조건(검증 환경에서의 궤적 접근 불가) 하에서도 DR에 필적하는 강건성을 달성했습니다.
• 분포 외(OOD) 분석: 히트맵 평가 결과, GERS는 하나의 물리적 파라미터가 극단적인 OOD 영역으로 밀려났을 때도 강력한 강건성을 유지했으나, 여러 파라미터가 동시에 극단적일 때는 성능이 저하되었습니다.

의의 및 주장
본 논문은 GERS가 제한된 데이터 접근 제약 조건 하에서 RL 일반화를 효과적으로 향상시킨다고 주장합니다. 주요 의의는 진화 전략을 통해 최적화된 보상 형성이 궤적 데이터를 사용할 수 없는 상황에서 도메인 무작위화(DR)의 실행 가능한 대안이 될 수 있음을 보여준 데 있습니다. 저자들은 이 접근 방식이 자동화된 레드 티밍(red teaming)이나 개인정보 보호가 중요한 배포 환경과 같이, 개발자가 대상 시스템의 내부 상태 전이는 볼 수 없지만 성능 결과는 관찰할 수 있는 실제 응용 분야에 특히 유효하다고 제언합니다.

인정된 한계점
저자들은 다음과 같은 한계점을 겸허히 언급했습니다:

• 평가는 조밀한 보상(dense-reward)을 가진 연속 제어 작업에 국한되었으며, 희소 보상(sparse-reward) 문제에 대한 적용 가능성은 검증되지 않았습니다.
• 높은 계산 비용으로 인해 독립적인 실험 횟수가 제한되어 통계적 유의성을 확보하는 데 영향을 미쳤습니다.
• 성능 향상은 보상 형성과 여러 확률적 실행 중 최적의 정책을 선택하는 과정의 결합된 결과이며, 보상 형성의 구체적인 기여도를 분리하기 위한 절제 실험(ablation study)이 필요합니다.
• 상위 수준의 CMA-ES가 모든 실험에서 완전히 수렴하지는 않았으며, 이는 향후 연구에서 노이즈 인식 변형(noise-aware variants)이 필요함을 시사합니다.