Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

기술적 요약: 강화학습에서 희소 보상 형성: 준지도 접근법

문제 제기
강화학습 (RL) 은 보상 신호가 극도로 희소한 실제 시나리오에서 핵심적인 난관에 직면합니다. 이러한 환경에서 에이전트는 최소한의 즉각적인 피드백만 받아서, 반환값의 분산이 크고 최적 정책을 학습하기 어렵습니다. 보상 형성 (reward shaping) 과 밀도화 (densification) 는 일반적인 해결책이지만, 종종 "보상 해킹 (reward hacking)"으로 이어져 에이전트가 인공 보상을 극대화하기 위해 의도된 설계와 동떨어진 행동을 학습하게 됩니다. 반면, 비전문가 시연에 의존하는 지도 기반 보상 형성 방법은 비영 (non-zero) 보상 전이가 극히 드물 때 샘플 효율성이 낮아집니다. 기존 접근법들은 영 (zero) 보상을 생성하는 전이들의 압도적 다수를 효과적으로 활용하는 데 어려움을 겪습니다.

방법론: 준지도 보상 형성 (SSRS)
저자들은 준지도 학습 (SSL) 기법을 활용하여 이 격차를 해소하는 준지도 보상 형성 (SSRS) 프레임워크를 제안합니다. 핵심 아이디어는 희소한 비영 보상 전이뿐만 아니라 풍부한 영 보상 전이에도 궤적 공간 표현을 학습함으로써 보상 형성을 수행하는 것입니다.

이 프레임워크는 다음과 같은 주요 구성 요소를 통해 작동합니다:

1. 분류로서의 보상 추정: 보상 형성 문제를 분류 작업으로 재구성합니다. 시스템은 관찰된 비영 보상과 영을 포함하는 이산 집합 $Z$에서 보상 값을 상태 - 행동 쌍에 할당하도록 학습합니다. 보상 추정기는 두 개의 신경망으로 구성됩니다:

   • $R_V(s)$: 상태를 $Z$에 대한 확률 분포로 매핑하는 상태 가치 보상 분포 함수.
   • $R_Q(s, a)$: 상태 - 행동 쌍을 $Z$에 대한 확률 분포로 매핑하는 상태 - 행동 가치 보상 분포 함수.
     전이에 대한 최종 신뢰도 점수 벡터 $q_t$는 이 두 분포의 가중 조합입니다.

2. 준지도 최적화: 프레임워크는 정책 업데이트와 보상 추정기 최적화 사이를 오갑니다.

   • 지도 손실 ($L_r$): 알려진 비영 보상을 가진 전이에 대해, 추정기는 임계값이 적용된 교차 엔트로피 손실을 사용하여 예측과 실제 값 (ground truth) 간의 차이를 최소화하도록 훈련됩니다.
   • 일관성 정규화 ($L_s$): 영 보상 전이에 대해 모델은 일관성 정규화를 적용합니다. 입력 전이에 약한 및 강한 데이터 증강을 적용합니다. 모델은 신뢰도가 임계값 $\lambda$를 초과하는 경우, 약하게 증강된 버전과 강하게 증강된 버전 간의 일관된 예측을 생성하도록 최적화됩니다. 이는 레이블이 없는 영 보상 데이터를 활용하여 보상 함수를 정제합니다.

3. 엔트로피 증강: 이미지 외 작업에 특화된 새로운 데이터 증강 기법이 도입되었습니다. 궤적 공간의 매끄러움 가정을 위반할 수 있는 기존 이미지 증강 (예: 컷아웃, 회전) 과 달리, 이 방법은 **섀넌 엔트로피 (Shannon Entropy)**를 활용합니다. 상태 행렬의 엔트로피를 계산하여 상태 표현을 교란시킵니다. 이는 SSL 이 궤적 공간에서 효과적이기 위해 필요한 매끄러움 및 클러스터링 가정을 유지합니다.

4. 단조성 제약: 훈련을 안정화하고 행동 이점 (advantage) 의 표현을 개선하기 위해 제약이 도입됩니다. 이는 $R_Q(s, a)$와 $R_V(s)$ 사이의 차이인 추정된 이점이 음수인 경우를 패널티하여, 이점 함수가 상태 기준선 (baseline) 에 대한 상대적 개선을 포착하도록 보장합니다.

주요 기여

• SSRS 프레임워크: SSL 을 RL 에 통합하여, 비영 및 영 보상 전이 모두에서 보상 형성을 가능하게 함으로써 희소 보상 환경에서의 샘플 효율성을 향상시키는 새로운 프레임워크.
• 엔트로피 증강: 시각적 관찰이 아닌 작업에서 기존 증강 방법보다 우수한 성능을 보이는 궤적 공간에 맞춘 엔트로피 기반 데이터 교란 방법 제안.
• RL 에서의 SSL 실증적 검증: SSL 이 RL 에서 유효한 조건을 실증적으로 조사하여, 궤적 공간이 SSL 방법론에 필요한 약한 가정 (매끄러움 및 클러스터링) 을 준수함을 입증.
• 단조성 제약: 상태 가치와 상태 - 행동 가치 추정기 간의 관계를 규제하여 훈련 안정성을 향상시키는 제약 도입.

실험 결과
SSRS 프레임워크는 희소 보상 아타리 환경 (예: Montezuma's Revenge, Seaquest, Venture) 과 로봇 조작 작업 (FetchReach) 에서 평가되었습니다.

• 기선 대비 성능: SSRS 는 지도 기반 접근법 (RCP, SORS) 과 표준 RL 기선보다 일관되게 우수한 성능을 보였습니다. Montezuma's Revenge와 같이 매우 희소한 환경에서 SSRS 는 지도 기반 기선 대비 최대 2 배에 달하는 최고 점수를 달성했습니다.
• 증강 효과성: 제안된 엔트로피 증강은 다른 증강 방법 (예: 컷아웃, 스무스, 이동) 에 비해 최고 점수를 15.8% 증가시켰습니다.
• 절대 연구 (Ablation Studies): 실험은 단조성 제약의 중요성을 확인했으며, 대부분의 테스트 환경에서 이 제약을 적용한 SSRS(SSRS-ST) 가 적용하지 않은 경우 (SSRS-NST) 보다 더 높은 최고 점수를 달성함을 보였습니다.
• 하이퍼파라미터 강건성: 연구는 업데이트 확률 ($p_u$), 신뢰도 임계값 ($\lambda$), 일관성 계수 ($\beta$) 와 같은 하이퍼파라미터를 분석했습니다. 결과는 신뢰도 임계값이 0.8 에서 0.9 사이일 때 성능이 정점을 찍으며, 일관성 계수는 최종 결과에는 미미한 영향을 미치지만 훈련 역학에 영향을 준다는 것을 나타냈습니다.

의의 및 주장
본 논문은 보상 형성을 준지도 분류 문제로 취급함으로써 에이전트가 일반적으로 폐기되거나 미활용되는 영 보상 전이의 대다수에서 효과적으로 학습할 수 있다고 주장합니다. 저자들은 RL 의 궤적 공간이 SSL 에 필요한 가정 (클러스터링 및 매끄러움) 을 만족하므로, 모델이 영 보상 전이에 대한 신뢰할 수 있는 보상 신호를 추론할 수 있다고 논합니다. 엔트로피 증강의 도입은 비시각 데이터에 이미지 중심 증강을 적용할 때 발생하는 함정을 피하면서 RL 관찰의 고유한 특성에 SSL 교란 기법을 적응시킨 중요한 혁신으로 강조됩니다. 궁극적으로 이 작업은 SSL 이 보상 형성의 효율성을 크게 향상시켜, 도전적인 희소 보상 영역에서 에이전트의 점수를 높일 수 있음을 입증합니다.