기술 요약: Ensemble Elastic DQN (EEDQN)

문제 정의

Deep Q-Networks (DQN) 및 기타 가치 기반 강화 학습 알고리즘은 빈번하게 과대평가 편향(overestimation bias) 문제를 겪습니다. 이는 부트스트랩 타겟(bootstrapped targets)이 노이즈가 섞인 가치 추정치에 대해 최대화 연산을 수행함으로써, 양의 오차가 선택되고 이후의 업데이트를 통해 전파되기 때문에 발생합니다. 이러한 Q-값의 팽창은 행동 선택을 오도하고, 에이전트가 과대평가된 상태-행동 영역을 다시 방문하도록 유도하며, 결과적으로 최적이 아닌 정책으로 수렴하게 만드는 원인이 됩니다.

앙상블 기반 방법(예: Averaged DQN, MaxMin DQN)과 다단계(multi-step) 방법(예: Rainbow, Elastic Step DQN)은 각각 안정성과 샘플 효율성을 개선하는 데 유망한 성과를 보여왔으나, 이들의 상호작용에 대해서는 아직 충분히 탐구되지 않았습니다. 이러한 접근 방식들을 결합하는 것은 간단하지 않습니다. 앙상블 집계(aggregation)는 과대평가를 줄일 수 있는 반면, 모든 타겟에 대해 보수적인 집계를 일괄 적용하는 것은 과소평가 편향(underestimation bias)을 초래할 위험이 있기 때문입니다. 또한, 기존의 적응형 다단계 방법인 Elastic Step DQN은 계산 비용이 많이 드는 클러스터링 기반 유사도 테스트에 의존하여 확장성이 제한적입니다.

방법론

본 논문은 적응형 탄력적 다단계 리턴(adaptive elastic multi-step returns)과 호라이즌(horizon) 의존적 앙상블 집계를 통합한 가치 기반 알고리즘인 **Ensemble Elastic DQN (EEDQN)**을 제안합니다.

1. 확장 가능한 탄력적 단계 메커니즘 (Scalable Elastic Step Mechanism)

EEDQN은 클러스터링의 계산 오버헤드를 제거하기 위해 기존의 Elastic Step DQN을 수정합니다. 상태 유사도를 결정하기 위해 표현 클러스터링(representation clustering)을 사용하는 대신, EEDEN은 **경량화된 Q-값 차이 규칙(lightweight Q-value difference rule)**을 채택합니다.

• $N$개의 타겟 네트워크 $\{\hat{Q}_i\}$로 구성된 앙상블을 유지합니다.
• 앙상블 평균 타겟 벡터 $\bar{Q}^-(s, \cdot)$를 계산합니다.
• 시작 상태($s_0$)와 현재 다음 상태($s'$)의 평균 타겟 벡터 간의 $L_1$ 차이($z$)를 계산합니다.
• 적응형 임계값($h$)은 최근 $z$ 값들의 히스토리 버퍼로부터 도출됩니다 ($h = \text{mean}(B) + \text{std}(B)/\sqrt{|B|}$).
• 만약 $z > h$라면, 궤적이 새로운 가치 영역에 진입한 것으로 간주하여 누적된 리턴을 저장하고 누적을 초기화합니다. 그렇지 않으면 보상은 계속해서 누적됩니다.

2. 호라이즌 의존적 앙상블 집계 (Horizon-Dependent Ensemble Aggregation)

EEDQN의 핵심 혁신은 누적된 리턴의 길이(호라이즌 $k$)에 따라 서로 다른 집계 규칙을 사용하는 것입니다.

• 1단계 타겟 ($k=1$): 부트스트랩 값은 앙상블 평균을 사용하여 계산됩니다. 이는 부트스트랩이 필요한 영역에서 학습을 저해할 수 있는 과도한 보수성을 방지합니다.
• 다단계 탄력적 리턴 ($k > 1$): 부트스트랩 값은 앙상블 최소값을 사용하여 계산됩니다. 긴 리턴은 부트스트랩 항 이전에 이미 상당한 보상 정보를 축적하므로, 최소값을 사용하는 것은 전체 타겟 값에 지배적인 영향을 주지 않으면서 극단적인 낙관적 외삽을 줄여줍니다.

타겟 값 $y$는 다음과 같이 정의됩니다:
$$y = \begin{cases} R(k) & \text{if terminal} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{if } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{if } k>1 \end{cases}$$
여기서 $a^*$는 앙상블 평균을 기반으로 선택된 탐욕적(greedy) 행동입니다.

주요 기여

1. 알고리즘 제안: 적응형 탄력적 다단계 리턴과 앙상블 기반 타겟 집계를 결합한 EEDQN을 도입했습니다.
2. 확장성 개선: Elastic Step DQN의 클러스터링 기반 유사도 테스트를 경량화된 Q-값 차이 규칙으로 대체하여, 적응형 리턴 구성을 이산 제어(discrete control) 환경에 더 쉽게 적용할 수 있도록 했습니다.
3. 호라이즌 의존적 집계: 1단계 타겟에는 앙상블 평균을 사용하고, 더 긴 탄력적 리턴에는 앙상블 최소값을 사용하는 규칙을 제안하여, 낙관적 편향의 감소와 샘플 효율성 보존 사이의 균형을 목표로 합니다.
4. 실험적 평가: 다섯 가지 MinAtar 환경에서 DQN, Double DQN, Averaged DQN, MaxMin DQN, Elastic Step DQN을 대상으로 종합적인 평가를 수행했습니다.
5. 절제 연구 (Ablation Analysis): 앙상블의 보수성과 적응형 리턴 길이 사이의 상호작용을 분석하기 위해 다양한 집계 규칙(mean, minimum, swapped, convex combinations)을 조사했습니다.

실험 결과

EEDQN은 10개의 매칭된 랜덤 시드를 사용하여 다섯 가지 MinAtar 환경(Seaquest, SpaceInvaders, Asterix, Breakout, Freeway)에서 평가되었습니다.

• 성능: EEDQN은 다섯 가지 환경 중 네 가지(SpaceInvaders, Asterix, Breakout, Freeway)에서 가장 높은 최종 리턴을 달-성했습니다. Seaquest에서는 MaxMin DQN이 가장 우수한 성능을 보였으며, EEDQN은 2위를 기록했습니다.
• 가치 팽창 제어: 관측된 최대 Q-값과 이론적 할인 리턴 상한을 비교하는 진단 지표를 통해, EEDQN과 MaxMin DQN은 모든 환경에서 팽창 임계값 미만을 유지함을 확인했습니다. 반면, DQN, DDQN, Averaged DQN, Elastic Step DQN은 적어도 한 가지 이상의 환경에서 이 상한을 초과했습니다.
• 절제 연구 결과: 모든 환경에 걸쳐 압도적인 단일 집계 규칙은 존재하지 않았습니다.
  • EEDQN (k=1일 때 Mean, k>1일 때 Min)은 Asterix, Breakout, Freeway에서 가장 좋은 성능을 보였습니다.
  • MinEEDQN (모든 경우에 Min 사용)은 심각한 과대평가 문제가 있는 환경인 Seaquest에서 가장 좋은 성능을 보였습니다.
  • ConvexEEDQN2 (50/50 혼합)는 SpaceInvaders에서 가장 좋은 성능을 보였습니다.
  • 이는 최적의 보수성 정도가 환경에 따라 달라짐을 시사합니다.

의의 및 주장

본 논문은 EEDQN이 적응형 다단계 리턴과 앙상블 집계가 과대평가 편향을 줄이기 위한 상호 보완적인 메커니즘임을 성공적으로 입증했다고 주장합니다. 그러나 결과는 "하나의 규칙으로 통용되는(one-size-fits-all)" 집계 전략은 하위 최적(suboptimal)임을 나타내며, 보수성의 정도는 특정 환경의 특성에 따라 달라져야 함을 보여줍니다.

저자들은 EEDQN을 경량화된 가치 기반 접근 방식으로 포지셔닝하며, 백업 호라이즌에 따라 집계 규칙이 어떻게 적응해야 하는지를 연구하는 데 초점을 맞추었습니다. 저자들은 본 연구의 기여가 단순히 앙상블이나 다단계 리턴을 개별적으로 사용하는 것이 아니라, 백업 호라이즌 길이에 따라 집계 연산자를 변경하는 호라이즌 의존적 규칙을 연구한 데 있다고 명시적으로 밝히고 있습니다. 결론적으로, EEDQN이 표준 베이스라인보다 개선된 성능을 보이지만, 평균과 최소값 사이의 트레이드오프를 온라인으로 조정하는 적응형 집계 규칙에 대한 연구와 더 큰 벤치마크인 Full Atari Learning Environment에서의 평가가 향후 과제로 남아있다고 언급했습니다.