기술 요약: 엔드포인트 리플레이(Endpoint Replay): 심층 강화 학습에서 최신성 버퍼의 압축

문제 정의

DQN, SAC, DreamerV3와 같은 오프 폴리시(off-policy) 방법론을 중심으로 하는 심층 강화 학습(DRL) 알고리즘은 데이터 간의 상관관계를 제거하고, 어려운 탐색(hard exploration)을 위한 데이터를 유지하며, 희소한 보상(sparse rewards)을 전파하기 위해 대규모 경험 리플레이 버퍼(통상 100만 개의 전이)에 크게 의존한다. 이러한 방식은 효과적이지만, 대규모 버퍼는 상당한 저장 비용과 계산 오버헤드를 발생시킨다.

버퍼 크기를 줄이기 위한 기존의 시도들은 다음과 같은 부분에 집중해 왔다:

1. 지속적 강화 학습(Continual RL): 비정상성(non-stationary) 과업을 추적하기 위해 버퍼를 압축하지만, 종종 장기적인 데이터 유지력을 희생한다.
2. 스트리밍/생성적 방법(Streaming/Generative Methods): 버퍼를 완전히 제거하거나 생성 모델을 사용하지만, 이는 시뮬레이션 편향이나 불안정성을 유발할 수 있다.
3. 코어셋 구축(Coreset Construction): 대표적인 전이들을 선택(예: 리저버 샘플링)하여 대규모 버퍼를 요약한다.

본 논문이 다루는 핵심 문제는, 기존의 대규모 버퍼가 가진 성능상의 이점을 유지하면서도 버퍼 크기를 10배에서 50배까지 압축할 수 있는지 여부이다. 저자들은 기존 코어셋 접근 방식에서 발견된, 이전에 인식되지 않았던 결정적인 실패 모드인 **언앵커드 부트스트랩 타겟(unanchored bootstrap targets)**을 식별하였다. 코어셋이 고립되고 비연속적인 전이들로 구성될 경우, 부트스트랩 타겟(다음 상태-행동 쌍)이 코어셋 내에 존재하지 않는 경우가 빈번하게 발생한다. 결과적으로, 타겟에 대한 가치 추정치가 버퍼 내의 전이에 의해 업데이트되지 않아, 부정확하고 닻이 내려지지 않은(unanchored) 타겟이 가치 함수를 오염시키게 된다.

방법론: 엔드포인트 리플레이(Endpoint Replay)

저자들은 소규모의 최신성 버퍼(recency buffer)와 "체인형(chained)" $n$-step 전이들로 구축된 대규모 코어셋 버퍼를 유지함으로써 경험을 압축하는 엔드포인트 리플레이 방식을 제안한다.

1. 체인형 $n$-step 전이 (앵커링)

고립된 전이 $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$를 저장하는 대신, 엔드포인트 리플레이는 "점프하는(jumpy)" 전이들로 구성된 코어셋을 구축한다. 데이터가 작은 최신성 버퍼($D_r$)에서 밀려날 때, 이는 $n$-step 시퀀스로 집계된다.

• 메커니즘: "래그 버퍼(lag buffer)"는 최신성 버퍼로부터 $n$개의 전이를 축적한다. 버퍼가 가득 차거나 종료 시, 이는 단일 전이 $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$를 계산하여 저장한다. 여기서 $n$-step 리턴은 $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$이다.
• 앵커링(Anchoring): 결정적으로, 한 전이의 엔드포인트 $(s_{t+n}, a_{t+n})$는 다음 전이의 시작점이 된다. 이를 통해 코어셋 내의 모든 부트스트랩 타겟이 "앵커링"됨을 보장한다. 즉, 모든 타겟은 코어셋 내의 다른 전이의 시작 상태로 존재하며, 따라서 훈련 중에 업데이트된다. 이는 단순한 코어셋 샘플링에서 발견되는 언앵커드 타겟 문제를 제거한다.

2. 엑스펙타일 사르사(Expectile Sarsa) 업데이트

$n$-step 타겟을 사용하면 **비관적 편향(pessimistic bias)**이라는 새로운 문제가 발생한다. 오프 폴리시 설정에서 $n$-step 리턴은 오래된, 잠재적으로 최적이 아닌 정책에 의해 생성된 궤적으로부터 계산된다. 최대 액션 가치($\max_a Q$)를 사용하는 표준 $n$-step 업데이트는 지나치게 낙관적이거나 편향될 수 있고, 실제 취해진 액션($a_{t+n}$)을 사용하는 표준 사르사(Sarsa) 업데이트는 이전 정책이 최적이 아니었을 경우 비관적일 수 있다.

이를 완화하기 위해 저자들은 $n$-step 엑스펙타일 사르사를 도입한다:

• 손실 함수: 표준 제곱 오차 손실 대신 파라미터 $\tau \in (0, 1)$를 갖는 **엑스펙타일 손실(expectile loss)**을 사용한다.
• 메커니즘: 엑스펙타일 손실 $u$는 하향 편차(weighted by $1-\tau$)와 상향 편차(weighted by $\tau$) 사이의 균형을 맞춘다. $\tau > 0.5$ (예: $\tau=0.7$)로 설정함으로써, 업데이트는 높은 리턴에 집중하며, 데이터셋 외부의 액션을 쿼리하지 않고도 시퀀스 내의 액션들에 대해 효과적으로 최대화한다.
• 사르사 vs. Q-러닝: 업데이트는 $\max_a Q(s_{t+n}, a)$ 대신 실제로 취해진 액션인 $a_{t+n}$을 사용하여, 해당 액션 또한 데이터 분포 내에 "앵커링"되도록 보장한다.

3. 알고리즘 아키텍처

시스템은 두 개의 버퍼 구조를 활용한다:

• 최신성 버퍼 ($D_r$): 가장 최근의 $j$개 전이(예: 10k)를 저장한다. 표준 Double DQN (DDQN) 업데이트로 업데이트된다.
• 코어셋 버퍼 ($D_c$): 압축된 $n$-step 전이를 저장한다(예: 90k). $n$-step 엑스펙타일 사르사 손실로 업데이트된다.
• 샘플링: 신선한 데이터로부터의 학습을 우선시하기 위해 최신성 버퍼에서 높은 비율(예: $D_r$과 $D_c$의 비율 7:1)로 미니 배치를 샘플링한다.

주요 기여

1. 엔드포인트 리플레이 알고리즘: 작은 최신성 버퍼와 엑스펙타일 사르사로 업데이트되는 체인형 $n$-step 전이 코어셋을 결 조합한 버퍼 압축 방법론이다. 이는 기존 대비 10배에서 50배 적은 저장 공간으로도 대규모 버퍼와 유사한 성능을 달성한다.
2. 언앵커드 타겟 문제 식별: 저자들은 고립된 코어셋 전이가 어떻게 언앵커드 부트스트랩 타겟을 유발하여 가치 함수를 오염시키는지 공식적으로 식별하고 입증하였다. 또한, $n$-step 체인을 통해 모든 부트스트랩 상태가 업데이트되도록 함으로써 이 문제를 해결함을 증명하였다.
3. $n$-step 엑스펙타일 사르사의 이론적 분석:
   • $n$-step 엑스펙타일 액션-밸류를 공식화하고, 관련 벨만 연산자가 수축(contraction)임을 증명하여 $n \ge 1$일 때의 수렴을 보장한다.
   • 결정론적 역학(deterministic dynamics) 하에서 정책 반복(policy iteration)이 최적 정책으로 수렴함을 증명한다.
   • $n$-step 엑스펙타일 값들 사이의 순서 관계를 확립하여, 더 긴 호라이즌이 더 보수적인 추정치를 생성함을 보여준다.

실험 결과

저자들은 Pinball 환경과 12개의 Atari 2600 게임에서 엔드포인트 리플레이를 평가하였다.

• Pinball: 50배 작은 버퍼(총 10k vs. 표준 500k)를 사용한 엔드포인트 리플레이는 대규모 최신성 버퍼(1M)와 대등한 성능을 보였으며, 동일 크기의 작은 버퍼, 리저버 샘플링 코어셋, 그리고 MeDQN보다 우수한 성능을 보였다.
• Atari 2600:
  • 10배 압축 (100k 버퍼): 엔드포인트 리플레이는 동일 크기의 작은 버퍼 및 리저버 코어셋보다 뛰어난 성능을 보였으며, 표준 1M 버퍼 베이스라인과 대등하거나 약간 상회하는 성능을 기록했다.
  • 50배 압축 (20k 버퍼): 엔드포인트 리플레이는 모든 작은 버퍼 베이스라인(1-step 및 10-step)을 능가했으며, 12개 게임 중 5개에서 대규모 버퍼의 성능을 따라잡았다.
• 절제 연구 (Ablation Studies):
  • 앵커링 (Anchoring): 체이닝을 제거(언앵커드 상태)하거나 액션 앵커링을 제거(DDQN 사용)할 경우 성능이 현저히 저하되었다.
  • 엑스펙타일 손실 (Expectile Loss): 엑스펙타일 손실을 표준 제곱 오차로 대체(편향 보정을 제거)했을 때 성능이 낮아졌으며, 이는 $n$-step 타겟을 위한 엑스펙타일 업데이트의 필요성을 확인시켜 준다.

의의 및 주장

본 논문은 엔드포인트 리플레이가 오프 폴리시 DRL에서 저장 효율성과 학습 성능 사이의 트레이드오프를 성공적으로 해결한다고 주장한다. "언앵커드 부트스트랩 타겟" 문제를 식별함으로써, 저자들은 단순한 코어셋 선택만으로는 불충분하다는 것을 보여주었다. $n$-step 체인을 통해 엔드포인트를 앵커링하고 엑스펙타일 손실을 통해 편향을 수정하는 솔루션은, 대규모 버퍼가 제공하는 이점(장기 호라이즌 신용 할당 및 탐색)을 유지하면서도 메모리 점유율을 획기적으로 줄일 수 있게 한다.

저자들은 이 방법이 낮은 확률성(low stochasticity) 환경에서는 견고하지만, 엑스펙타일 손실이 환경의 확률성을 쫓을 수 있기 때문에 최적 정책으로의 수렴에 대한 이론적 보장은 결정론적 역학(deterministic dynamics) 하에서 엄격하게 성립한다고 언급하였다. 이 연구는 대규모 리플레이 버퍼가 제공하는 안정성과 샘플 효율성을 희생하지 않으면서도, 더욱 자원 효율적인 DRL로 나아가는 경로를 제시한다.