기술 요약: 강화 학습을 위한 무작위 특징 기반의 정보 기반 탐색

1. 문제 정의

강화 학습(RL) 에이전트는 알려진 보상을 활용하는 것과 새로운 전략을 발견하는 것 사이의 균형을 맞추어야 하는 근본적인 탐색-활용(exploration-exploitation) 트레이드오프에 직면한다. 소규모의 이산적 환경에서는 카운트 기반 보너스(예: $1/\sqrt{n(s)}$)를 사용하는 "불확실성에 대한 낙관주의(Optimism in the Face of Uncertainty, OFU)" 원칙이 탐색을 효과적으로 유도한다. 그러나 연속적이고 고차원적인 상태 공간에서는 동일한 상태를 정확히 두 번 방문할 확률이 0이기 때문에 직접적인 카운팅은 의미가 없어진다.

현재의 딥 RL 솔루션들은 불확실성이나 의사 카운트(pseudo-counts)를 학습하기 위해 신경망(NN)을 사용하는 방식으로 이를 해결한다(예: Random Network Distillation, Bayesian NNs). 이러한 방식들은 경험적으로는 성공적이지만, 다음과 같은 문제를 겪는다:

• 제한된 이론적 해석 가능성: 복잡하고 블랙박스적인 최적화 역학에 의존한다.
• 하이퍼파라미터 민감도: 성능이 취약하며 학습률, 아키텍처, 정규화에 크게 의존하며, 종종 도메인 간 전이가 실패한다.
• 계산 복잡도: 가우시안 프로세스(GP)와 같이 이론적으로 근거가 있는 대안들은 데이터셋 크기에 따라 세제곱($O(n^3)$)의 계산 복잡도를 가져 딥 RL에는 확장성이 떨어진다.

본 논문은 다음과 같은 질문을 던진다: 이론적 해석 가능성과 계산적 트랙터빌리티(tractability)를 제공하면서도 경쟁력 있는 경험적 성능을 달야내는 딥 RL용 대안 탐색 메커즘을 어떻게 설계할 수 있는가?

2. 방법론: 무작위 특징 정보 이득 (RFIG)

저자들은 베이지안 커널 방법에서 유도되었으나 Random Fourier Features(RFF)를 통해 딥 RL에 적합하도록 확장된 탐색 보너스인 **Random Feature Information Gain (RFIG)**를 제안한다.

이론적 토대

이 방법은 정보 이득(Information Gain, IG) 개념에 근거한다. 베이지안 설정에서, 상태 $x^*$를 쿼리함으로써 얻는 정보 이득은 미지의 함수 $f$의 사후 분포(posterior distribution)의 미분 엔트로피(differential entropy) 감소량으로 정의된다. 노이즈 $\sigma^2$를 가진 가우시안 프로세스(GP)의 경우, IG는 다음과 같다:
$$IG(x^* | D_n) = \frac{1}{2} \log \left( 1 + \frac{\sigma_n^2(x^*)}{\sigma^2} \right)$$
여기서 $\sigma_n^2(x^*)$는 사후 분산이다. 이 양은 자연스럽게 탐색 보너스로 기능한다: 높은 분산(불확실성)은 높은 정보 이득을 의미한다.

RFF를 통한 확장성

표준 GP 추론은 $n \times n$ 커널 행렬의 역행렬을 구해야 하므로 $O(n^3)$의 비용이 든다. 이를 극복하기 위해 RFIG는 이동 불변 커널(예: RBF)을 유한 차원의 명시적 매핑 $\phi(x) \in \mathbb{R}^D$로 근사하는 Random Fourier Features (RFF) (Rahimi and Recht, 2007)를 사용한다.

• 커널 $k(x, x')$는 $\phi(x)^T \phi(x')$로 근사된다.
• 사후 분산은 특징 행렬 $\Phi_n \in \mathbb{R}^{n \times D}$를 사용하여 계산되며, 이는 복잡도를 $O(D^3)$로 줄여준다 (여기서 $D$는 무작위 특징의 수이다).
• 결과적인 정보 이득의 근사치는 다음과 같다:
  $$\hat{IG}(x^* | D_n) = \frac{1}{2} \log \left( 1 + \phi(x^*)^T (\Phi_n^T \Phi_n + \lambda I_D)^{-1} \phi(x^*) \right)$$

알고리즘 통합

RFIG는 외적 보상(extrinsic reward)에 더해지는 내적 보상(intrinsic reward) 보너스로 표준 딥 RL 알고리즘(특히 PPO)에 통합된다: $r_{total} = r + \beta r^+$. 주요 구현 세부 사항은 다음과 같다:

• 상태 정규화(State Normalization): 커널 계산이 스케일 차이에 의해 지배되지 않도록 실행 통계(running statistics)를 사용하여 상태를 정규화한다.
• 서브샘플링(Subsampling): $n$이 증가함에 따라 정보 이득 보너스가 너무 빨리 사라지는 것을 방지하고 행렬 역행렬 수렴을 가속화하기 위해, 특징 행렬 $\Phi_t$를 업데이트할 때 상태의 하위 집합을 사용한다.
• 행렬 역행렬(Matrix Inversion): 효율적이고 수치적으로 안정적인 행렬 역행렬을 위해 Newton-Schulz 반복법을 사용하며, 이를 통해 웜 스타트(warm-starts)와 GPU 병렬화를 허용한다.
• 하이퍼파라미터: 방법론은 최소한의 튜닝을 요구한다: 특징 수 $D$, 정규화 $\lambda$, 그리고 유효 입력 차원의 제곱근에 비례하게 초기화되는 길이 척도(length-scale) $\ell$.

3. 주요 기여

1. 새로운 탐색 보너스: 비가산(non-countable) 공간에서 정보 이득을 근사하는, 베이지안 커널 이론에서 유도된 폐쇄형(closed-form) 탐색 보너스인 RFIG를 도입하였다.
2. 확장성: RFF를 결합하여 베이지안 커널 방법을 딥 RL 시나리오로 확장함으로써, 계산 복잡도를 $O(n^3)$에서 $O(D^3)$로 줄일 수 있음을 입증하였다.
3. 이론적 보장: RFIG의 근사 오차가 커널 근사 품질에 따라 스케일링되며 샘플 크기에 따라 감소한다는 오차 경계(error bounds)를 제공하여 일관성을 보장한다.
4. 실제적 구현: 신경망 불확실성 추정기의 역전파 복잡성을 피하면서, 상태 정규화, 서브샘플링 전략, 효율적인 행렬 역행렬 기법을 포함한 RFIG 통합을 위한 상세한 레시피를 제공한다.

4. 실험 결과

저자들은 네 가지 도메인(고전 제어: Acrobot, MountainCar; 희소 보상 연속 제어: Brax locomotion; 내비게이션: PointMaze; MinAtar 태스크)에서 PPO와 결합된 RFIG를 평가하였다.

• 성능: RFIG는 RND, VIME, #Explo를 포함한 기존의 딥 탐색 베이스라인들과 비교하여 경쟁력 있는 성능을 달성했다.
• 일관성: 표현 학습에 의존하는 방법들(VIME, #Explo)이 환경에 따라 성공하거나 실패하는 양상을 보인 것과 달리, RFIG는 다양한 태스크에 걸쳐 놀라운 안정성을 보여주었다.
• 효율성: JAX 구현은 행렬 역행렬을 사용함에도 불구하고 신경망 접근 방식과 비교했을 때 실행 시간 면에서 유의미한 차이를 보이지 않았다.
• 비교: RFIG는 RND의 성능과 대등하거나 이를 상회하면서도 더 우수한 이론적 해석 가능성을 제공했다.

5. 의의 및 주장

본 논문은 RFIG가 효과적인 딥 RL 탐색을 위해 점점 더 정교한 신경망 아키텍처와 블랙박스 최적화 역학이 필요하다는 기존의 가설에 도전한다고 주장한다.

• 이론적 엄밀성: 커널 방법을 활용함으로써 RFIG는 인기 있는 딥 RL 탐색 전략에서 흔히 결여된 수학적 엄밀성과 폐쇄형 해법을 제공한다.
• 강건성: 불확실성 추정을 위한 신경망 훈련에서 발생하는 하이퍼파라미터의 취약성과 최적화 불안정성을 피함으로써, 신경망 기반 방법보다 더 강건한 대안을 제시한다.
• 일반적 적용 가능성: 이 프레임워크는 원칙적인 커널 방법이 표현 학습이나 광범위한 하이퍼파라미터 튜닝 없이도 신경망 접근 방식의 경험적 성능과 일치할 수 있음을 시사한다.

저자들은 RFIG를 모든 딥 RL 방법을 대체하기 위한 것이 아니라, 고전적 탐색 이론과 현대적 딥 러닝의 확장성 사이의 간극을 메우는, 이론적으로 근거가 있고 계산적으로 트랙터블한 대안으로 포지셔닝한다.