CIG: Exploration via Conditional Information Gain

기술 요약: CIG: 조건부 정보 획득을 통한 탐험

문제 제기
희소하거나 지연된 외재적 보상을 갖는 강화학습 (RL) 에서 에이전트는 탐험을 위해 내재적 동기에 의존해야 합니다. 효과적인 탐험은 환경의 역학에 대한 정보를 제공하는 전이를 식별하는 것을 요구합니다. 그러나 기존 내재적 보상 방법들은 컨텍스트 활용 방식에서 근본적인 트레이드오프에 직면해 있습니다:

• 생애주기 보상 (Lifelong rewards) (예: 앙상블 불일치, 예측 오차) 은 누적된 재생 버퍼 (replay buffer) 를 조건으로 합니다. 이들은 현재 궤적이 이미 해당 간극을 탐험했는지 여부와 상관없이 모델 간극을 탐색하는 모든 전이에 크레딧을 부여합니다. 이는 단일 롤아웃 내에서 중복을 초래합니다 (예: 미로에서 동일한 불확실한 복도를 반복적으로 방문함).
• 에피소드적 보상 (Episodic rewards) (예: 기반 보상, 도달 가능성 보너스) 은 현재 롤아웃 접두사를 조건으로 합니다. 이는 궤적 내의 반복을 처벌하지만 생애주기 진행은 무시합니다. 정책이 짧은 "상상된" 롤아웃 ($T \approx 15$) 을 최적화하는 모델 기반 RL 에서 접두사는 종종 중복 수정을 위한 풍부한 신호를 제공하기에 너무 짧습니다.
• 하이브리드 방법은 휴리스틱 가중치를 통해 이러한 신호들을 결합하거나 고차원 상태 공간으로 확장되지 않는 가우시안 프로세스 (GP) 역학에 의존하려 시도합니다.
• **궤적 수준 정보 획득 (IG)**은 버퍼와 접두사를 동시에 조건으로 하는 원칙적인 목적을 제공합니다. 그러나 정확한 IG 를 계산하려면 모델 파라미터의 사후 분포에 대해 주변화 (marginalizing) 해야 하므로, 심층 신경망에서는 계산이 불가능합니다.

방법론: 조건부 정보 획득 (CIG)
저자들은 재생 버퍼와 롤아웃 접두사를 동시에 조건으로 하면서 고차원 잠재 공간으로 확장 가능한 궤적 수준 정보 획득의 계산 가능한 대리 모델인 **조건부 정보 획득 (Conditional Information Gain, CIG)**을 유도합니다.

1. 수식화: 목적은 재생 버퍼 $D$가 주어졌을 때 모델 파라미터 $w$와 궤적 $s_{1:T}$ 사이의 상호 정보를 최대화하는 것입니다: $I(w; s_{1:T} | D)$. 연쇄 법칙을 사용하면 이는 단계별 항 $I(w; s_t | s_{<t}, D)$로 분해됩니다.
2. 근사:
   • 앙상블 사후 분포 (A1): 사후 분포 $p(w|D)$는 독립적으로 훈련된 $M$개의 앙상블 구성원들에 대한 균일 분포로 근사됩니다.
   • 마르코프 - 가우시안 역학 (A2): 각 앙상블 구성원은 공유된 등방성 알레토릭 공분산 $\sigma^2 I_d$를 갖는 가우시안으로 다음 잠재 상태를 예측합니다.
   • 모멘트 일치 가우시안 (A3): 앙상블 예측의 혼합 엔트로피는 일치하는 평균과 공분산을 갖는 가우시안의 엔트로피로 상한이 설정됩니다.
3. 랭크 포화 병목 현상: 전체 인식적 공분산 행렬 $\Sigma$ (크기 $Td \times Td$) 의 로그-행렬식을 최대화하는 것은 고차원에서 실패합니다. 공분산의 랭크가 앙상블 크기 ($M-1$) 에 의해 제한되기 때문입니다. 일반적인 값 ($M=5, d=200$) 에 대해 단일 관측치가 보상 신호를 포화시켜 후속 단계에 대한 크레딧을 남기지 않습니다.
4. 트레이스 축소 (설계 선택 D1): 용량 병목 현상을 해결하기 위해 저자들은 인식적 공분산의 각 $d \times d$ 블록을 그 트레이스로 축소합니다. 이는 $K \in \mathbb{R}^{T \times T}$ 커널을 생성하며, 여기서 $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$이고, $\delta$는 앙상블 구성원들의 평균으로부터의 편차를 나타냅니다. 이는 유효 용량을 $M-1$에서 $\min(T, (M-1)d)$로 높입니다.
5. 단계별 분해: 궤적 목적 $\tilde{J} = \log \det(K + \sigma^2 d I_T)$는 코레스키 분해 ($L L^\top = \tilde{K}$) 를 사용하여 인과적 단계별 보상으로 분해됩니다. 단계 $t$에 대한 보상은 다음과 같습니다:
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • 생애주기 항 ($K_{tt}$): 표준 앙상블 불일치 (버퍼 조건).
   • 접두사 중복 항 ($k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$): 롤아웃의 이전 단계들에 의해 이미 설명된 단계 $t$에서의 불일치 부분을 차감하는 이차 형식.
   • 알레토릭 리지 ($\sigma^2 d$): 훈련 잔차에서 사후 추정된 바닥값으로, 되돌릴 수 없는 노이즈로 인해 보상이 소멸하는 것을 방지합니다.

주요 기여

• CIG 보상: 궤적 수준 정보 획득의 로그 - 행렬식 대리 모델에서 유도된 계산 가능한 단계별 내재적 보상입니다. 이는 훈련된 앙상블을 통해 재생 버퍼에, 코레스키 분해를 통해 롤아웃 접두사에 동시에 조건을 부여합니다.
• 랭크 포화 분석: 유한 앙상블 대리 모델에서의 용량 병목 현상을 식별하고, 전체 공분산 추정이 필요 없이 유효 용량을 복원하기 위한 트레이스 축소 기법을 유도했습니다.
• 확률적 방해 요소에 대한 강건성: 이 방법은 앙상블의 알레토릭 스케일을 통해 행동 의존적 확률적 노이즈 (Noisy-TV) 를 자연스럽게 필터링하며, 기반 방법이나 원시 예측 오차 방법과 다릅니다.

실험 결과
저자들은 이산 (MiniGrid) 및 연속 제어 (OGBench) 도메인, 그리고 정제된 버전과 확률적 방해 요소 (Noisy-TV) 버전을 포함한 12 가지 작업에 대해 CIG 를 평가했습니다. 평가는 탐험의 질을 격리하기 위해 보상 없는 프로토콜을 사용했습니다.

• 성능: CIG 는 대부분의 작업에서 Plan2Explore, RND, ICM, APT, E3B, 그리고 E3B $\times$ P2E 를 포함한 모든 베이스라인을 능가하거나与之 맞먹는 성능을 보였습니다. 집계 통계 (사분위수 평균) 에서 CIG 는 다른 모든 방법과 겹치지 않는 신뢰 구간으로 최고 점수를 달성했습니다.
• Noisy-TV 강건성: 행동 의존적 확률적 방해 요소가 있는 환경에서 원시 예측 오차에 의존하는 방법들 (ICM, RND, APT) 은 성공률이 거의 0 에 수렴하며 붕괴되었습니다. CIG 와 Plan2Explore(P2E) 는 앙상블 필터링으로 인해 강건하게 유지되었지만, CIG 는 P2E 를 일관되게 능가하여 단순 불일치 이상의 접두사 중복 수정이 추가적인 가치를 제공함을 보여주었습니다.
• 절삭 실험: 트레이스 축소를 제거하면 보상이 즉시 포화되어 탐험이 중단되었습니다. 접두사 중복 항을 제거하면 샘플 효율성이 감소하여, 수정이 롤아웃 내의 상관된 단계들을 과다 계수하는 것을 방지함을 확인했습니다.
• 엔트로피 대 성공: APT 와 E3B 와 같은 방법들은 더 높은 상태 방문 엔트로피를 달성했지만, 이는 작업 성공과 상관관계가 없었습니다. CIG 는 더 낮은 엔트로피로 높은 성공률을 달성하여, 표적화된 불확실성 감소 (정보성 프론티어 탐험) 가 균일한 커버리지보다 더 효과적임을 시사했습니다.

의의 및 주장
이 논문은 CIG 가 생애주기 및 에피소드적 탐험 신호가 휴리스틱하게 결합될 필요가 없음을 보여준다고 주장합니다. 대신, 이들은 단일 정보 이론적 목적에서 공동으로 발생합니다. 로그 - 행렬식 대리 모델의 코레스키 분해는 두 조건 집합을 모두 유지하는 인과적, 단계별 보상을 자연스럽게 생성합니다.

저자들은 CIG 가 문제 구조 전반에 걸쳐 강건하다고 강조합니다: 이는 확률적 환경에서 되돌릴 수 없는 노이즈를 필터링하고 결정론적 환경에서는 구조화된 보상을 제공합니다. CIG 가 모든 단일 작업을 지배하는 것은 아닙니다 (예: APT 는 정제된 ObstructedMaze 에서 더 나은 성능을 보임) 하지만, 테스트된 모든 조건에서 저하를 피하는 유일한 방법입니다. 이 작업은 짧은 상상된 롤아웃을 갖는 모델 기반 RL 로 제한됩니다; 저자들은 $O(T^3)$ 코레스키 비용과 $T \times T$ 커널 저장이 긴 시간 모델 없는 에피소드에서는 prohibitive(방해가 될) 수 있음을 지적하며, 슬라이딩 윈도우 또는 저랭크 근사를 향후 작업으로 제안합니다.