기술 요약: 인프라-베이지안 강화학습 에이전트가 최악의 경우 견고성 측면에서 고전적 강화학습을 능가함

1. 문제 제기

고전적 강화학습 (RL) 과 베이지안 RL 은 에이전트가 주로 마르코프 결정 과정 (MDP) 으로 모델링되거나 그러한 모델들에 대한 베이지안 사후분포로 표현되는 고정된 환경과 상호작용한다는 가정 하에 작동합니다. 이 프레임워크는 **실현 가능성 (realizability)**을 전제합니다. 즉, 진정한 환경 (또는 이에 충분히 정확한 모델) 이 에이전트의 가설 클래스 내에 존재한다는 것입니다.

그러나 이 가정은 **비실현 가능 (non-realizable)**한 설정, 특히 AI 안전성과 내재적 에이전시 (embedded agency) 와 관련된 설정에서는 실패합니다. 이러한 환경에서는 다음과 같은 특징이 나타납니다:

• 정책 의존성: 다른 행위자 (예측자, 인간, 기관) 는 에이전트의 실현된 행동이 아니라 에이전트의 정책 (policy) 을 예측하고 이에 반응합니다.
• 나이키안 불확실성 (Knightian Uncertainty): 에이전트는 가능한 세계들에 대한 정확한 사전 확률 분포를 구성할 근거가 없는 모호함에 직면합니다.
• 모델 오지정 (Model Misspecification): 실제 세계는 에이전트와 비교할 수 있거나 더 복잡한 시스템을 포함하므로, 어떤 실용적인 가설 클래스도 환경에 대한 완전한 설명을 포함할 수 없습니다.

이러한 조건 하에서 고전적 베이지안 방법은 "확신 있게 틀린" 사후분포를 생성하여 신뢰할 수 없는 의사결정과 무한한 후회 (regret) 를 초래할 수 있습니다. 표준 가치 기반 RL 에이전트는 정책 의존적 환경 (예: 뉴컴의 문제) 에서 최적 정책으로 수렴하지 못하고, 종종 정당한 정책 (ratifiable policies) 으로만 수렴하는 경우가 많습니다.

2. 방법론: 인프라-베이지안 강화학습 (IBRL)

이 논문은 유한 결과, 상태 비의존적 의사결정 문제를 위해 설계된 인프라-베이지안 강화학습 (IBRL) 아키텍처의 개념 증명 구현을 제시합니다. MDP 에 대한 사후분포를 유지하는 고전적 에이전트와 달리, IB 에이전트는 **인프라분포 (infradistributions)**로 표현되는 부정확한 가설들의 집합을 유지합니다.

핵심 수학적 객체

• a-측도 (Affine Measures): 기본 구성 요소는 $a = (\lambda\mu, b)$ 형태의 a-측도입니다. 여기서:
  • $\mu$는 관측 역사에 대한 확률 측도 (일반적인 확률적 불확실성을 나타냄) 입니다.
  • $\lambda \ge 0$는 스케일 인자입니다.
  • $b \ge 0$는 오프셋 항입니다.
  • 유계 반환 함수 $f$의 평가는 $a(f) = \lambda E_\mu[f] + b$로 주어집니다.
  • 오프셋 $b$는 관측으로 인해 배제된 역사 트리의 가지들로부터 가치를 보존하여 **동적 일관성 (dynamic consistency)**을 보장합니다.
• 인프라분포 ($\Psi$): 허용 가능한 a-측도들의 집합입니다. 에이전트는 정책의 **하한 기대값 (lower expectation)**으로 정책을 평가합니다:
  $$E_\Psi[f] = \inf_{a \in \Psi} a(f)$$
  이는 가설 클래스 내의 허용 가능한 최악의 구성원에 대해 보장되는 가치를 나타냅니다.
• 혼합 유형:
  • 고전적 (베이지안) 혼합: 가중치를 둔 인프라분포들의 결합 ($\sum w_i \Psi_i$) 으로, 평균화할 수 있는 불확실성을 나타냅니다.
  • 나이키안 혼합: 가중치 없이 인프라분포들의 집합 합집합으로, 가치가 가장 불리한 구성원에 의해 결정되는 모호함을 나타냅니다.

알고리즘 구성 요소

1. 표현: 에이전트는 인프라분포의 **극소점 (extremal minimal points)**만 저장합니다 (볼록 다면체의 꼭짓점에 해당). 이는 계산적 실용성을 보장합니다.
2. 세계 모델: 구현은 다음과 같은 특정 압축 표현을 지원합니다:
   • 베르누이 밴딧: 역사는 $(N, R)$ 쌍으로 표현되며, 측도는 $(c_i, p_i)$ 쌍들의 집합으로 표현됩니다.
   • 뉴컴과 유사한 문제: 세계 모델은 전체 보상 행렬과 예측자의 정확도를 포함합니다. 구조가 알려져 있으므로 내부 상태에 대한 학습은 발생하지 않습니다.
3. 의사결정 과정:
   • 에이전트는 정책 공간 $\Pi$를 이산화합니다.
   • 각 정책에 대한 하한 기대값을 계산합니다: $E_{\Psi(\pi)}[f] = \inf_{a \in \Psi(\pi)} a(f)$.
   • 이 하한 기대값을 최대화하는 정책 $\pi^*$를 선택합니다 (최대최소 전략).
4. 업데이트 규칙: 사건 $L$을 관측한 후, 에이전트는 인프라-베이지안 스타일의 업데이트를 수행합니다:
   • 관측된 가지로 측도 $\mu$를 제한합니다 ($\mu_L$).
   • 관측되지 않은 가지들의 기대값을 오프셋 항 $b$로 이전합니다: $(\lambda\mu, b) \to (\lambda\mu_L, b + \lambda\mu((1-L)g))$.
   • 인프라분포를 재규격화합니다.
   • 업데이트의 선형성으로 인해 새로운 극소점이 생성되지 않으며, 기존 점들만 업데이트됩니다.

3. 주요 기여

1. 최초의 개념 증명 구현: 저자들은 a-측도, 인프라분포, 인프라-베이지안 스타일 업데이트를 기반으로 한 유한 결과 IBRL 아키텍처를 공식화하고 구현했습니다.
2. 고전적 행동의 회복: 각 인프라분포가 단일 극소점을 가지며 모든 불확실성이 고전적인 경우, 이 아키텍처가 일반적인 베이지안 행동을 회복함이 입증되었습니다.
3. 최악의 경우 성능: 나이키안 불확실성이 있는 환경에서 IB 에이전트가 고전적 베이지안 에이전트보다 낮은 최악의 경우 후회를 달성한다는 실증적 증명이 제시되었습니다.
4. 최적의 정책 의존적 의사결정: IB 에이전트가 뉴컴과 유사한 환경에서 최적 보상을 획득하며, 올바른 인과 구조를 포착하지 못하거나 최적 정책으로 수렴하지 못하는 고전적 의사결정 이론 에이전트 (인과적 및 증거적) 를 능가함이 입증되었습니다.

4. 실험 결과

A. 나이키안 불확실성 (적대적 밴딧)

• 설정: 보상 확률 $p_1 \in [0.3, 0.7]$ 및 $p_2 \in [0.4, 0.8]$이 적대적으로 또는 시간에 따라 선택되는 두 개의 팔을 가진 베르누이 밴딧입니다. 에이전트는 특정 확률이 아닌 제약 조건만 알고 있습니다.
• 고전적 에이전트: 정확한 사전분포 (예: 모서리에서의 점 질량) 를 가정해야 합니다. 행동은 이러한 임의의 사전분포 선택에 매우 민감합니다.
• IB 에이전트: 구간 제약을 나이키안 불확실성으로 직접 표현합니다. 이는 최악의 환경 $(p_1=0.3, p_2=0.4)$을 식별하고 일관되게 팔 2 를 선택하여 평균 보상 0.4 를 보장합니다.
• 결과: IB 에이전트는 고전적 에이전트보다 낮은 최악의 경우 후회를 달성합니다. IB 에이전트는 매력적으로 보일 수 있지만 견고하지 않은 잠재적 적대적 패턴으로부터 "학습"하는 것을 올바르게 거부합니다.

B. 정책 의존적 환경 (뉴컴의 문제)

• 설정: 정확도 $\alpha$를 가진 불완전한 예측자가 있는 뉴컴의 문제 변형입니다. 에이전트는 확률 $p$로 한 상자를 선택하는 정책을 선택합니다.
• 결과: IB 에이전트는 예측자의 정확도에 따라 최적 정책을 일관되게 선택합니다:
  • $\alpha > 0.55$인 경우, 한 상자를 선택합니다 (최적).
  • $\alpha < 0.55$인 경우, 두 상자를 선택합니다 (최적).
• 비교: 인과적 의사결정 이론 에이전트는 정확도와 관계없이 두 상자를 선택하여 큰 보상을 놓치고, 증거적 의사결정 이론 에이전트는 한 상자를 선택하지만 다른 인과 구조에서는 실패할 수 있는 이유로 선택합니다. IB 에이전트는 올바른 구조적 이유로 최적 행동을 선택합니다.

5. 중요성과 주장

이 논문은 비실현 가능성 하의 견고한 추론이라는 인프라-베이지안주의의 형식적 약속과 실제 에이전트 구현 사이의 간극을 연결한다고 주장합니다.

• 설계된 견고성: 결과는 오지정되거나 정책 의존적인 환경에서 작동하는 에이전트의 경우, 평균적 최적화 (베이지안 RL) 가 lacking 하는 견고성을 하한 기대값을 통한 최악의 경우 보장을 최적화함으로써 얻을 수 있음을 시사합니다.
• 불확실성의 구분: 이 구현은 고전적 확률적 불확실성과 나이키안 불확실성을 구분하는 것이 근본적으로 다르고 더 안전한 에이전트 행동으로 이어짐을 구체적으로 보여줍니다.
• 기초적 단계: 현재 구현은 유한 결과와 작은 가설 공간으로 제한되지만, 모델 오지정 하에서도 견고하게 유지되는 RL 시스템으로 나아가는 필수적인 단계 역할을 합니다. 저자들은 해당 IB 에이전트의 후회 상한이 선형적이라고 언급했습니다 (이러한 특정 비실현 가능 설정에서 고전적 RL 보다 개선되었으나 여전히 아선형은 아님), 그리고 연속 공간과 다단계 과정으로 확장하는 것은 향후 과제로 남아있다고 지적했습니다.

이 논문은 결론적으로, 고전적 베이지안 RL 의 "진실의 알갱이 (grain of truth)" 가정이 위반될 때 효과적으로 추론할 수 있는 에이전트들을 위한 IBRL 이 실현 가능한 경로라고 결론지었습니다.