기술 요약: 개방형 학습(Open-Ended Learning)을 위한 정보 이론적 정의

문제 제기

본 논문은 AI 시스템의 **개방성(open-endedness)**에 대한 일관된 이론적 정의가 부족하다는 점을 다룬다. 기존 문헌은 개방형 환경을 점점 더 새롭고 복잡한 과제를 제시하는 환경으로 특징짓거나, 에이전트가 생성한 산출물의 참신함과 학습 가능성을 통해 정의하지만, 이러한 정의들은 에이전트가 상호작용을 통해 자신의 능력을 지속적으로 향상할 수 있는지 여부를 포착하지 못한다. 단순히 새로운 정책(policy)을 생성하는 것이 반드시 성능 향상을 가능하게 하는 정보의 습득을 의미하는 것은 아니기 때문이다.

저자들은 기대 보상(expected reward)과 그 보상을 얻기 위해 필요한 정보 사이의 관계를 연구함으로써 개방성을 정식화할 것을 제안한다. 핵심 질문은 다음과 같다: 어떤 환경이 유용한 정보의 습득률을 비감소(non-vanishing) 수준으로 유지하면서 지속적인 보상 향상을 가능하게 하는가?

방법론 및 정의

비트 등가량 (The Bit-Equivalent)

핵심적인 방법론적 기여는 **비트 등가량($B_\rho$)**의 도입이다. 이 개념은 환경 파라미터 $\theta$에 대해 기대 보상 $\rho$ 이상의 값을 얻기 위해 선택해야 하는 행동 $A$에 관한 최소 정보량(nats 단위로 측정)을 정량화한다.

형식적으로, 기대 보상 수준 $\rho$에 대하여:
$$B_\rho = \inf_{A: \mathbb{E}[r_\theta(A)] \geq \rho} I(\theta; A)$$
여기서 $I(\theta; A)$는 환경 파라미터와 행동 사이의 상호 정보량이다.

평균 비트 등가량과 개방성

시간 $T$ 동안 에이전트 $\pi$의 성능은 달성된 보상의 비트 등가량의 시간 평균인 **평균 비트 등가량($B_T(\pi)$)**으로 특징지어진다:
$$B_T(\pi) = \frac{1}{T} \sum_{t=0}^{T-1} B_{\mathbb{E}_\pi[R_{t+1}]}$$

개방성의 정의: 어떤 환경이 개방형이라는 것은, 평균 비트 등가량이 시간과 함께 선형적으로 증가하는 에이전트 $\pi$가 존재함을 의미한다:
$$B_T(\pi) = \Omega(T)$$
에이전트가 이 선형 성장률을 실현할 때, 개방형 학습을 달성했다고 한다.

분석 프레임워크

저자들은 이 정의를 밴딧(bandit) 환경의 맥락에서 분석한다. 이들은 다음을 구분한다:

1. 정보 이득 ($\gamma_T$): 히스토리에 포함된 총 상호 정보량 $I(\theta; H_T)$.
2. 비트 등가량 성장: 보상 향상을 위해 필요한 구체적인 정보.

본 논문은 하위 선형(sublinear) 정보 이득이 비개방성을 의미한다는 점을 밝히는 동시에, 선형 정보 이득이 개방성을 위한 충분조건은 아님을 입증한다. 즉, 어떤 환경은 선형적인 정보 습득을 허용할 수 있지만, 그 정보가 지속적인 보상 관련 비트 등가량 성장으로 이어지지 않는다면 그 환경은 개방형이 아니다.

주요 기여 및 결과

1. 부정적 결과: 고전적 환경은 개방형이 아니다

본 논문은 여러 표준 밴딧 환경이 개방성 기준을 충족하지 못함을 증명한다:

• 유한 팔 밴딧 (Finite-armed Bandits): 비가우시안 노이즈를 통해 무한한 정보 이득이 가능하더라도, 유한한 행동 집합은 비트 등가량을 $\log |A|$로 제한한다. 따라서 $B_T(\pi) \leq \log |A|$이며, 이는 $\Omega(T)$가 아니다.
• 유한 차원 선형 밴딧 (Gaussian): 정보 이득은 $O(d \log T)$로 성장하며, 이는 하위 선형($o(T)$)이다.
• 가우시안 프로세스 (GP) 밴딧: 표준 커널 가정(예: Matérn, squared exponential) 하에서, 커널 고윳값의 스펙트럼 꼬리 감소는 정보 이득이 하위 선형임을 보장한다.
• 무한 팔 밴딧 (i.i.d. means): 잠재적으로 무한한 정보 이득에도 불구하고, 독립적인 팔들 사이의 약한 결합 관계로 인해 평균 비트 등가량은 최대 로그 단위($O(\log T)$)로만 성장한다.

2. 긍정적 결과: "탐욕적 선형 밴딧 (Insatiable Linear Bandit)"

저자들은 개방형인 특정 환경인 탐욕적 선형 밴딧을 구축한다.

• 설정: 행동 집합 $A$는 유한한 지지 집합을 가진 무한 차원 이진 벡터($a \in \{0,1\}^\mathbb{N}, \|a\|_1 < \infty$)로 구성된다. 파라미터 $\theta \in \mathbb{R}^\mathbb{N}$의 각 성분은 독립적으로 $\theta_i \sim \mathcal{N}(-1, 1)$을 따른다. 보상은 $r_\theta(a) = \langle \theta, a \rangle + \text{noise}$이다.
• 핵요 속성: GP 밴딧과 달리, 좌표 기저에서의 커널 고윳값은 합산 가능하지 않으며, 이는 정보 이득을 제한하는 스펙트럼 꼬리 조건을 위반한다.
• 결과: 저자들은 이 환경에서 $B_T(\pi) = \Omega(T)$임을 증명하여 개방성 조건을 만족함을 보여준다.

3. 알고리즘의 실패와 성공

본 논문은 왜 고전적 알고리즘들이 탐욕적 선형 밴딧에서 실패하는지 분석하고, 성공적인 대안을 제안한다:

• 톰슨 샘플링 (TS)의 실패: 표준 TS는 전체 무한 차원 사후 분포를 최적화하려고 시도한다. 사후 분포 샘플 $\theta^{(t)}$는 확률 1로 무한히 많은 양수 좌표를 가지므로, 유효한 행동 집합 $A$ 내에서 보상의 상한(supremum)을 달성하는 것은 불가능하다. 유한한 절단(truncation)을 적용하더라도, 최댓값의 기대 보상은 절단 크기가 커짐에 따라 $-\infty$로 발산한다.
• 고정 절단 (Fixed Truncation, FT)의 실패: 차원을 $M$으로 고정하면 정보 습득이 $O(M \log 2)$로 제한되어 선형 성장을 방해한다.
• 절단 톰슨 샘플링 (Truncated Thompson Sampling, TTS)의 성공: 저자들은 학습 목표의 시퀀스를 사용하는 TTS를 도입한다. 에이전트는 전체 $\theta$를 배우거나 고정된 근사를 사용하는 대신, 시간에 따라 절단 수준 $m_t$를 동적으로 증가시킨다.
  • 메커리즘: 에이전트는 히스토리를 기반으로 절단 수준 $m_t$를 선택하고, 처음 $m_t$개의 좌표에 대한 사후 분포를 샘플링한 뒤, 절단된 파라미터에 대해 최적으로 행동한다.
  • 이론적 보장: $m_t$의 성장 스케줄을 정교하게 조절함으로써(새로운 좌표의 탐색과 학습된 좌표의 활용 사이의 균형), TTS는 $\Omega(T^2)$의 누적 보상을 달성한다. 보상 성장은 비트 등가량 성장으로 이어지므로, TTS는 $B_T(\pi) = \Omega(T)$를 달성하여 개방형 학습을 입증한다.

의의 및 한계

의의

본 논문은 성능 향상을 유용한 정보의 습득과 직접 연결하는 최초의 정량적, 정보 이론적 개방성 정의를 제공한다. 이를 통해 다음을 입증한다:

1. 보상만으로는 불충분하다: 높거나 무한한 보상이 개방성을 보장하는 것은 아니다. 보상을 달성하기 위한 정보 비용이 핵심적인 지표이다.
2. 고전적 가정은 불충분하다: 무한한 보상과 무한한 행동 집합(개방성을 가능하게 한다고 흔히 가정되는 요소들)은 충분조건이 아니다.
3. 학습 목표가 중요하다: 개방성을 달성하려면 에이전트가 전체 환경 상태를 배우려 하거나 고정된 근사를 사용하는 대신, 학습 목표(예: TTS를 통해)를 지속적으로 조정해야 한다.

한계

저자들은 두 가지 주요 한계를 명시한다:

1. 밴딧 설정: 현재의 정의와 분석은 밴딧 환경(상태가 없는 환경)에 국한되어 있다. 이 프레임워크를 상태가 있고 비정상성(non-stationary)을 띠는, 혹은 완전한 강화 학습(RL) 환경으로 확장하는 것이 필수적인 다음 단계이다.
2. 하이퍼파라미터 의존성: 제안된 TTS 알고리즘은 사전에 지정된 학습 목표 시퀀스(절단 수준)를 필요로 한다. 저자들은 의도적인 하이퍼파라미터 선택 없이도 이러한 목표를 자율적으로 결정할 수 있는 에이전트를 설계하는 것이 여전히 미해결 과제임을 인정한다.

본 논문은 TTS 에이전트가 에이전트가 학습 목표를 지속적으로 확장해야 한다는 직관에 대한 "건전성 검사(sanity check)" 역할을 한다는 점을 강조하며, 이 프레임워크가 향후 개방형 학습에 대한 이론적 분석과 에이전트 설계 원칙을 위한 엄밀한 토대를 제공한다고 결론짓는다.