기술 요약: 환경, 에이전트, 그리고 결합된 에이전트-환경 시스템의 월드 모델(World Models)

문제 정의

월드 모델은 모델 기반 강화학 학습(Model-based RL)의 핵심이지만, 예측하는 특정 변수(예: 관측값, 보상, 잠재 상태)에 따라 그 공식적인 정의가 다양하게 나타납니다. 저자들은 더 근본적인 구분이 존재한다고 주장합니다: 바로 월드 모델이 어떤 채널을 나타내는가 하는 점입니다. 에이전트-환경 상호작용에서 모델은 보통 환경의 표현으로 논의되지만, 에이전트는 자기 자신이나 다른 에이전트, 또는 결합된 시스템을 모델링할 수도 있습니다. 이러한 하부 채널을 구분하지 않으면, 학습된 잠재 상태가 실제로 무엇을 나타내는지(예: 환경에 대한 믿음인지, 아니면 정책 행동에 대한 표현인지)를 명확히 하거나, 서로 다른 모델의 복잡도와 추상화 수준을 비교하기 어렵습니다.

본 논문은 세 가지 뚜렷한 예측 채널을 공식적으로 구분해야 할 필요성을 다룹니다:

1. 환경 채널 ($O_{:} | A_{:}$): 미래의 행동이 주어졌을 때 미래의 관측값을 예측함.
2. 에이전트 채널 ($A_{:} | O_{:}$): 미래의 관측값이 주어졌을 때 미래의 행동을 예측함.
3. 결합 프로세스 ($(A, O)_{:}$): 실현된 결합 행동-관측 궤적을 예측하며, 이는 null-input 채널로 간주됨.

저자들은 이러한 채널들이 서로 다른 인과적 동치 관계(causal equivalence relations)를 유도하며, 결과적으로 서로 다른 추상화, 모델 복잡도 및 유용성의 개념을 이끌어낸다는 점을 강조합니다. 또한, 표준적인 "무제한(unrestricted)" 모델들은 특정 폐쇄 루프(closed-loop) 상호작용에서 결코 발생하지 않을 수 있는 반사실적(counterfactual) 입력까지 고려하므로, 실제 상호작용의 지지 집합(support)에 국한된 모델에 비해 불필요하게 복잡하거나 무한한 상태 공간을 가질 수 있습니다.

방법론

본 논문은 세 가지 채널에 대한 정형적인 예측 모델을 정의하기 위해 **계산 역학(computational mechanics)**을 채택합니다. 핵심 도구는 $\epsilon$-머신($\epsilon$-machines, 자율 프로세스용)과 $\epsilon$-트랜스듀서($\epsilon$-transducers, 입출력 프로세스용)이며, 이들은 확률적 프로세스에 대해 유일하고 최소이며 단일성(unifilar)을 가진 표현을 제공합니다.

1. 정형 무제한 모델 (Canonical Unrestricted Models)

저자들은 행동-관측 이력($h_{:t}$)에 대한 동치 관계를 기준으로 정형 모델을 정의합니다.

• 정형 환경 모델: 두 이력이 모든 가능한 미래 행동의 연속에 대해 동일한 미래 관측 시퀀스의 확률 분포를 할당한다면 동등하다고 보는 $\sim_E$ 관계에 의해 정의됩니다. 이는 표준적인 예측 상태 표현(Predictive State Representations, PSRs)을 $\epsilon$-트랜스듀서로서 복구합니다.
• 정형 에이전트 모델: 두 이력이 모든 가능한 미래 관측의 연속에 대해 동일한 미래 행동 시퀀스를 예측한다면 동등하다고 보는 $\sim_M$ 관계에 의해 정의됩니다. 이는 정책 또는 제어기 행동에 대한 정형적인 예측 상태 모델 역할을 합니다.
• 정형 결합 모델: 두 이력이 실현된 자율 프로세스에 대해 동일한 미래 행동-관측 궤적을 예측한다면 동등하다고 보는 $\sim_J$ 관계에 의해 정의됩니다. 이는 결합된 시스템의 $\epsilon$-머신에 해당합니다.

저자들은 이 세 모델이 일반적으로 서로 다르다는 것을 입증합니다. 미래 관측을 예측하기 위한 최소 충분 통계량(minimal sufficient statistics)은 미래 행동을 예측하기 위한 것(에이전트 모델)이나 결합된 궤적을 예측하기 위한 것(결합 모델)과 다릅니다. 결과적으로, 이 모델들의 상태 공간은 반드시 일치하거나 단순한 곱 생성(product construction) 관계로 연결되지 않습니다.

2. 정형 지지 제한 모델 (Canonical Support-Restricted Models)

반사실적 복잡도 문제를 해결하기 위해, 본 논문은 특정 폐쇄 루프 결합(예: 고정된 정책과 상호작용하는 환경)에 의해 유도되는 정형 지지 제한 모델을 도입합니다.

• 지지 제한 (Support Restriction): 예측 동치는 실현된 결합 프로세스에 의해 지지되는(supported) 미래 입력 연속에 대해서만 정의됩니다.
• 전체화 (Totalisation): 지원되지 않는 쿼리(에이전트가 취할 수 없는 행동 또는 환경이 생성할 수 없는 관측)에 대해, 모델은 특수 심볼 $\perp$를 출력합니다.
• 구성: 저자들은 지지 제한 환경 채널 $\tilde{O}_{:} | A_{:}$와 그 쌍대(dual)인 에이전트 채널 $\tilde{A}_{:} | O_{:}$를 정의합니다. 이들 채널의 정형 모델은 전체화 심볼(sink state)을 가진 $\epsilon$-트랜스듀서로 구축됩니다.

3. 구조적 결과

결합 모델과 지지 제한 환경/에이전트 모델 사이의 관계는 이 논문의 핵심적인 이론적 기여입니다.

• 인자 분해 (Factorization): 지지 제한 환경 모델의 비-심볼(non-sink) 인과 상태는 결합 모델의 인과 상태를 통해 인자 분해됩니다.
• 유도 (Induction): 지지 제한 환경 모델의 전이 구조는 결합 모델으로부터 직접 유도됩니다.
• 쌍대성 (Duality): 에이전트 측 구성은 환경 측 구성의 쌍대입니다.

이는 지지 제한 환경 모델의 복잡도가 결합 모델의 복잡도에 의해 제한됨을 의미하는 반면, 무제한 환경 모델은 에이전트의 정책이 행동 공간을 제한할 경우 훨씬 더 복잡하거나 무한할 수 있음을 시사합니다.

주요 기여

1. 채널 기반 특성화: 본 논문은 월드 모델을 예측하는 변수가 아니라, 모델링하는 채널(환경, 에이전트, 또는 결합 프로세스)에 따라 분류하는 체계적인 프레임워크를 제안합니다. 이를 통해 학습된 잠재 표현의 의미론적 의미를 명확히 합니다.
2. 정형 정의: $\epsilon$-트랜스듀서와 $\epsilon$-머신을 사용하여 에이전트 및 결합 모델에 대한 정형 정의를 제공함으로써, 예측 상태 표현(PSR)의 개념을 환경 채널 너머로 확장합니다.
3. 지지 제한 모델: 폐쇄 루프 결합에 의해 유도되는 지지 제한 모델을 도입하고 정형화합니다. 이 모델은 반사실적 월드 모델링과 정책 조건부 예측을 구분하며, 지원되지 않는 쿼리를 처리하기 위해 전체화 심볼(totalization sink)을 사용합니다.
4. 구조적 정리: 정형 지지 제한 환경 모델이 정형 결합 모델에 의해 완전히 결정된다는 것을 증명합니다. 구체적으로, 제한된 모델의 비-심볼 상태들은 결합 인과 상태의 몫(quotients)이며, 그 전이는 결합 역학에 의해 유도됩니다.
5. 복잡도 분리: 이진 예시를 통해, 무제한 환경 모델은 (임의의 행동 하에서 무제한적인 믿음 축적으로 인해) 무한한 상태를 가질 수 있는 반면, 유한 상태 제어기 결합에 의해 유도된 지지 제한 모델은 유한함을 보여줍니다.

결과

• 이론적 구별: 세 가지 정형 모델(환경, 에이전트, 결합)은 서로 다른 예측 문제(A가 주어졌을 때 O 예측, O가 주어졌을 때 A 예측, 혹은 아무것도 주어지지 않았을 때 (A, O) 예측)를 해결하기 때문에 일반적으로 서로 다른 상태 공간과 전이 구조를 가집니다.
• 인자 분해 정리: 정리 16은 결합 인과 상태에서 지지 제한 환경 상태로의 사상이 전사(surjective)임을 확립합니다. 이는 지지 제한 환경 모델이 결합 모델(및 심볼 상태)보다 더 복잡할 수 없음을 의미합니다.
• 유한 대 무한: 제공된 예시(Example 9)에서, 무제한 환경 모델은 임의의 "hold" 행동이 무한한 서로 다른 사후 믿음을 생성하기 때문에 무한합니다. 그러나 "hold" 시퀀스의 지속 시간을 제한하는 유한 상태 제어기와 결합될 때, 결과적인 지지 제한 환경 모델은 유한합니다. 이는 롤아웃(rollout)으로부터 학습된 압축된 표현(지지 제한 모델)이 환경의 모든 반사실적 역학을 반드시 표현할 필요는 없음을 보여줍니다.

의의 및 주장

본 논문은 AI 및 RL에서 월드 모델의 존재론적 지위를 명확히 한다고 주장합니다. 채널을 명시적으로 식별함으로써, 연구자들은 학습된 표현이 무엇을 인코딩하는지 더 잘 해석할 수 있습니다:

• 해석 가능성: 이는 기계적 해석 가능성(mechanistic interpretability)의 참조 대상이 됩니다. 연구자는 특정 잠재 상태가 환경 채널의 상태인지, 에이전트 채의 상태인지, 혹은 결합 프로세스의 상태인지 질문할 수 있습니다.
• 복잡도 관리: 왜 특정 정책(on-policy)으로부터 학습된 모델이 실제 환경 역학보다 더 단순할 수 있는지 설명합니다. 지지 제한 프레임워크는 에이전트가 모든 반사실적 가능성이 아닌, 실제로 발생하는 상호작용만을 모델링하면 된다는 아이디어를 정형화합니다.
• 통합 프레임워크: 예측 상태 표현, 정책 증류(policy distillation), 유한 상태 제어기, 임베디드 에이전시(embedded agency)의 개념을 하나의 계산 역학 프레임워크 아래 통합합니다.

저자들은 논의의 범위를 적절히 유지하며, 이러한 모델들의 정형적 특성화와 구조적 관계에 집중합니다. 저자들은 향-작업(future work)으로서 훈련된 AI 모델(예: 트랜스포머)을 분석하여 혼합 상태 제시(mixed-state presentations)를 통해 특정 유형의 믿음(환경적 vs 자기 참조적)을 식별하는 데 이 정의들을 적용할 수 있다고 제안하지만, 현재의 논문은 그러한 분석을 위한 이론적 토대를 구축하는 데 목적을 둡니다.