기술 요약: 월드 모델을 위한 텍스트 기반 신념 상태 (Textual Belief States for World Models)

문제 정의

부분 관측 환경(partially observed environments)에서 월드 모델은 예측, 계획 및 추론을 가능하게 하기 위해 상호작용 이력을 요약하는 잠재 표현(latent representation)을 유지해야 합니다. 현대적인 대규모 언어 모델(LLM) 기반 아키텍처의 핵심 과제는 **식별성 문제(identifiability problem)**입니다. 기존의 많은 설계에서는 잠재 상태가 다른 정보원(예: 전체 관측 이력)과 공존하며, 이 정보원이 잠재 상태를 대체할 수 있습니다. 결과적으로, 모델은 잠재 상태를 우회하여 이력에 직접 의존함으로써 높은 예측 정확도를 달elle 수 있습니다. 이는 잠재 상태를 식별 불가능하게 만듭니다. 즉, 예측 성능이 더 이상 학습된 표현의 품질을 구속하거나 반영하지 못하게 됩니다.

고전적인 월드 모델은 **엄격한 잠재 상태 매개(strict latent state mediation)**를 강제합니다. 즉, 모든 예측이 오직 잠재 상태와 현재 행동에만 의존하도록 요구합니다. 그러나 이러한 원칙을 텍스트 기반 환경에 적용하는 것은 어렵습니다. 텍스트 잠재 상태는 이산적(discrete)이며 미분 불가능하여, 표준 변분 학습(예: ELBO)을 사용할 수 없기 때문입니다. 또한, 이러한 목적 함수로 학습된 표현력이 풍부한 LLM 디코더는 병목(bottleneck)을 무시하는 경향이 있어 사후 분포 붕괴(posterior collapse)를 초래하기도 합니다. 본 논문은 텍스트 영역에서 엄격한 매개를 강제하여 표현의 품질을 경험적으로 테스트 가능하게 하고, 잠재 상태가 이력의 충분 통계량(sufficient statistic) 역할을 하도록 하는 문제를 다룹니다.

방법론

1. 텍textual 잠재 상태 (Textual Latent States)

저자들은 잠재 상태를 연속적인 벡터가 아닌 이산적이고 해석 가능한 가변 길이의 텍스트 문자열(구체적으로 JSON 술어-인자 리스트)로 표현할 것을 제안합니다. 이 접근 방식은 네 가지 장점을 제공합니다:

• 정렬(Alignment): LLM 백본과 일치하여 손실이 발생하는 모달리티 변환을 피합니다.
• 적응형 병목(Adaptive Bottleneck): 고정된 차원이 아닌 콘텐츠에 따라 용량이 조절됩니다.
• 해석 가능성(Interpretability): 상태를 직접 검사할 수 있으며 실제 사실(ground-truth facts)과 대조하여 평가할 수 있습니다.
• 모달리티 일치(Modality Match): 관측값이 의미론적 텍스트이므로, 텍스트 상태는 구조적 무결성을 보존합니다.

2. 모델 아키텍처

시스템은 공유 파라미터 $\theta$를 사용하는 단일 사전 학습된 자기회귀 언어 모델을 사용하며, 프롬프트로 정의된 세 가지 뚜렷한 단계로 작동합니다:

1. 인코딩(Encoding): $\hat{s}_t \sim p_\theta(\cdot | h_t)$, 이력을 통해 잠재 상태 $\hat{s}_t$를 생성합니다.
2. 전이(Transition/Dynamics): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$, 현재 잠재 상태와 행동에만 기초하여 다음 상태를 예측합니다.
3. 디코딩(Decoding): $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$, 새로운 잠재 상태로부터 다음 관측치를 생성합니다.

결정적으로, $\hat{s}_t$가 생성된 후 전이 및 디코딩 단계는 원래의 이력 $h_t$에 접근할 수 없습니다. 이는 엄격한 매개를 강제합니다.

3. fGRPO를 통한 학습

텍스트 상태는 미분 불가능하므로, 잠재 공간을 통한 경사 하강법 기반 최적화는 불가능합니다. 저자들은 각 생성 단계를 확률적 정책으로 취급하고 **강화 학습(RL)**을 사용하여 최적화합니다.

• 표준 GRPO의 한계: 표준 그룹 상대 정책 최적화(GRПО)는 단일 자기회귀 지속(continuation) 상에서 작동하며, 이는 모델이 공유 프롬프트 컨텍스트를 통해 이력에 접근할 수 있게 하여 엄격한 매디를 위반하게 만듭니다.
• fGRPO 솔루션: 저자들은 트리 구조의 확장인 Factorized GRPO를 도입합니다. 주어진 이력에 대해, 모델은 $A$개의 후보 잠재 상태를 샘플링하고, 그 후 각 인코딩당 $B$개의 후보 다음 상태를, 각 전이당 $C$개의 후보 관측치를 샘플링합니다. 이는 트리를 형성하며, 보상은 리프 노드(예측된 값과 실제 관측치 비교)에서 계산되어 상위로 전파됩니다. 이 구조는 전이 및 디코딩 단계가 원래의 이력이 아닌 샘플링된 잠재 상태에 엄격하게 조건화되도록 보장합니다.

4. 보상 설계 (Reward Design)

보상 신호는 예측 정확도와 구조적 정규화를 결래하여, 압축적이고 충분한 상태를 학습하도록 유도합니다:

• 관측 정확도 ($R_{obs}$): 예측된 관측치와 실제 관측치에서 추출된 사실 간의 F1 점수입니다.
• 형식 유효성 ($R_{fmt}$): 잠재 상태가 유효한 JSON 구조인지 확인하는 이진 체크입니다.
• 보조 보상 (Auxiliary Rewards):
  • 지지 (Support, $R_{sup}$): 예측된 관측치와 기저의 상태 사실 간의 일관성을 장려합니다.
  • 중복 제거 (Deduplication, $R_{dedup}$): 의미론적으로 중복된 사실에 대해 페널티를 부여합니다.
  • 절제 (Ablation, $R_{abl}$): 사실의 제거가 예측 성능을 얼마나 저하시키는지 측정하여, 필요한 정보만을 유지하도록 유도합니다.

주요 기여

1. 엄격한 매개의 공식화: 본 논문은 엄격한 매대 조건 하에서 최적의 예측 정확도가 잠재 상태가 이력의 충분 통계량임을 함의함을 증명합니다 (Proposition 1). 반대로, 이력 우회가 허용되는 "누출(leaky)" 아키텍처에서는 최적의 정확도가 정보가 없는 잠재 상태를 통해서도 달성될 수 있음을 보여줍니다 (Proposition 2).
2. 롤아웃(Rollout)에 대한 이론적 보장: 엄격한 매개는 훈련과 추론 조건을 구조적으로 일치시킵니다. 저자들은 이것이 이력 기반 또는 누출형 롤아웃에서 나타나는 기하급수적인 오차 성장을 방지하고, 수축 가정(contraction assumptions) 하에서 유계된 오차 전파를 가능하게 함을 보여줍니다 (Proposition 3).
3. fGRPO 알고리즘: 변분 목적 함수 없이도 엄격한 매개 제약 조건 하에서 이산적이고 미분 불가능한 텍스트 잠재 상태를 학습할 수 있게 하는 factorized GRPO를 도입했습니다.
4. 경험적 검증: TextWorld 및 ScienceWorld에서의 실험을 통해 엄격한 매개가 예측 가능하면서도 식별 가능한 표현을 생성함을 입증했습니다.

실험 결과

저자들은 세 가지 베이스라인과 비교하여 접근 방식을 평가했습니다:

• Stateless (무상태): 이력으로부터 직접 예측 (정확도의 상한선, 명시적 표현 없음).
• LeakyState (누출 상태): 텍스트 잠재 상태를 사용하지만, 예측 시 이력 우회를 허용함.
• StrictState-Emb (엄격 상태-임베딩): 엄격한 매개를 사용하지만 연속 임베딩을 사용함 (변분 학습).

주요 결과:

• 예측 정확도: StrictState-Text는 LeakyState 및 Stateless 베이스라인의 1단계 예측 정확도(obs.F1)와 일치하는 성능을 보였으며, 이는 엄격한 매개가 성능을 희생시키지 않음을 확인시켜 줍니다.
• 표현 품질: 동일한 예측 정확도 조건에서, StrictState-Text는 LeakyState에 비해 **상태 수준 F1(state-level F1)**에서 훨씬 높은 성능을 보였습니다 (ScienceWorld에서 최대 57%, TextWorld에서 30% 향상). 이는 누출형 모델이 이력 우회에 의존하는 정보 없는 상태를 학습한다는 것을 확인시켜 줍니다.
• 롤아웃 안정성: 엄격한 매개는 다단계 롤아웃 성능을 크게 개선합니다. 상태 수준 F1의 이득은 예측 지평(horizon)이 길어질수록 증가하여, TextWorld의 horizon 9에서 98%의 개선을 달성했습니다. 이는 엄격한 매개가 누적 오차 전파를 완화한다는 이론적 주장을 검증합니다.
• 절제 연구: 보조 보상(중복 제거, 절제, 지지)을 제거하면 장기 롤아웃 성능이 저하되었으며, 이는 이 구성 요소들이 압축적이고 충분한 상태를 학습하는 데 필수적임을 나타냅니다.

의의 및 주장

본 논문은 엄격한 잠재 상태 매개가 월드 모델에서 표현의 품질을 경험적으로 테스트 가능하게 만드는 데 필요한 조건이라고 주장합니다. 이것이 없다면, 모델이 이력에 직접 접근하여 "속임수"를 쓸 수 있기 때문에 예측 정확도는 표현 품질의 좋은 대리 지표가 될 수 없습니다.

fGRPO를 사용하여 텍스트 영역에서 엄격한 매개를 성공적으로 구현함으로써, 저자들은 다음을 입증했습니다:

1. 식별 가능성 달성 가능: 예측 성능으로부터 표현의 품질을 직접 진단할 수 있는 이산적이고 해석 가능한 잠재 상태를 학습하는 것이 가능하다는 점입니다.
2. 텍스트 상태의 효과성: 가변 길이의 텍스트 상태는 이산적이고 구성적인 사실을 위해 고정 차원의 임베딩보다 더 유연하고 해석 가능한 병목을 제공합니다.
3. 안정성 향 향상: 엄격한 매개는 훈련과 추론을 일치시켜, 누출형 또는 무상태 아키텍처에서 발생하는 오차 누적 문제를 방지합니다.

저자들은 본 연구의 평가가 제어 또는 계획보다는 표현 품질에 초점을 맞추고 있으며, 실험이 합성된 도구 환경(TextWorld 및 ScienceWorld)으로 제한되어 있음을 언급했습니다. 또한, 압축의 부담이 전적으로 단일 샷 인코더에 집중된다는 점과 보조 보상을 위한 구조화된 사실 추출에 의존한다는 구조적 한계를 인정했습니다. 그러나 본 연구는 텍스트 기반 환경에서 신뢰할 수 있고 해석 가능한 월드 모델을 구축하기 위한 방법론적 토대를 마련했습니다.