기술 요약: 언어 모델 사전 지식을 활용한 관측 기반 POMDP 세계 모델 학습

문제 정의

부분 관측 환경에서 효과적인 에이전트는 자신의 행동에 따라 세계가 어떻게 반응하는지에 대한 내부 모델을 학습해야 합니다. 부분 관측 마르코프 결정 과정 (POMDP) 은 이러한 세계 모델을 위한 유연한 형식화를 제공하지만, 관측 - 행동 궤적만으로 이를 학습하는 것은 매우 어렵습니다. 고전적인 접근 방식 (표형 추정기, 스펙트럴 방법, 심층 잠재 모델) 은 일반적으로 광범위한 환경 상호작용, 강력한 구조적 가정, 또는 실제 숨겨진 상태 (ground-truth hidden states) 에 대한 접근이 필요합니다.

대형 언어 모델 (LLM) 을 활용하여 세계 모델을 유도하는 기존 방법들은 훈련 중 특권 숨겨진 상태에 접근할 수 있다는 중요한 단순화 가정에 의존하는 경우가 많습니다. 가장 근접한 선구자인 POMDP Coder조차도 각 에피소드 이후 실제 숨겨진 상태에 대한 사후 접근을 가정합니다. 이러한 한계로 인해 상태 감독이 불가능한 실제 시나리오, 예를 들어 혼잡한 공간에서 작동하는 로봇이나 불완전 정보 게임의 에이전트와 같은 경우와 같은 방법들은 적용이 불가능해집니다. 본 연구가 다루는 핵심 질문은 LLM 사전 지식이 실제 숨겨진 상태 레이블에 대한 접근 없이 오직 관측 - 행동 - 보상 궤적만을 사용하여 실행 가능한 POMDP 모델을 유도하기에 충분한지 여부입니다.

방법론: Pinductor

저자들은 관측 - 행동 - 보상 궤적만으로 실행 가능한 POMDP 세계 모델을 유도하는 Pinductor(POMDP-inductor) 프레임워크를 소개합니다. 이 방법은 예측된 상태와 실제 숨겨진 상태 간의 직접적인 비교를 피하면서 생성 - 평가 - 정제 - 계획 루프에서 작동합니다.

1. 모델 제안

LLM 은 자연어 환경 설명, 소규모 오프라인 궤적 데이터셋, 그리고 상태, 행동, 관측 공간을 정의하는 코드 API 를 프롬프트로 받습니다. LLM 은 초기 상태 분포, 전이 역학, 관측 모델, 보상 함수를 정의하는 후보 실행 모델 $m = (\rho_0^m, T^m, O^m, R^m)$을 생성합니다.

2. 믿음 기반 모델 평가

숨겨진 상태는 관측되지 않으므로, Pinductor 는 믿음 기반 가능도 점수를 사용하여 후보들을 평가합니다.

• 입자 필터링: 후보 모델에 대해 제안된 초기 상태 분포에서 입자 집합을 샘플링하고, 관측된 행동을 사용하여 전이 모델 $T^m$을 통해 전파합니다.
• 소프트 관측 가능도: LLM 생성 관측 모델 $O_{LLM}^m$은 종종 결정적입니다. 불일치를 처리하고 그래디언트와 유사한 신호를 제공하기 위해, 이 방법은 거리 커널을 사용합니다. 예측된 관측과 실현된 관측 사이의 거리 $d_{obs}$는 소프트 가능도로 변환됩니다:
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• 점수 매기기: 모델은 입자 필터에 의해 유도된 믿음 분포 하에서 관측된 궤적의 기대 로그 가능도로 점수를 매깁니다:
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  이 점수는 특권 상태 접근 없이 모델의 자체 필터링 역학이 관측 스트림을 얼마나 잘 설명하는지 평가합니다.

3. 피드백 및 정제

이 방법은 구조화된 디버깅 피드백을 사용하여 모델을 반복적으로 정제합니다:

• 전체 점수: 스칼라 가능도 점수는 전체 적합도를 나타냅니다.
• 국소 진단: 시스템은 실행 오류, 높은 관측 거리를 가진 궤적 구간, 또는 보상 불일치와 같은 특정 실패 모드를 식별합니다.
• 불일치 신호: 이전에 생성된 전이 모델들의 "위원회"를 사용하여 투표 엔트로피를 계산합니다. 높은 엔트로피 컨텍스트(후보 모델들이 다음 상태에 대해 이견을 보이는 경우) 는 LLM 에게 강조되어 역학의 모호성을 해결하도록 유도합니다.
• 정제 전략: Pinductor 는 단일 편집 체인 대신 트리 구조 정제 프로세스 (UCB1 선택) 를 사용하여, 근사 최적 모델을 선택하기 전에 여러 후보 군을 탐색합니다.

4. 계획

선택된 모델은 온라인 상호작용 중 (예: A*-스타일 플래너를 통한) 믿음 공간 계획에 사용됩니다. 새로운 궤적은 데이터셋에 추가되어 추가 정제 라운드를 촉발합니다.

주요 기여

1. 관측 전용 POMDP 유도: 본 논문은 LLM 사전 지식이 실제 숨겨진 상태 감독 없이 관측 - 행동 - 보상 궤적만으로 실행 가능한 POMDP 세계 모델을 유도하기에 충분함을 입증합니다. 이는 훈련 또는 추론 시 실제 숨겨진 상태 감독의 필요성을 제거합니다.
2. 믿음 기반 모델 점수 매기기: 저자들은 필터링된 믿음 분포 하에서 후보 프로그램을 점수 매기는 커널 기반 가능도 목적 함수를 도입합니다. 이는 부분 관측만으로 계산 가능한 단계별 수리 신호를 제공합니다.
3. 종단 간 검증: 이 방법은 다섯 가지 부분 관측 MiniGrid 작업에서 검증되었습니다. Pinductor 는 실제 상태 접근이 있는 LLM 베이스라인 (POMDP Coder) 과 유사한 성능과 샘플 효율성을 달성하는 동시에, 실제 상태 접근이 허용된 비-LLM 베이스라인 (표형 POMDP 포함) 을 크게 능가합니다.

결과

• 성능: MiniGrid 환경 (Empty, Corners, Lava, Unlock, Four Rooms) 에서 Pinductor 는 엄격하게 더 적은 정보를 사용함에도 불구하고, 실제 상태 베이스라인과 비교 가능한 평균 에피소드 보상과 승리율을 달성합니다.
• 샘플 효율성: Pinductor 는 매우 적은 수의 오프라인 궤적 (최소 2~10 개) 으로 강력한 성능에 도달하며, 상태 접근 방법의 샘플 효율성과 일치합니다.
• 믿음 품질: 계획 중 Pinductor 의 믿음 상태는 관측이 축적됨에 따라 실제 숨겨진 상태에 점점 더 집중되어, 학습된 모델이 정보 있는 사후 업데이트를 지원함을 보여줍니다.
• 절제 실험:
  • LLM 능력: 성능은 LLM 능력에 따라 확장됩니다. 약한 모델은 사용 가능한 세계 모델을 합성하지 못하지만, 강력한 모델 (Qwen 3.6 Plus, Claude Opus 4.7) 은 높은 성능을 달성합니다.
  • 의미 정보: 환경에 대한 의미적 설명을 withhold 하면 성능이 저하되어, 이 방법이 텍스트 정보에 기반한 LLM 사전 지식에 의존함을 나타냅니다.
  • 확률성: 이 방법은 환경의 확률적 변형에서도 효과적이지만, 결정적 설정에 비해 성능이 감소합니다.

의의 및 한계

본 논문은 언어 모델 사전 지식을 부분 관측 하의 샘플 효율적 세계 모델 학습을 위한 실용적 도구로 위치시킵니다. 실제 상태 접근 요구 사항을 제거함으로써, Pinductor 는 LLM guided 모델 유도의 범위를 로봇공학, 불완전 정보 게임과 같은 실제 배포 환경의 특성을 가진 설정으로 확장합니다.

저자들은 겸손하게 몇 가지 한계를 지적합니다:

• 범위: 평가는 MiniGrid 환경으로 제한되며, 다른 도메인이나 복잡한 실제 환경으로의 전이는 아직 테스트되지 않았습니다.
• 고정 구성 요소: 관측 거리 함수, 플래너, 데모 버퍼는 현재 고정되어 있으며 LLM 에 의해 최적화되지 않습니다.
• 분산: LLM API 호출에 대한 의존성은 실행 시간과 결과에서 높은 분산을 초래합니다.
• 데이터 수집: 오프라인 데이터셋은 수동으로 수집되었으며, 자동화된 데이터 수집 전략의 영향은 탐구되지 않았습니다.

이 연구는 부분 관측 환경에서 1 인칭 경험을 통해 내부 세계 모델을 학습할 수 있는 범용 에이전트 개발을 향한 한 걸음을 나타냅니다.