기술 요약: PatchWorld: 실행 가능한 월드 모델의 그래디언트 프리 최적화

1. 문제 정의

텍스트 에이전트 환경은 일반적으로 부분 관측 가능 마르코프 결정 과정(POMDP)으로 모델링됩니다. 여기서 에이전트는 시뮬레이터의 잠재 상태(latent state)와 전이 역학(transition dynamics)은 숨겨진 채, 렌더링된 텍스트 관측값만을 수신합니다. 최근 연구들이 미래의 관측값을 예측하거나 계획 지식을 증류(distill)하기 위해 대규모 언어 모델(LLM)을 사용하는 방안을 탐색해 왔으나, 이러한 접근 방식들은 다단계 시뮬레이션 및 계획에 필요한 지속적이고 검사 가능한 믿음 상태(belief state)를 유지하는 데 종종 실패합니다.

이 도메인의 핵심 과제는 **부분 관측 가능성 하에서의 불확정성(indeterminacy under partial observability)**입니다. 유한한 궤적 로그(trajectory logs)는 단순한 룩업 테이블(기억)부터 잠재 변수를 추론하는 압축된 상태 기반 프로그램(일반화)에 이르기까지 다양한 실행 가능한 프로그램에 의해 재현될 수 있습니다. 기존의 코드 기반 월드 모델들은 다음 관측값을 직접 예측하거나 온라인 상호작용에 의존함으로써 이 문제를 우회하려 하지만, 정확하면서도 일반화 가능한 심볼릭 믿음 상태 프로그램을 유도하는 오프라인 메커니즘은 결여되어 있습니다. 또한, 관측 충실도(observation fidelity)(표면 텍스트의 충실한 재구성)와 결정 유용성(decision utility)(계획을 위한 행동 판별 신호 제공) 사이에는 긴장이 존재하며, 이전 연구들은 이를 명시적인 파레토 프런티어(Pareto frontier)로서 다루지 않았습니다.

2. 방법론: PatchWorld

PatchWorld는 **카운터예제 가이드 코드 수선(counterexample-guided code repair)**을 통해 오프라인 에이전트 궤적을 실행 가능한 파이썬 월드 모델로 변환하는 그래디언트 프리(gradient-free) 프레임워크입니다. 이는 월드 모델 유도를 CEGIS(Counterexample-Guided Inductive Synthesis)와 유사한 생성적 최적화 문제로 취급합니다.

핵심 워크플로우

1. 증거 선택(Evidence Selection): 시스템은 오프라인 궤적에서 대조적인 전이 세트를 선택합니다. 이러한 전이들은 행동 시그니처(추상화된 행동 유형)와 결과 시그니처(예: 성공, 실패, 종료)별로 그룹화되어, 단순히 빈번한 패턴을 암기하는 것이 아니라 다양한 동작을 커버할 수 있도록 보장합니다.
2. 초기 합성(Initial Synthesis): LLM은 심볼릭 믿음 상태, 전이 규칙, 교정 로직 및 렌더링 로직을 구현하는 초기 실행 가능 파이썬 프로그램(BaseWorldModel)을 합성합니다. 이 프로그램은 고정된 인터페이스(init_belief, correct_belief(관측으로부터 상태 업데이트), predict_belief(행동으로부터 상태 업데이트), readout_observation(상태로부터 텍스트 생성))를 준수합니다.
3. 카운터예제 가이드 수선(Counterexample-Guided Repair): 합성된 프로그램을 훈련/검증 궤적에 대해 재실행합니다. 예측 실패는 구체적인 카운터예제(입력, 기대 출력, 실제 출력)로 변환됩니다.
4. 반복적 최적화(Iterative Optimization): LLM은 현재 프로그램, 실패 패턴의 진단 요약, 그리고 우선순위가 높은 상위 16개의 카운터예제를 입력받아 후보 패치(patch)를 제안하도록 프롬프트됩니다. 패치는 전체 검증 세트에 대한 형식적 재실행 충실도(실패 심각도와 횟수의 사전식 순서)가 개선된 경우에만 수용됩니다. 이 "힐 클라이밍(hill-climbing)" 게이트는 보이지 않는 실패에 대한 회귀(regression)를 방지합니다.

변형: Simple vs. Residual

본 논문은 충실도와 유용성 사이의 트레이드오프를 탐구하기 위해 두 가지 변형을 도입합니다.

• PatchWorld-Simple: 순수하게 유도된 심볼릭 프로그램에 의존합니다. 이는 압축된, 행동 대조적인 역학(action-contrastive dynamics)을 학습하는 데 집중합니다.
• PatchWorld-Residual: **인간이 지정한 잔차 메모리 편향(human-specified residual-memory bias)**으로 심볼릭 프로그램을 보강합니다. 이 구성 요소는 훈련 전용 캐시를 통해 반복적이고 모호하지 않은 텍스트 상태 시그니처(예: 특정 객체 ID 또는 템플릿 문자열)를 추적합니다. 이는 심볼릭 역학을 대체하는 것이 아니라, 표면 재구성을 개선하기 위한 유도 편향(가중치 감쇠와 유사함)으로서 작용하며 계획을 위한 심볼릭 역학을 보조합니다.

3. 주요 기여

1. 불확정성의 식별: 본 논문은 부분 관측 가능성 하에서, 유한한 로그가 일반화에 필요한 압축된 잠재 상태 규칙을 드러내지 못한 채 정확한 재실행(replay)만을 지원한다는 점을 강조합니다.
2. 그래디언트 프리 유도 프레임워크: PatchWorld는 LLM을 심볼릭 최적화 도구로 사용하여 실행 가능한 믿음 상태 프로그램을 합성하고 수선하는 오프라인 방법을 소개하며, 이를 통해 검사 가능하고 국소적 수선이 가능한 모델을 생성합니다.
3. 충실도-유용성 프런티어: 저자들은 관측 재구성과 계획 유용성 사이의 파레토 프런티어를 입증합니다. 잔차 메모리를 통해 표면 텍스트 충실도를 높이는 것이 때로는 행동 판별 역학을 약화시킬 수 있으며, 그 반대도 마찬가지임을 보여줍니다.
4. 경험적 검증: 7개의 AgentGym 환경(Maze, BabyAI, TextCraft, Wordle, WebShop, AlfWorld, SciSciWorld)에 걸쳐, 이 프레임워크는 코드 기반 예측 및 계획에서 최첨단 성능(SOTA)을 달お하며, 추론 단계에서 LLM 호출을 요구하지 않습니다.

4. 실험 결과

평가는 PatchWorld를 신경망 기반 베이스라인(Word2World, LLM-Direct) 및 다른 코드 기반 베이스라인(WorldCoder, PoE-World)과 비교합니다.

• 관측 충실도: PatchWorld-Residual은 가장 높은 코드 기반 충실도를 달성하여, Macro Token F1 0.69–0.70 및 BLEU-4 0.49–0.50에 도달했으며, 이는 WorldCoder 및 PoE-World보다 약 6포인트 높습니다. 이는 정확한 문자열 매칭이 중요한 템플릿 환경(예: AlfWorld, TextCraft)을 효과적으로 처리합니다.
• 계획 유용성: PatchWorld-Simple은 라이브 원스텝 룩어헤드(one-step lookahead) 계획에서 76.4%의 매크로 에피소드 성공률을 기록하며 가장 높은 코드 기반 계획 점수를 달성했습니다. 이는 PoE-World(69.3%)와 WorldCoder(64.4%)를 능가하며, LLM 기반 플래너(ReAct 74.4%, LLM-Direct 75.8%)와 경쟁할 만한 수준입니다. 결정적으로, PatchWorld-Simple은 룩어헤드 예측 단계에서 LLM 호출 없이 이를 달성했습니다.
• 트레이드오프: 결과는 프런티어의 존재를 확인시켜 줍니다. PatchWorld-Residual은 충실도는 높지만 계획 성공률(72.9%)은 PatchWorld-Simple보다 낮습니다. 분석에 따르면, 높은 표면 충실도가 계획에 필요한 특정 행동 대조 신호를 보장하지는 않으며, 어떤 경우에는 잔차 메모리의 정확한 텍텍스트 집중이 후보 행동 간의 구조적 차이를 가릴 수 있습니다.
• 효율성: PatchWorld는 계산 비용을 오프라인 유도로 전환(수선 시 환경당 평균 17~28회의 LLM 호출)하지만, 추론 중에는 LLM 호출의 필요성을 제거하여 직접적인 LLM 프롬프팅에 비해 토큰 사용량을 크게 줄입니다.

5. 의의 및 주장

본 논문은 LLM이 심볼릭 최적화 도구로서 기능할 수 있음을 주장하며, 암묵적인 신경망 모델과 경쟁할 수 있는 실행 가능한 심볼릭 시스템을 검색, 패치 및 개선할 수 있음을 보여줍니다.

• 해석 가능성 및 수선 가능성: 블랙박스 형태의 신경망 월드 모델과 달리, PatchWorld는 믿음 업데이트 및 전이 규칙을 검사, 테스트 및 국소적으로 수선할 수 있는 프로그램을 생성합니다.
• 가치 등가성(Value Equivalence): 본 연구는 에이전트에게 모델이 다음 관측의 "최고" 예측자일 필요는 없으며, "최고"의 플래너가 되기 위해 충분하다는 것을 입증합니다. 즉, 모델은 관측 가능성(likelihood) 측면에서는 크게 다르더라도 계획 가치(value) 측면에서는 동일할 수 있습니다.
• 오프라인 유도: 이 프레임워크는 텍스트 에이전트를 위한 고품질 월드 모델이 오프라인 데이터로부터 완전히 유도될 수 있음을 증명하며, 배포 중 온라인 상호작용이나 월드 모델 자체의 지도 학습 기반 미세 조정(SFT)을 피할 수 있게 합니다.

저자들은 모델이 언어 기반 환경으로 제한된다는 점과, 해석 가능성 주장이 사용자 연구보다는 프로그램 검사에 의존한다는 점을 언급하며 신중한 태도를 유지합니다. 또한, 모델이 검사 가능하더라도 훈련 데이터가 불충분하거나 편향된 경우 잘못된 규칙을 인코딩할 수 있으므로, 고위험 환경에서는 샌드박싱과 검토가 필요함을 인정합니다.