기술 요약: 오케스트레이티드 리얼리티 (Orchestrated Reality)

문제 정의

현재의 대규모 언어 모델(LLM) 시스템은 개방형 샌드박스 또는 오픈 월드 환경에서 일관되고 지속적인 게임 세계를 유지하는 데 어려움을 겪고 있다. LLM은 캐릭터 역할 수행에는 뛰어나지만, 검증된 일관된 세계 상태(예: "누가 어디에 있는지", "무슨 일이 일어났는지", "현재 무엇이 사실인지")를 유지하는 데는 실패한다. 기존의 접근 방식은 일반적으로 상태를 명시적으로 검증된 표현 없이 자유로운 산문 서사에 의존한다. 이는 세 가지 반복적인 구조적 실패로 이어진다:

1. 무상태성(Statelessness): 세션이 종료되면 세계는 존재를 멈춘다. "기억"은 컨텍스트 윈도우의 근접성에 국한된다.
2. 미검증 쓰기(Unvalidated Writes): 모델이 임의의 세계 변화를 주장할 수 있으며, 이로 인해 상태가 표류하고 모순이 조용히 누적된다.
3. 단일적 에이전시(Monolithic Agency): 단일 프롬프트가 서사, 캐릭터 음성, 규칙 판정을 혼재시켜, 복잡한 시뮬레이션에 필요한 관심사의 분리를 방해한다.

결과적으로, 인간의 개입 없이 완전히 자율적인 게임 엔진을 구축하는 것은 현재로서는 불가능하다. 본 논문은 이것이 언어 모델 자체의 내재적 한계가 아니라, 현재 배포 방식의 구조적 한계라고 주장한다.

방법론: 오케스트레이티드 리얼리티 프레임워크

저자들은 게임 세계를 싱글톤 **월드-에이전트(World-Agent)**에 의해 관리되는 정형화되고 감사 가능한 객체로 취급하는 **오케스트레이티드 리얼리티(Orchestrated Reality)**라는 프레임워크를 제안한다. 이 시스템은 LLM 기반의 게임 세계를 **매개변수화된 행동 부분 관측 가능 마르코프 결정 과정(Parameterized-Action Partially Observable Markov Decision Process, PA-POMDP)**으로 공식화한다.

1. 공식 모델

시스템은 튜플 $M = (S, A, \Omega, O, F, \rho_0)$로 정의된다:

• 상태 ($S$): 세계 상태는 텍스트 덩어리가 아니라 디스크에 저장된 정형화된 JSON 엔티티의 트리이다. 모든 엔티티(NPC, 위치, 퀘스트, 플레이어 프로필)는 타입이 지정된 JSON 문서이다. 상태는 검사 가능하며, 브랜치(branch)가 가능하고, 콘텐츠 해시로 주소를 지정할 수 있다.
• 행동 ($A$): 행동은 $a = (k, x_k)$로 매개변수화된다. 여기서 $k$는 이산적인 의도 종류(예: move, speak)이고, $x_k$는 구조화된 JSON 파라미터 집합이다.
• 관측 ($\Omega$): 에이전트(플레이어)는 가공되지 않은 상태 $s_t$를 직접 관찰하지 않는다. 대신, 월드-에이전트에 의해 생성된 서사적 투영 $o_t = O(s_t)$를 관찰한다.
• 전이 커널 ($F$): 전이는 LLM에 의해 구동되지만 스키마 제약을 받는 Plan–Diff–Validate–Apply (PDVA) 파이프라인을 통해 제어된다.

2. PDVA 파이프라인

각 턴은 네 가지 단계로 진행된다:

1. Plan (계획): 정형화된 JSON 상태의 관련 슬라이스와 플레이어의 입력을 결합하여 유한한 컨텍스트 $p$를 구성한다.
2. Diff (차이): LLM은 다음 관측을 위한 서사 텍스트와 구조화된 제안된 변이 $\Delta_t$(경로, 연산, 값으로 구성된 JSON 작업 목록)를 모두 포함하는 응답 $r$을 생성한다.
3. Validate (검증): 제안된 모든 변경 사항 $\delta_j$는 엄격한 검증을 거친다:
   • SchemaOK: JSON 스키마와 일치해야 한다.
   • PermOK: 제안하는 행위자의 권한 범위 내에 있어야 한다.
   • RuleOK: 게임 규칙을 충족해야 한다.
4. Apply (적용): 검증된 변경 사항은 JSON 트리에 원자적으로 커밋된다. 새로운 상태는 정형 이력을 보장하기 위해 콘텐츠 해싱(SHA256)된다.

3. 월드-에이전트

월드-에이전트는 싱글톤 게임 마스터(GM) 역할을 한다. 이 에이전트는 세계 디렉토리를 소유하고, 턴 루프를 관리하며, "거부 우선(deny-first)" 권한 모델을 강제한다.

• 메모리 주입: 컨텍스트 윈도우 유지에 의존하는 대신, 월드-에이전트는 각 턴마다 관련 정형 JSON 항목을 작동 모델의 프롬프트에 직접 주입한다.
• 원자적 커밋: 플레이어, 전문 서브 에이전트(예: 전투 심판), 또는 미래의 NPC 마인드의 제안은 월드-에이전트를 통해 전달된다. 경합 조건을 방키하기 위해 턴당 단 하나의 원자적이고 콘텐츠 해싱된 커밋만이 디스크에 기록된다.

주요 기여

본 논문은 진행 중인 연구로서 세 가지 주요 기여를 보고한다:

1. 공식화: 단일 월드-에이전트가 전이 커널(PDVA를 통해)과 관측 커널(서사를 통해) 역할을 하는 LLM 기반 게임 세계를 PA-POMDP로 정의하였다.
2. JSON 상태 모델: 세계가 JSON 문서의 트리인 구체적인 구현을 통해, 상태를 검사, 차이 분석 및 콘텐츠 해싱을 통한 재생이 가능하게 하였다.
3. 사건 카탈로그: 실제 배포 환경(약 3개월간 약 5명의 테스터 참여)에서 추출한 15개의 감사 가능한 사건 사례를 제공한다. 이 사건들은 프레임워크의 메커니즘이 어떻게 작동하는지 구체적으로 보여준다:
   • 멀티 에이전트 오케스트레이션: 전문 서브 에이전트로 턴을 분산 처리함.
   • JSON 강제 메모리 주입: 채팅 이력이 아닌 재주입된 상태를 바탕으로 장기간의 간격 이후에도 엔티티를 다시 등장시킴.
   • JSON-flow 상태 커밋: 스키마 검증을 거친 델타를 파일에 적용함.

결과 및 관찰

본 논문은 대규모 플레이어 연구를 위한 향후 계획을 언급하며 최종적인 통계적 결과를 제시하지는 않는다. 대신, 비공식 테스트와 채굴된 플레이 이력으로부터 얻은 초기 관찰 결과를 제공한다:

• 가설 H1: 전제 조건이 걸린 주변 이벤트(예: 시간 경과, 예정된 이벤트)는 능동적인 캐릭터 대화 없이도 "살아있는 세계"라는 느낌을 생성한다.
• 가설 H2: 유효하지 않은 행동에 대한 서사적 거절(검증 실패)은 몰입을 깨뜨리지 않으면서 플레이어에게 인과 관계의 체감을 높여준다.
• 가설 H3: 검사 가능하고 해시로 식별되는 상태는 저자가 세계를 디버깅하고 브랜치하는 장벽을 낮춘다.

15개의 사건 예시는 전통적인 LLM 채팅 시스템이 표류하는 지점에서, 이 프레임워크가 실제 플레이 이력 상에서 일관성을 유지하며 작동할 수 있음을 보여주는 개념 증명 역할을 한다.

의의 및 주장

본 논문은 오케스트레이티드 리얼리티를 "캐릭터 중심의 서사 생성"에서 "게임-스토리-오케스트레이션"으로의 전환으로 규정한다.

• 구조적 전환: 문제를 언어 모델의 한계가 아닌 구조적 선택의 문제로 재정의하며, 검증되지 않은 산문에서 검증된 이벤트 소스 상태 모델로 이동한다.
• 차세대 게임의 토대: 세계를 GM과 같은 에이전트가 소유하는 정형화된 객체로 취급함으로써, 완전 자율적인 게임 엔진에 필요한 인프라를 제공한다.
• 향후 방향: 저자들은 멀티 에이전트 마르코프 게임(NPC가 동시적인 에이전트로 행동하는 환경)과 게임 세계 모델을 위한 강화 학습(RL) 환경으로의 경로를 제시한다. 또한 LLM의 확률적 특성에 따른 결정론 문제, 동시 실행되는 에이전트들에 대한 비용 관리, 추적되지 않는 세부 사항에 대한 서사적 표류 등의 과제를 인정한다.

결론적으로, 본 논문은 멀티 NPC 마르코프 게임 및 학습 가능한 RL 환경으로의 전환에 대한 논의를 촉구하며, 현재의 작업이 이러한 발전에 필요한 "런타임 월드 모델"을 확립하고 있음을 강조한다.