기술 요약: 게임 코드 세계 모델 생성을 경량 대규모 언어 모델로 증류

문제 제기

환경에 대한 내부 표현인 **세계 모델 (World Models)**을 구축하는 것은 다중 에이전트 시스템에 있어 핵심적입니다. 이는 AI 에이전트가 행동의 결과를 시뮬레이션할 수 있게 합니다. 최근 연구에서는 자연어 게임 설명을 몬테카를로 트리 탐색 (MCTS) 과 같은 솔버와 호환 가능한 실행 가능한 파이썬 코드로 변환하는 **코드 세계 모델 (Code World Models, CWMs)**을 도입했습니다. 그러나 현재 접근 방식은 상당한 확장성 장벽에 직면해 있습니다.

기존의 게임 코드 세계 모델 (GameCWMs) 생성 방법은 주로 "프런티어 (frontier)" 모델 (예: Gemini 2.5 Pro, GPT-4) 과 광범위한 **테스트 시간 계산 (test-time compute)**에 크게 의존합니다. 이러한 접근 방식은 LLM 이 코드를 생성하고, 유닛 테스트나 실제 궤적에 대해 검증한 후 실패 시 코드를 재생성하는 반복적 개선 루프를 활용합니다. 이 과정은 계산 비용이 많이 들고 접근성을 제한합니다. 본 연구의 핵심 질문은 유효한 GameCWM 을 생성하는 데 필요한 역량이 사후 학습을 통해 더 작고 경량인 모델 (특히 3B 파라미터 모델) 로 증류될 수 있는지, thereby 프런티어 모델과 추론 시간 개선 루프에 대한 의존성을 제거할 수 있는지 여부입니다.

방법론

저자들은 Qwen2.5-3B-Instruct로 GameCWM 생성 역량을 증류하기 위해 세 가지 구성 요소로 이루어진 파이프라인을 제안합니다.

1. 데이터셋 큐레이션

다음과 같은 범위에 걸친 **30 개의 확장형 게임 (extensive-form games)**으로 구성된 데이터셋을 구축했습니다:

• 완전 정보 게임: 예: 틱택토, 커넥트 4, 일반화된 체스.
• 불완전 정보 게임: 예: 블랙잭, 쿤 포커, 레듀크 포커, 진 루미.
• 분포 외 (OOD) 게임: 표준 LLM 학습 데이터에 존재하지 않는 새로운 게임들 (Converge라는 새로운 게임을 포함).

데이터셋은 프롬프트 - 코드 쌍 $(P_G, C_G)$으로 구성되며, 프롬프트에는 API 명세, 자연어 게임 설명, 명시적 행동 문자열, 그리고 예시 궤적이 포함됩니다. 목표 출력은 게임을 구현하는 실제 파이썬 코드입니다.

2. 계층적 검증 프레임워크

새로운 게임에 대한 실제 게임 엔진 없이 학습을 가능하게 하기 위해, 저자들은 생성된 코드를 평가하는 4 단계 검증 프레임워크를 개발했습니다:

• 1 단계 (정적 분석): 문법적 유효성, API 완전성 (필수 메서드 모두 존재), 타입 시그니처, 그리고 성공적인 컴파일을 검증합니다.
• 2 단계 (동역학/퍼징): 결정론성, 비종단 논리, 종단 논리, 충돌 없는 실행, 그리고 상태 불변성을 확인하기 위해 100 개의 무작위 합성 궤적을 실행합니다.
• 3 단계 (의미 규칙 준수): 프런티어 LLM 이 게임 규칙으로부터 생성한 소수의 "시나리오 궤적 (game histories)"과 생성된 엔진의 행동을 비교합니다. 이는 경계 조건과 일반적인 게임 플레이를 테스트합니다.
• 4 단계 (정보 일관성): 불완전 정보 게임에 특화된 이 단계는 resample_history 함수를 평가합니다. 무작위 보행을 통해 상태까지 시뮬레이션하고 관측치를 추출한 후, 재샘플링된 역사가 동일한 관측치를 생성하는지 확인하여 인식적 경계가 유지되도록 합니다.

3. 사후 학습 파이프라인

학습 과정은 두 단계로 이루어집니다:

• 지도 미세 조정 (SFT): 기본 Qwen2.5-3B-Instruct 모델을 프롬프트 - 코드 쌍으로 LoRA 를 사용하여 미세 조정합니다. 이 단계는 모델이 필요한 API 구조와 문법에 정렬되도록 하는 것을 목표로 합니다.
• 검증 가능 보상을 통한 강화 학습 (RLVR): SFT 이후, 모델은 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 추가로 정제됩니다. 보상 신호는 4 단계 검증 프레임워크에서 도출된 복합 점수입니다:
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  여기서 $S_t$는 $t$단계에서의 통과율이며, 가중치 ($w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$) 는 단순한 문법보다 의미론적 논리와 정보 처리를 우선시합니다.

주요 결과

OOD 및 불완전 정보 게임을 포함한 7 개의 홀드아웃 게임에서 각 게임당 25 개의 샘플을 생성하여 실험을 수행했습니다.

• 전체 성능: 전체 SFT+RLVR 파이프라인이 가장 강력한 모델을 생성하여 평균 검증 점수 **53.2%**를 달성했습니다. 이는 기본 모델 (47.3%) 과 SFT 전용 모델 (49.0%) 보다 훨씬 뛰어났습니다. 그러나 GPT-4o(66.7%) 와 같은 프런티어 모델의 성능에는 미치지 못했습니다.
• 문법 및 구조적 개선: SFT 는 정적 (1 단계) 및 퍼징 (2 단계) 점수를 크게 향상시켜, 미세 조정이 모델에게 필요한 API 구조와 견고한 전이 논리를 효과적으로 가르친다는 것을 보여주었습니다.
• 의미 준수: RLVR 은 의미 (3 단계) 점수에 가장 큰 향상을 제공했습니다. SFT+RLVR 모델은 기본 모델의 8.5% 에 비해 14.4% 의 의미 점수를 달성하여, RL 이 모델이 문법 이상으로 게임 규칙을 준수하도록 돕는다는 것을 나타냈습니다.
• 불완전 정보의 어려움: 모든 모델 (GPT-4o 포함) 이 불완전 정보 게임에서 정보 (4 단계) 일관성에 어려움을 겪었습니다. 가장 좋은 Qwen 모델 (SFT+RLVR) 은 **5.3%**를 기록한 반면, GPT-4o 는 14.0% 를 기록했습니다.
• 관찰된 한계:
  • SFT 의 과적합: 학습 세트에 포함되지 않은 분포 내 게임인 진 루미에서 SFT 는 모델이 학습 중 배운 리스트 컴프리헨션 템플릿을 맹목적으로 적용하여 문법 오류를 유발함으로써 성능을 오히려 감소시켰습니다 (49.7% 에서 31.4% 로 하락).
  • 추론 경계: 모델들은 종종 resample_history 논리 구현의 어려움을 인정하는 주석을 삽입하고, 복잡한 추론 경로를 생성하는 대신 단순화된 스텁 (예: 마지막 행동 반환) 을 선택했습니다. 이는 기본 모델의 잠재 공간이 이러한 작업에 필요한 "마음 이론 (Theory of Mind)" 추론 역량이 부족할 수 있음을 시사합니다.

의의 및 주장

본 논문은 GameCWM 생성이 사후 학습을 통해 경량 LLM 으로 부분적으로 증류될 수 있다고 주장합니다. 이 연구의 주요 의의는 다음을 보여준다는 점입니다:

1. 자원 효율성: 계산 부담을 사후 학습으로 전환함으로써 비싼 프런티어 모델과 반복적인 테스트 시간 개선 루프에 대한 의존성을 줄일 수 있습니다.
2. 2 단계의 필요성: 구조/문법을 위한 SFT 와 의미 준수를 위한 RLVR 의 조합은 어느 한 방법 단독보다 더 효과적입니다.
3. 확장성: 이 접근 방식은 자연어에서 자동 환경 생성으로 가는 확장 가능한 경로를 제공하여, GameCWM 을 더 넓은 범위의 애플리케이션에 접근 가능하게 합니다.

그러나 저자들은 현재 기술 상태에 대해 겸손하게 접근합니다. 그들은 복잡한 의미론적 추론과 불완전 정보 처리는 여전히 어렵고, 경량 모델과 학습 파이프라인 모두의 현재 능력을 초과한다고 명시적으로 밝힙니다. 이 연구는 완벽한 GameCWM 생성 문제를 해결했다고 주장하는 것이 아니라, 현재 프런티어 모델 의존적 접근 방식에 대한 실현 가능하고 더 효율적인 대안을 제공합니다.