기술 요약: 월드 모델 에이전트 학습 (World Model Agentic Training)

문제 정의

대규모 언어 모델(LLM) 에이전트는 순차적 의사결정 능력은 입증했으나, 장기적 과제(long-horizon tasks)에서는 근본적으로 **반응적(reactive)**인 상태에 머물러 있다. 미래의 결과를 시뮬레이션하고 실행 전 계획을 평가하는 "what-if" 추론을 사용하는 인간 계획자와 달리, 표준 에이전트는 미래를 예측할 수 있는 내부 메커니즘이 결여되어 있다. Chain-of-Thought(CoT)와 같은 방법론이 문제 분해 능력을 개선하긴 하지만, 이들이 내재적인 **월드 모델(world model)**을 보유하여 미래 상태를 시뮬레이션하도록 만드는 것은 아니다.

저자들은 현재의 사후 학습(post-training) 방식에서 발생하는 결정적인 **포맷-역량 간극(format-capability gap)**을 지적한다. 단순히 에이전트에게 앞선 경로(look-ahead traces)를 출력하도록 미세 조정하는 것(예: "미래 계획" 블록을 출력하도록 지시하는 것)은 모델에게 선견지명의 구조를 흉내 내도록 가르칠 뿐, 근본적인 예측 역량을 습득하게 하지는 못한다. 결과적으로 에이전트는 그럴듯해 보이지만 근거가 없거나, 환각(hallucination)을 일으키거나, 보정이 되지 않은 시뮬레이션을 생성하여 유용한 가이드가 아닌 노이즈를 유발하게 된다.

방법론

이 포맷-역량 간극을 메우기 위해, 본 논문은 단일 자기회귀 정책(autoregressive policy) 내에 미래 인지적 계획을 내재화하도록 설계된 통합 3단계 학습 패러다임인 **월드 모델 에이전트 학습(World Model Agentic Training)**을 제안한다. 이 접근 방식은 외부 시뮬레이터나 별도의 가치 헤드(value heads)를 사용하는 대신, 모델이 **전망적 상태 롤아웃(prospective state rollout)**과 계획 조건부 성공 추정치(텍스트 형태의 Q-값)를 모두 언어화하도록 학습시킨다.

세 단계는 다음과 같다:

1. 월드 모델 에이전트 중간 학습 (WM-AMT)

이 단계는 표준 사후 학습 이전에 정책에 잠재적인 예측 능력을 주입한다.

• 메커니즘: 대규모 에이전트 궤적 데이터에 무작위 스텝마다 구조화된 "월드 모델 블록"($z_t$)을 삽착하여 증강한다.
• 내용: 각 블록 $z_t$는 다음을 포함한다:
  • $z^{(traj)}_t$: 시뮬레이션된 미래의 추상화된 로드맵 (압축된 경험 요약).
  • $z^{(eval)}_t$: 의미론적 격차 분석 및 성공 확률을 추정하는 신뢰도 점수 ($q \in [0, 100]\%$).
• 목표: 모델은 엄격하게 과거 맥락에 조건화되어 이러한 블록들을 재구성하도록 표준 자기회귀 부정 로그 가능도(negative log-likelihood)를 통해 학습된다. 이를 통해 모델은 선견지명을 단순한 형식적 연습이 아닌, 인과적 예측과 가치 평가의 일부로서 정책 프라이어(policy prior)로 학습하게 된다.

2. 포맷 유도 지도 미세 조정 (FE-SFT)

WM-AMT가 역량을 확립한다면, FE-SFT는 모델이 추론 중에 이를 신뢰성 있게 호출할 수 있는 구조적 스키마를 갖추게 한다.

• 메커치즘: 내부 월드 모델이 명시적으로 구조화된 포맷(예: <imaginary>, <keyword>, <analysis>, <confidence>)으로 외재화된 큐레이션된 데이터셋을 통해 모델을 미세 조정한다.
• 목표: 이 단계는 에이전트가 언제, 어떻게 자신의 잠재적 선견지명을 명료하게 표현할지를 가르치며, 처음부터 학습할 때 발생하는 환각 없이 생성된 블록이 일관되고 구조적으로 일치하도록 보장한다.

3. 선견지명 조건부 강화 학습 (FC-RL)

이 단계는 내부 월드 모델과 정책을 공동 최적화하여 근거의 확실성(groundedness)과 보정(calibration)을 보장한다.

• 월드 모델 최적ization:
  • 근거 보상 ($R_{ground}$): 예측된 키워드(마일스톤)가 실제 실행 궤적에서 실제로 나타나는지 검증한다.
  • 보정 보상 ($R_{calib}$): 최종 결과(성공/실패)를 바탕으로 신뢰도 추정치($q_t$)에 브라이어 점수(Brier score) 페널티를 적용하여, 에이전트의 자가 평가 신뢰도가 경험적 성공률과 일치하도록 강제한다.
• 정책 최적화:
  • 정책은 그룹 기반 RL 알고리즘(GRPO)을 사용하여 업데이트된다.
  • 어드밴티지 함수는 전역 작업 보상과 로컬 스텝 레벨 어드밴티지(보정된 신뢰도 점수 $q_t$로부터 도출됨)를 결합하여, 작업 성공과 선견지명의 품질 사이의 균형을 맞춘다.

주요 기여

1. 포맷-역량 간극 식별: 본 논문은 선행을 바라보는 포맷에 대한 사후 학습만으로는 선견지명의 표면적인 모방만 가능하며, 근거 있는 미래 예측을 생성하는 데 실패한다는 것을 입증한다.
2. 통합 3단계 패러다임: 저자들은 단일 자기회귀 모델 내에 월드 모델 계획을 내재화하고, 외부 모듈 없이 미래 롤아웃과 Q-값 추정을 모두 언어화하는 역량 우선 파이프라인(WM-AMT $\to$ FE-SFT $\to$ FC-RL)을 제안한다.
3. 실증적 검증: 이 접근 방식은 검색(multi-hop QA) 및 수학적 추론 작업에서 검증되었으며, 내부 월드 모델링이 보정된 선견지명을 달성하기 위해 특정한 학습 궤적이 필요함을 보여준다.

실험 결과

본 방법론은 2B 파라미터 모델(Youtu-LLM-2B)을 사용하여 두 가지 도메인에서 평가되었다:

• 검색 작업 (7개 QA 데이터셋):
  • 전체 파이프라인(WM-AMT + FE-SFT + FC-RL)은 평균 점수 50.6을 달성하여, 가장 우수한 베이스라인(중간 학습이 포함된 상태 전용 예측 + RL)의 점수인 48.7을 상회했다.
  • 개선 효과는 장기적 계획이 핵심적인 멀티홉 추론(예: HotpotQA, MuSiQue) 작업에서 특히 두드러졌다.
• 수학적 추론 (AIME 2024/2025/2026):
  • 제안된 방법은 pass@30 60.0 및 mean@30 29.5를 달성하였으며, 이는 베이스라인(예: 상태 전용 예측 + RL이 pass@30 56.7 달성)을 크게 앞서는 수치이다.
• 절제 연구 (Ablation Studies):
  • 세 단계 중 하나라도 제거하면 성능이 저하되어, 전체 파이프라인의 필요성을 확인했다.
  • WM-AMT 없이 선행 포맷에 대해서만 사후 학습(SFT/RL)을 수행한 모델은 일관된 계획을 생성하지 못하고 포맷-역량 간극을 보였다.
  • 모델이 생성한 신뢰도 점수는 실제 작업 성공 여부와 강한 상관관계를 보였으며, 이는 언어화된 Q-값의 보정 성능을 입증한다.

의의 및 주장

본 논문은 LLM 에이전트의 효과적인 내부 월드 모델링이 단순한 포맷 감독만으로는 달성될 수 없다고 주장한다. 대신, 다음을 수행하는 역량 우선 학습 파이프라인이 필요하다:

1. 중간 학습(WM-AMT)을 통한 예측 프라이어의 주입.
2. 지도 미세 조정(FE-SFT)을 통한 이러한 프라이어의 구조적 표현 유도.
3. 보상 정렬 최적화(FC-RL)를 통한 시뮬레이션의 보정 및 유용성 정제.

저자들은 이 접근 방식이 에이전트로 하여금 인간의 추론과 유사한 "계획 조건부 미래 시뮬레이션" 및 "정신적 평가"를 수행하게 하여, 반응적 에이전트보다 장기적 과제를 더 견고하게 처리하고 하위 경로를 제거할 수 있게 한다고 주장한다. 이 연구는 근거 있고 보정된 선견지명을 달성하는 것이 에이전트가 선행 추론을 효과적으로 활용하기 전에 반드시 해결해야 할 별개의 학습 과제임을 강조한다.