기술 요약: 세계 모델 붕괴(World-Model Collapse)로서의 상전이

1. 문제 정의

장기적 과업을 수행하는 언어 에이전트들은 과업 복잡성이 증가함에 따라 점진적으로 실패하는 현상이 자주 관찰되는데, 이는 일반적으로 (ReAct 또는 Reflexion 스타일의 에이전트에서 나타나는) 국소적 오류의 매끄러운 누적으로 설명됩니다. 본 논문은 이러한 "점진적 표류(gradual drift)" 서사에 이의를 제기합니다. 본 논문은 장기적 에이전트가 대신 내재적 세계 모델에서 **상전이(phase transition)**를 보일 수 있다고 가정합니다.

핵심 가설은 에이전트가 많은 단계 동안 일관된 내부 상태를 유지하고 타당한 행동을 선택할 수 있지만, 특정 임계값(critical threshold)을 넘어서는 순간 급격한 변화가 발생한다는 것입니다. 이 임계값을 넘어서면, 상태 부하(state load)나 의존성 밀도(dependency density)의 미세한 증가만으로도 갑작스러운 **세계 모델 붕괴(world-model collapse)**가 발생합니다. 이 상태에서 에이전트는 추론 자체는 유창하게 지속하지만, 그 추론의 대상이 되는 내부 세계 표현(internal representation)은 이미 오염된 상태가 됩니다. 결과적으로 에이전트는 단순히 잘못된 행동을 선택하는 것이 아니라, "잘못된 세계"를 바탕으로 행동하게 됩니다. 본 논문은 최종 성공 점수만으로는 진단이 불충분하다고 주장하는데, 이는 에이전트가 계획 오류(planning error)로 인해 실패한 것인지, 아니면 오염된 세계 상태로 인해 실패한 것인지를 구분할 수 없기 때문입니다.

2. 방법론

실험 환경: StatefulPuzzle

구조적 동인(structural drivers)을 혼란 변수(예: 호라이즌 길이 또는 인터페이스 노이즈)로부터 격리하기 위해, 저자들은 각 단계별 "골드(gold)" 세계 상태가 존재하는 결정론적 환경인 StatefulPuzzle을 구축했습니다.

• 상태 카디널리티 (State Cardinality, SC): 작업 기억(working memory) 내에서 공동으로 다뤄져야 하는 엔티티(방, 컨테이너, 아이템 등)의 수.
• 의존성 밀도 (Dependency Density, DD): 각 하위 목표(subgoal)를 현재 세계 상태에 결속시키는 전제 조건의 수.
• 통제 변수: 호라이즌($T$), 분기 계수(branching factor), 관측 모드(clean, conflict, distractor, partial), 변이율(mutation rate).

환경 선정은 세 가지 후보(GraphNav, ToolDAG, StatefulPuzzle)를 대상으로 단조성, 모델 간 형상 일치성, 최소 20 퍼센트 포인트의 성공률 하락 여부를 기준으로 파일럿 연구를 거쳐 결정되었습니다.

에이전트 아키텍처

에이전트는 세 단계의 루프로 작동합니다:

1. 플래너(Planner): 구조화된 메모리를 기반으로 다음 행동과 예상되는 상태 변화를 제안합니다.
2. 업데이터(Updater): 시뮬레이터 단계 이후 명시적인 작업 기억을 재작성합니다.
3. 셀프-다이아그(Self-Diag): 비차단형(non-blocking) 유효성 판단을 기록합니다.

이 아키텍처를 통해 표현 실패(세계 상태의 충실도)와 행동 실패(선택된 움직임의 유효성)를 분리하여 평가할 수 있습니다.

평가 프로토콜

• 그리드 탐색 (Grid Search): SC ($\{5, 10, 20, 40\}$)와 DD ($\{1, 2, 4, 6\}$)에 대해 조밀한 그리드 탐색을 수행했습니다.
• 지표:
  • 질서 매개변수 (Order Parameter): 과업 성공률 ($p_\theta$).
  • 전구체 (Precursor): 에이전트의 내부 상태와 골드 상태 간의 일치도로 측정된 세계 상태 충실도 ($R_t$).
  • 시간적 순서 (Temporal Ordering): 세계 상태 실패 시간 ($\tau_W$) 대 첫 번째 무효 행동 발생 시간 ($\tau_A$).
• 모델: 주로 claude-haiku-4-5를 사용하여 실험을 진행하였으며, gpt-4o-mini, GPT-4o, Llama-3 70B를 통한 교차 모델 검증을 수행했습니다.

3. 주요 기여

1. 상전이로서의 붕괴 정식화: 본 논문은 장기적 에이전트의 실패를 단순한 성능 저하 곡선이 아니라, 해결된 고원(solved plateau), 좁은 임계 전이 대역(critical transition band), 그리고 붕괴 저점(collapse floor)으로 특징지어지는 세계 모델 용량의 2차원 상전이로 규정합니다.
2. 통제된 평가 프레임워크: 상태 부하(SC)와 의존성 부하(DD)를 독립적으로 분리하면서 매 단계마다 세계 상태 정확도와 행동 유효성을 기록하는 방법론을 도입하여, 표현적 전구체(representational precursors)를 탐지할 수 있게 합니다.
3. 시간적 전구체의 식별: 본 연구는 세계 상태의 붕괴가 계획의 붕괴보다 앞서 발생함을 입증합니다. 즉, 에이전트의 내부 표현이 무너지기 전에 먼저 발생하며, 이는 겉보기에 행동 선택 오류처럼 보이는 현상이 실제로는 표현적 실패임을 보여줍니다.
4. 경계 이동으로서의 모델 능력: 강력한 모델은 임계 경계를 이동시키지만(용량 임계값을 높임), 질적인 상전이 구조 자체를 제거하지는 못함을 보여줍니다.

4. 주요 결과

상전이도 (The Phase Diagram)

확인적 그리드 분석 결과 뚜렷한 기하학적 구조가 드러났습니다:

• 해결된 고원 (Solved Plateau): 낮은 SC에서 에이전트는 모든 DD 수준에 걸쳐 과업을 해결합니다.
• 붕괴 저점 (Collapse Floor): 높은 SC에서 에이전트는 DD와 상관없이 실패합니다.
• 좁은 전이 대역 (Narrow Transition Band): SC=10과 SC=20 사이에 급격한 절벽이 존재합니다. claude-haiku-4-5의 경우, 임계점 ($SC^\star$)은 13.5 근처에 국지화되어 있습니다.
• 기하학적 구조: 전이는 느린 대각선 하락이 아니라 급격한 낙하입니다. 일단 상태 부하가 용량을 초과하면, 의존성 밀도를 높여도 성능이 더 저하되지 않습니다 (저점이 평탄함).

시간적 메커니즘

단계별 추적 결과 메커니즘이 확인되었습니다:

• 비대칭적 실패: 세계 상태 충실도가 첫 번째 무효 행동이 발생하기 전에 이미 실패 임계값 아래로 떨어집니다.
• 지연 (Lag): 세계 상태 실패가 행동 실패보다 앞서는 중앙값은 약 2단계입니다.
• 시사점: 에이전트는 나쁜 행동을 선택하는 것이 아니라, 오염된 세계 모델을 바탕으로 행동하고 있는 것입니다.

교차 모델 견고성

• 경계 이동 (Boundary Translation): 더 강력한 모델(예: gpt-4o-mini, GPT-4o)은 임계 경계를 더 높은 SC 값(예: gpt-4o-mini는 10대 후반으로 이동)으로 이동시키지만, 고원-전이-저점의 형태는 동일하게 유지됩니다.
• 삭제 불가: 테스트된 어떤 모델도 붕괴를 제거하지 못했으며, 단지 이를 지연시켰을 뿐입니다.

이차 축 절제 실험 (Secondary Axis Ablations)

• 호라이즌 ($T$): "조력자" 역할을 합니다 (불충분한 단계는 성공을 방해함). 하지만 상전이 경계를 정의하지는 않습니다. 호라이즌에 대한 미세 스캔 결과 SC 축과 같은 임계점을 발견하지 못했습니다.
• 분기 (Branching): 영향이 미미하여, 탐색 트리 폭발(search-tree blow-up)이 주요 원인이 아님을 입증했습니다.
• 관측 모드: "가시성 게이트(visibility gate)" 역할을 합니다. 부분 관측(상태 슬롯을 숨김)은 상당한 성능 저하를 일으켰으며, 이는 상태의 가시성이 매우 중요함을 확인시켜 줍니다.
• 변이율 (Mutation Rate): 기술적인 효과는 보였으나 주요 동인은 아니었습니다.

5. 의의 및 주장

본 논문은 세계 모델 용량이 장기적 에이전트의 측정 가능한, 모델 특이적인 병목 구간이라고 주장합니다.

• 실패의 재정의: 관찰되는 "표류"는 단순한 난이도 상승에 따른 성능 저하가 아니라 급격한 상전이일 수 있습니다. 자연스러운 과업에서 성공률을 평균 내는 방식은 이 경계를 숨겨, 임계값 실패를 일반적인 난이도 스케일링처럼 보이게 만들 수 있습니다.
• 진단의 필요성: 최종 성공 점수만으로는 불충분합니다. 신뢰할 수 있는 평가를 위해서는 상태 부하와 의존성 부하를 독립적으로 변화시키는 스트레스 그리드와, 전구체(세계 상태 실패)를 탐지하기 위한 단계별 상태 계측이 필요합니다.
• 설계적 시사점: 실패의 원인이 표현(representation)에 있으므로, 단순히 플래너에게 "더 열심히 추론하라"고 요구하는 것은 해결책이 되지 않습니다. 효과적인 개입은 플래너가 실패하기 전에 세계 표현을 지원할 수 있도록 상태를 외재화하거나 분해(예: 구조화된 메모리, 플래너-솔버 하이브리드)해야 합니다.
• 범위 제한: 저자들은 이러한 결과가 통제된 StatefulPuzzle 환경 내에서 확립되었음을 명시합니다. 상전이 기하학적 구조가 해당 설정 내의 모델들 사이에서는 견고하지만, 축들이 서로 혼재된 다른 에이전트 환경(예: WebArena 또는 SWE-bench)에 대해 보편적인 법칙이라고 주장하는 것은 아닙니다. 본 연구는 보편적 법칙에 대한 주장이라기보다 "깨끗한 상전이 테스트베드"를 제공하는 것입니다.

요약하자면, 본 논문은 에이전트 평가가 "에이전트가 최종적으로 어떤 행동을 취하는가"에서 "에이전트가 어떤 상태라고 생각하며 행동하는가"로 전환되어야 하며, 세계 모델이 붕괴되는 구체적인 지점을 식별해야 한다고 주장합니다.