기술 요약: 세계 모델링 에이전트를 위한 벤치마크 프레임워크로서의 AGI Maze

1. 문제 정의

현재의 대규모 언어 모델(LLM)은 지속적인 세계 시뮬레이터라기보다 주로 정적인 다음 토큰 예측기로 기능합니다. 텍스트에 의해 암시적으로 설명되는 "세계"를 다루는 언어 작업에서는 효과적이지만, 다음과 같은 요구사항을 가진 상호작나적인 환경에서는 어려움을 겪습니다:

• 지속적인 상태 표현 (Persistent State Representation): 시간에 따라 진화하는 외부 세계에 대한 조작 가능하고 구조화된 표현을 유지하는 능력.
• 부분 관측 가능성 (Partial Observability): 일부 환경만이 관찰될 때 숨겨진 상태(잠재 변수)에 대해 추론하는 능력.
• 메모리 효율성 (Memory Efficiency): 취약하고 구조화되지 않은 텍스트 이력에 의존하지 않고 긴 지평(horizon) 동안 상태를 추적하는 능력.
• 신념 업데이트 (Belief Updating): 단순히 즉각적인 관찰로부터 국소적인 규칙을 추론하는 것이 아니라, 불확실성 속에서 신념을 유지하고 업데이트하는 능력.

AGI-ARC-3와 같은 기존 벤치마크는 이러한 특정 능력을 테스트하는 데 실패하는 경우가 많은데, 이는 해당 벤치마크들이 사실상 완전 관측 가능하거나 에이전트가 쿼리 가능한 지속적인 세계 상태를 구축할 필요가 없기 때문입니다. 또한, LLM을 체화된 에이전트(예: 시각-언어-행동 모델)로 확장하려는 시도들은 SLAM(Simultaneous Localization and Mapping) 문제를 해결하기보다는 시각적 특징 회상에 의존하며, 일관된 세계 모델을 구축하는 데 실패하곤 합니다.

2. 방법론: AGI Maze 프레임워크

저자들은 고차원의 감각 입력(픽셀)에 따른 복잡성 없이 언어 영역 내에서 세계 모델링 능력을 벤치마킹하기 위해 설계된 경량 그리드 기반 프레임워크인 AGI Maze를 소개합니다.

2.1 환경 설계

• 핵심 메커니즘: 에이전트는 벽, 단일 출구가 있는 "모놀리스(monolith)" 경계, 보물 상자, 열쇠가 있는 그리드(3x3 ~ 8x8)를 탐색합니다.
• 관찰: 지도는 숨겨져 있습니다. 에이전트는 텍스트 피드백(예: "오른쪽으로 가려 했으나 모놀리스가 길을 막고 있습니다")을 받으며, 레이아웃, 자신의 위치, 아이템의 위치를 추론해야 합니다.
• 동적 불확실성: 단순한 탐색을 방해하여 진정한 상태 추론을 강제하기 위해, 프레임워크는 다음과 같은 메커니즘을 포함합니다:
  • 강(Rivers): 흐름 방향을 드러내지 않은 채 강제적인 하류 이동을 유발합니다.
  • 구덩이 사이클(Pit Cycles): 에이전트를 다른 구덩이로 텔레포트시켜, 동일한 관찰이 여러 위치에 대응할 수 있는 모호함을 생성합니다.
• 제약 조건: 에이전트는 엄격한 스텝 예산(step budget) 하에 작동합니다. 결정적으로, 일부 미로는 무작위 탐색으로는 해결할 수 없는 특정 행동 시퀀스(예: 열쇠에 도달하기 위해 강으로 뛰어들기)를 요구합니다.

2.1 프레임워크 구조 및 태스크 그룹

프레임워크는 과적합을 방지하고 일반화를 테스트하기 위해 다섯 가지 태스크 그룹으로 구성됩니다:

1. TUTORIAL (튜토리얼): 메커니즘 학습을 위한 오픈 맵 모드 (점수 미산정).
2. TRAINING (트레이닝): 캘리브레이션 및 베이스라인 테스트를 위해 넉넉한 스텝 예산을 가진 작은 미로.
3. CLASSIC (클래식): 인간의 수행 능력과 비교 검증된 핵심 규칙 기반의 더 큰 미로.
4. EXTENDED (익스텐디드): 새로운 메커니즘(예: 보트, 수류탄, 손전등)을 도입하여 새로운 규칙과 전략을 추론하는 능력을 테스트함.
5. HIDDEN (히든): 데이터셋 맞춤형 성능이 아님을 검증하기 위한 미지의 확장 기능이 포함된 비공개 홀드아웃 세트.

2.3 API 및 에이전트 상호작용

프레임워크는 에이전트가 다음과 같은 작업을 수행할 수 있도록 안정적인 HTTP API를 제공합니다:

• 게임 설명 및 파라미터 조회.
• 행동(위, 아래, 왼쪽, 오른쪽 등) 제출.
• 텍스트 관찰 및 구조화된 상태 업데이트 수신.
  에이전트는 스텝 예산 내에 미로를 해결하는 능력을 바탕으로 평가됩니다.

3. 실험 설정 및 베이스라인 결과

본 논문은 외부 도구나 명시적 상태 구축 없이 오직 프롬프트 이력(게임 규칙 + 행동-관찰 쌍)에만 의존하는 "바닐라(vanilla)" LLM 에이전트를 평가합니다.

3.1 바닐라 LLM 성능

• 설정: 몇 가지 모델(GPT-4o Mini, GPT-5 Mini, Gemini 3.1 Flash Light, MiniMax M2.7)을 TRAINING 미로에 대해 테스트했습니다.
• 결과:
  • 테스트된 모델 중 어떤 것도 간단한 미로조차 안정적으로 해결하지 못했습니다.
  • GPT-4o Mini는 무작위 보행(random-walk) 베이스라인보다 체계적으로 낮은 성능을 보였습니다.
  • 일부 모델(예: Gemini 3.1 Flash)은 작은 미로에서 무작위 탐색보다 나은 성능을 보였으나, 모든 모델이 더 큰 그리드(5x4 이상) 및 동적 불확실성(강/구덩이)이 있는 미로에서는 실패했습니다.
  • 더 강력한 모델들(GPT-5.5, Gemini 3.5 Flash)조차 스텝 예산을 두 배로 늘린 어려운 미로에서 약 30-40%의 성공률만을 달성했으며, 이는 인간의 수행 능력에 훨씬 못 미치는 수준입니다.

3.2 프롬프트-역할-작업 메모리 (플래닝 에이전트)

명시적 상태 추적이 도움이 되는지 테스트하기 위해 "플래닝 에이전트"를 도입했습니다. 이 에이전트는 두 단계 프로세스를 사용합니다:

1. 노트 작성 (Note-taking): 좌표, 탐사 상태, 계획을 추적하기 위해 프롬프트에 노트를 생성합니다 (작업 기억 역할을 함).
2. 행동 (Action): 이 노트들을 바탕으로 행동을 선택합니다.

• 결론:
  • 강력한 모델: 성능이 크게 향상되었습니다 (예: GPT-5.5: 30% $\to$ 60%; Gemini 3.5 Flash: 40% $\to$ 70%).
  • 경량 모델: 어려운 태스크에서 개선이 전혀 나타나지 않았습니다.
  • 한계: 이러한 개선은 바닐라 LLM이 추론 과정에서 세계 상태에 대한 명시적인 잠재 표현을 내부적으로 구축하지 못하며, 이를 효과적으로 활용하기 위해서는 텍스트 프로ンプ트에 상태를 외부화해야 함을 시사합니다. 그러나 "텍스트로서의 메모리" 방식은 여전히 취약하고 불충분하여 신뢰할 수 있는 해결책이 되지 못합니다.

4. 주요 기여

1. AGI Maze 프레임워크: 시각적 인지라는 혼란 변수를 제외하고 세계 모델링 능력(상태 표현, 신념 추적, 장기 계획)을 격리하여 테스트하도록 설계된 새로운 저대역폭 벤치마크.
2. LLM의 한계에 대한 실증적 증거: 바닐라 LLM이 부분 관측 가능하고 상태가 있는 환경에서 무작위 베이스라인보다 성능이 떨어지는 경우가 많음을 보여줌으로써, 지속적이고 조작 가능한 세계 표현을 구축하는 데 실패함을 입증.
3. 메모리 유형의 차별화: 내부 잠재 상태(LLM이 실패하는 부분)와 외부화된 텍스트 메모리(도움은 되지만 비효fer적이고 취약함) 간의 구분을 강조.
4. 확장성: 새로운 아이템이나 메커니즘을 지원하여, 하드코딩된 규칙이 아닌 상호작용을 통해 새로운 규칙을 추론하는 능력과 일반화 능력을 테스트할 수 있는 프레임워크.

5. 의의 및 주장

저자들은 AGI Maze가 궁극적인 AGI 벤치마크가 아니라, 현재의 에이전트 아키텍처의 특정 격차를 식별하기 위한 진단 도구라고 주장합니다.

• 핵심 주장: AGI Maze에서의 실패는 다음 토큰 예측이 본질적으로 명시적이고 일관된 세계 상태 모델의 구축으로 이어지지 않는다는 가설을 뒷받침합니다.
• 시사점: 견고한 세계 모델링을 위해서는 표준적인 추론을 넘어선 메커니즘, 즉 명시적인 외부 세계 모델(지도, 그래프, 시뮬레이터)과 더 나은 메모리 관리 전략이 필요합니다.
• 향-방향: 이 프레임워크는 에이전트가 외부 산출물(예: 프로그래밍 가능한 시뮬레이터)을 구축하고 쿼리할 수 있으며, 현재의 "텍스트로서의 메모리" 접근 방식보다 불확실성과 메모리를 더 효과적으로 처리할 수 있도록 유도하는 연구를 안내하기 위해 제작되었습니다.

저자들은 AGI Maze가 표현과 추론을 주요 병목 현상으로 격리하고 있지만, 이 과제들을 해결하기 위해서는 임시방편적인 도구 활용이나 프롬프트 엔지니어링을 넘어선 아키텍처적 변화가 필요할 것이라고 결론짓습니다.