기술 요약: AgentOdyssey

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트용 벤치마크와 학습 패러다임은 **테스트 시간 연속 학습(test-time continual learning)**을 연구하기에 부적절합니다. 기존의 평가는 학습이 종료된 후에는 학습이 멈춘다는 것을 암시하는 정적인 추론 시점 평가에 불과합니다. 학습이 고려되더라도, 이는 배포 중 추론과 인터리빙(interleaved)된 연속적인 과정이라기보다 평가 전의 많은 에피소드에 걸쳐 수행되는 경우가 일반적입니다.

실제 세계의 에이전트는 초기 학습 후, 동적인 환경과 상호작용하면서 새로운 지식과 기술을 지속적으로 습득하고, 에피소드 경험을 유지하며, 긴 호라이즌(long horizons)에 대해 계획을 세워야 하는 핵심 과제에 직면합니다. 기존의 텍스트 게임 환경은 에이전트의 이러한 능력을 평가하는 데 필요한 확장성, 확률적 역학, 그리고 장기적 복잡성이 부족합니다. 또한, 이들은 종종 에이전트의 추론 능력과 저수준 제어 또는 시각적 접지(visual grounding)를 혼동하여, 연속 학습에 필요한 구체적인 인지 능력을 가리는 경향이 있습니다.

방법론

AgentOdyssey 프레임워크

저자들은 절차적으로 생성되는 오픈 엔드 텍스트 게임인 AGENTODYSSEY를 소개합니다. 이 프레임워크는 테스트 시간 연속 학습에 필수적이라고 가설을 세운 다섯 가지 핵심 능력을 테스트하도록 설계되었습니다:

1. 탐색(Exploration): 새로운 엔티티와 행동을 찾아내는 능력.
2. 에피소드 기억(Episodic Memory): 과거의 경험(예: 떨어뜨린 아이템, 방문한 장소)을 회상하는 능력.
3. 세계 지식 습득(World Knowledge Acquisition): 새로운 규칙, 역학, 제작 레시피를 배우는 능력.
4. 기술 학습(Skill Learning): 절차적 지식(예: 노트 필기)을 통해 성능을 개선하는 능력.
5. 장기 호라이즌 계획(Long-Horizon Planning): 목표를 분해하고 연장된 시퀀스 동안 목표를 관리하는 능력.

게임 생성 엔진:
프레임워크는 형식적 온톨로지에 기반한 LLM 기반 프로그램 합성 엔진을 활용합니다. 이는 세 가지 생성기로 구성됩니다:

• 엔티티 생성기(Entity Generator): 특정 속성을 가진 위치, 객체, NPC를 생성합니다.
• 역학 생성기(Dynamics Generator): 플레이어 주도 액션 규칙과 단계별 규칙(예: 낮과 밤의 순환, NPC 순찰 등 환경 주도 규칙)을 정의합니다.
• 퀘스트 생성기(Quest Generator): 선형적 또는 독립적 의존성을 가진 메인 및 사이드 퀘스트를 생성합니다.

이 엔진은 생성된 게임을 무작위 에이전트로 실행하여 건전성을 검증하고, 런타임 오류를 감지하며, 게임이 해결 가능한지 확인하는 자동화된 테스트 파이프라인을 포함합니다. 환경은 고정된 증분 단위로 시간이 진행되는 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 모델링되어 시간 의존적 규칙을 가능하게 합니다.

평가 방법론

저자들은 단순한 게임 완료를 넘어 다각적인 평가 접근 방식을 제안합니다:

• 게임 진행도(Game Progress): 메인 퀘스트에 대한 정규화된 누적 보상과 보조 지표(사이드 퀘스트, 탐색, 제작, 격퇴)를 통해 측정됩니다.
• 진단 테스트(Diagnostic Tests):
  • 세계 지식 QA: 게임 규칙 및 역학에 대한 이해도를 평가합니다.
  • 에피소드 기억 QA: 특정 과거 사건 및 궤적 세부 사항에 대한 회상 능력을 테스트합니다.
  • 객체/액션 탐색: 마주친 고유한 객체와 액션의 비율을 측정합니다.
  • 액션 다양성: 엔트로피를 사용하여 행동의 다양성을 정량화합니다.
• 모델 비용(Model Cost): 효율성을 평가하기 위해 총 토큰 사용량을 추적합니다.

평가된 에이전트 패러다임

본 연구는 다양한 LLM 백본(GPT-5, Qwen-3, LLaMA-3 포함)을 사용하는 다양한 에이전트 아키텍처를 평가합니다:

• Long Context (LC): 전체 히스토리를 컨텍스트 윈도우에 추가합니다.
• Fixed Size Memory: 슬라이딩 윈도우 또는 자기 업데이트 버퍼를 사용합니다.
• RAG (Retrieval-Augmented Generation): 외부 데이터베이스에서 관련 있는 과거 튜플을 검색합니다.
• SFT (Supervised Fine-Tuning): 경험을 바탕으로 LoRA를 통해 모델 가중치를 업데이트합니다.
• RL (Reinforcement Learning): PPO를 통해 가중치를 업데이트합니다.
• Latent Memory: 경험을 학습 가능한 잠재 토큰으로 압축합니다.

주요 결과

실험 1: 핵심 능력 진단

복잡한 게임 환경(18개 구역, 83개 객체, 13개 NPC, 24개 퀘스트 단계)을 사용하여 저자들은 다음을 발견했습니다:

• 성능 스케일링: Long Context 에이전트(특히 GPT-5 기반)가 가장 높은 성능을 달왔으며, 이는 에이전트의 능력이 메모리 용량(컨텍스트 크기)과 백본 모델의 추론 능력 모두에 따라 확장됨을 보여줍니다. 그러나 최상위 에이전트조차 인간의 성능에는 훨씬 미치지 못했습니다.
• 상관관계: 진단 테스트 점수(세계 지식 및 에피소드 기억)는 게임 진행도와 강한 상관관관계를 보였습니다.
• 한계점:
  • 탐색: 에이전트들은 현재 퀘스트와 즉각적으로 연결되지 않은 중간 자원을 수집하지 못하는 근시안적 전략을 보였습니다.
    고립된 국소 최적점(local minima)에 빠져 반복적인 행동 루프에 빠지거나, 컨텍스트에 교정 피드백이 존재함에도 불구하고 오류에서 회복하지 못하는 경우가 빈번했습니다.
  • 기술 학습: 에이전트들은 노트 필기를 통한 절차적 기술 습득에 어려움을 겪었으며, 결정론적인 적 패턴에 적응하는 데 실패했습니다.
  • 장기 호라이즌 계획: 에이전트들은 하위 목표를 완료한 후 주요 목표를 놓치는 경우가 많았습니다.
  • 비용: Long Context 에이전트는 이차 함수적으로 증가하는 토큰 비용을 발생시켜, 예산 제약 하에서 유의미한 호라이즌을 제한했습니다.

실험 2: 테스트 시간 학습에 대한 메커니즘의 효과

학습 역학을 테스트하기 위한 단순화된 환경에서:

• 단기 기억(Short-Term Memory, STM): 단기 기억 버퍼(최근 단계들의 고정 크기 컨텍스트)의 추가는 RAG 및 SFT 에이전트 모두에서 일관되게 성능을 향상시켰습니다.
• SFT 성능: STM으로 보강된 SFT 에이전트는 일반적인 STM 에이전트보다 우수한 성능을 보였으며, 이는 파라미터 업데이트가 효과적인 장기 기억의 형태로서 기능함을 시사합니다.
• 파괴적 망각(Catastrophic Forgetting): SFT 에이전트는 학습 후 세계 지식 QA 정확도와 에피소드 기억 QA가 감소하는 모습을 보였는데, 이는 파인튜닝으로 인해 일반적인 언어 능력을 상실했음을 나타냅니다.
• 성찰/요약(Reflection/Summarization): 이러한 메커니즘은 추론 중심 모델의 성능을 개선하지 못했는데, 이는 해당 모델들이 이미 이러한 기능을 암묵적으로 수행하고 있음을 시사합니다.

의의 및 주장

본 논문은 AGENTODYSSEY가 리셋되지 않는 장기 호라이즌 환경에서 테스트 시간 연속 학습 에이전트를 체계적으로 평가하는 최초의 프레임워크라고 주장합니다. 그 의의는 다음과 같습니다:

1. 격차 해소: 정적인 추론 평가를 넘어, 배포 중 지속적으로 학습해야 하는 에이전트를 평가하는 단계로 나아갑니다.
2. 진단적 깊이: 단순히 과업 완수를 넘어, 특정 인지적 실패(예: 메모리 환각 vs 계획 실패)를 격리할 수 있는 도구를 제공합니다.
3. 병목 현상 식별: 더 강력한 베이스 모델이 성능을 높이기는 하지만, 현재의 에이전트들은 에피소드 기억 유지, 절차적 기술 습득, 그리고 효율적인 장기 호라이즌 계획을 위한 견고한 메커니즘이 부족함을 밝혀냈습니다.
4. 메모리의 중요성: 파라미터 업데이트를 수행하는 에이전트에게도 단기 기억이 효과적인 테스트 시간 학습을 위한 핵심적이고 종종 간과되는 요소임을 강조합니다.

저자들은 특히 과도한 계산 비용을 들이지 않으면서도 지속적인 메모리와 확장 가능한 테스트 시간 학습을 지원하는 아키텍처를 개발하는 데 있어 여전히 상당한 개선의 여지가 있다고 결론짓습니다.