1. 문제 정의 (Problem Definition)

현재의 AI 에이전트 시스템은 배포 시 고정된 정책 (fixed policy) 을 가지고 있어, 새로운 환경이나 작업에서 실시간 (Test-Time) 으로 복잡한 기술을 학습하고 적응하는 능력이 부족합니다. 이는 에이전트를 "재주는 많지만 상황 파악을 못하는 인턴 (clever but clueless interns)"과 같게 만들어, 동적 환경에서의 실용성을 제한합니다.

기존의 적응 방법들은 다음과 같은 한계를 가집니다:

• 반성 (Reflection) 및 메모리 기반 방법: 과거 실패를 요약하여 프롬프트에 추가하거나 정보를 기억하게 하지만, 에이전트의 핵심 의사결정 로직이나 도구 사용 방식을 근본적으로 수정하지는 못합니다.
• 온라인 강화학습 (RL) 및 미세조정 (Fine-tuning): 희소한 보상 (sparse rewards) 환경에서 그라디언트 업데이트가 비효율적이며, 데이터 부족으로 인해 학습이 어렵고 계산 비용이 매우 높습니다.
• 정적 에이전트: 학습 메커니즘이 없어 동일한 실수를 반복합니다.

이러한 문제를 해결하기 위해, 저자들은 에이전트가 동일한 복잡한 작업 (게임) 을 여러 번 반복하며 이전 경험만으로 점수를 점진적으로 향상시키는 능력을 측정하고 개선하는 것을 목표로 합니다.

2. 제안된 방법론 (Methodology)

저자들은 두 가지 주요 기여를 통해 이 문제를 해결합니다: **새로운 벤치마크 (J-TTL)**와 새로운 학습 프레임워크 (EvoTest).

A. Jericho Test-Time Learning (J-TTL) 벤치마크

• 목적: 에이전트의 실시간 학습 능력을 체계적으로 측정하기 위해 설계되었습니다.
• 환경: 텍스트 기반 어드벤처 게임 (Jericho suite: Detective, Library, Zork 등) 을 사용합니다.
• 과제: 에이전트는 동일한 게임을 여러 에피소드 (episodes) 에 걸쳐 반복 플레이하며, 각 에피소드 종료 후 내부 학습 과정을 통해 다음 에피소드의 성능을 향상시켜야 합니다.
• 특징: 복잡한 퍼즐, 긴 범위의 계획, 희소한 보상, 되돌릴 수 없는 결과 (irreversible consequences) 를 포함하여 기존 적응 방법들의 한계를 명확히 드러냅니다.

B. EvoTest 프레임워크 (Evolutionary Test-Time Learning)

EvoTest 는 그라디언트 (gradient) 나 모델 가중치 미세조정 없이, 에이전트 시스템 전체를 진화 (evolution) 시킴으로써 실시간 학습을 수행합니다. 이는 두 개의 에이전트 역할로 구성됩니다.

1. 액터 에이전트 (Actor Agent):

   • 현재 설정된 구성 (Configuration) 을 기반으로 게임을 플레이합니다.
   • 고정된 LLM 백본을 사용하며, 메모리, 프롬프트, 하이퍼파라미터, 도구 사용 루틴에 따라 행동합니다.

2. 이볼버 에이전트 (Evolver Agent):

   • 액터가 플레이한 에피소드의 전체 트랜스크립트 (기록) 를 분석합니다.
   • **전체 시스템 진화 (Whole-system evolution)**를 수행하여 다음 에피소드를 위한 새로운 구성을 제안합니다. 구체적으로 다음 4 가지를 최적화합니다:
     • 프롬프트 재작성 (Prompt Rewriting): 성공적인 전략을 포함하거나 실패 패턴을 방지하는 새로운 지침을 프롬프트에 추가합니다.
     • 메모리 업데이트 (Memory Update): 성공적인 상태 - 행동 쌍 (State-Action Pairs) 과 실패 패턴을 구조화된 데이터베이스에 기록하여 에이전트가 과거 경험을 참조하도록 합니다.
     • 하이퍼파라미터 튜닝 (Hyperparameter Tuning): 탐색 (exploration) 과 활용 (exploitation) 의 균형을 위해 온도 (temperature) 등 의사결정 매개변수를 조정합니다.
     • 도구 사용 루틴 정제 (Tool-Use Refinement): 메모리 조회 로직이나 상태 추상화 (state abstraction) 코드를 수정하여 효율성을 높입니다.

3. UCB 기반 선택 (Configuration Selection via UCB):

   • 생성된 여러 자식 구성 (child configurations) 중 다음 에피소드에 사용할 구성을 선택할 때, Upper Confidence Bound (UCB) 알고리즘을 사용합니다.
   • 이는 과거의 좋은 성능 (Exploitation) 과 새로운 가능성 (Exploration) 사이의 균형을 유지하며, 우연히 높은 점수를 받은 나쁜 구성에 갇히는 것을 방지하고 학습의 안정성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. J-TTL 벤치마크 제안: 텍스트 어드벤처 게임을 기반으로 한 실시간 에이전트 학습 능력을 측정하는 표준 평가 프레임워크를 처음 도입했습니다.
2. EvoTest 알고리즘: 그라디언트 없이 에이전트의 정책, 메모리, 도구 사용, 하이퍼파라미터를 통합적으로 진화시키는 새로운 학습 알고리즘을 제안했습니다.
3. State-of-the-Art 성능: 기존 방법론들 (반성, 메모리, 프롬프트 최적화, 온라인 미세조정) 을 모두 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

J-TTL 벤치마크 (6 가지 게임, 2 가지 백본 LLM) 에서 수행된 실험 결과는 다음과 같습니다.

• 성능 우위: EvoTest 는 모든 게임에서 가장 높은 AUC (곡선 아래 면적) 점수를 기록했습니다.
  • 기존 최강의 프롬프트 진화 기반 방법 (EvoPrompt) 대비 38%, 온라인 RL (GRPO) 대비 57% 향상된 성능을 보였습니다.
  • 특히 'Detective'와 'Library' 게임에서는 EvoTest 만이 승리 (Win) 할 수 있었으며, 모든 베이스라인은 승리하지 못했습니다.
• 학습 곡선: EvoTest 는 에피소드가 진행됨에 따라 점수가 급격하고 안정적으로 상승하는 학습 곡선을 보여주었습니다. 반면, Static 에이전트는 평탄한 곡선을, 다른 학습 방법들은 느리거나 불안정한 향상을 보였습니다.
• 효율성:
  • 데이터 효율성: 희소한 보상 신호에 의존하는 RL 과 달리, EvoTest 는 전체 에피소드 트랜스크립트라는 풍부한 서술적 피드백을 활용하여 단일 경험에서도 효과적으로 학습합니다.
  • 계산 비용: 온라인 미세조정 (SFT/GRPO) 은 GPU 클러스터와 510 분의 시간이 소요되는 반면, EvoTest 는 API 호출 한 번 (2030 초) 으로 학습을 완료하여 테스트 타임 학습에 훨씬 실용적입니다.
• 구성 요소 분석 (Ablation Study): 프롬프트 진화, 메모리, UCB 선택, 하이퍼파라미터 튜닝 등 모든 구성 요소가 성능에 기여하며, 특히 UCB 를 제거할 경우 학습이 불안정해지는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 AI 에이전트가 배포 후에도 스스로 학습하고 진화할 수 있는 새로운 패러다임을 제시합니다.

• 그라디언트 없는 학습의 가능성: 모델 가중치를 변경하지 않고도, 에이전트의 구성 (프롬프트, 메모리, 전략) 을 진화시킴으로써 복잡한 작업에서 인간과 유사한 '실시간 학습' 능력을 달성할 수 있음을 증명했습니다.
• 데이터 효율성: 희소한 보상 환경에서도 서술적 피드백 (narrative feedback) 을 통한 신용 부여 (credit assignment) 가 가능하여, 기존 RL 의 비효율성을 극복했습니다.
• 자율 에이전트의 발전: 동적 환경에서 스스로 실수를 교정하고 전략을 수정하는 진정한 자율 에이전트 구축을 위한 중요한 디딤돌이 되었습니다.

결론적으로, EvoTest 는 복잡한 작업에서 에이전트의 적응 능력을 획기적으로 향상시키는 강력한 프레임워크이며, 향후 더 긴 시간 범위의 작업 (long-horizon tasks) 으로 확장될 잠재력을 가지고 있습니다.