Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

1. 문제 정의 (Problem Definition)

• 배경: 장기적 상호작용 환경 (예: 복잡한 게임) 은 에이전트의 기술 사용 능력을 평가하는 중요한 테스트베드입니다. 이러한 환경은 지연된 보상 (delayed rewards), 부분 관측 가능성, 그리고 많은 시간 단계에 걸친 다중 단계 추론과 기술 연쇄를 요구합니다.
• 현황 및 한계: 대규모 언어 모델 (LLM) 은 게임 플레이 에이전트로서 유망하지만, 구조화된 기술을 발견, 유지, 재사용하는 메커니즘이 부족하여 일관된 장기적 의사결정 (Long-horizon decision-making) 에 어려움을 겪습니다. 기존 접근법은 종종 인간이 수동으로 큐레이션한 데이터에 의존하거나, 외부 피드백을 통한 장기간의 훈련이 필요했습니다.
• 핵심 질문:
  1. 기술 은행 (Skill Bank) 과 의사결정 에이전트 (Decision Agent) 를 별도로 학습하는 대신 공동 학습 (Joint Learning) 시켜야 하는가?
  2. 의사결정 능력을 향상시키는 데 유용한 기술 은행의 속성은 무엇인가?

2. 제안 방법론: COS-PLAY (Methodology)

저자들은 COS-PLAY라는 새로운 공진화 (Co-evolution) 프레임워크를 제안합니다. 이는 LLM 기반 의사결정 에이전트와 에이전트 관리형 기술 파이프라인이 상호 의존적으로 진화하는 구조입니다.

A. 주요 구성 요소

1. 의사결정 에이전트 (Decision Agent):

   • 환경과 상호작용하며 트래젝토리를 수집합니다.
   • 현재 상태와 의도 (Intention) 를 기반으로 **기술 은행 (Skill Bank)**에서 관련 기술을 검색하고 선택합니다.
   • 선택된 기술의 계약 (Contract) 과 계획 (Plan) 에 따라 원시 행동 (Primitive Actions) 을 실행합니다.
   • 학습: 그룹 상대적 정책 최적화 (GRPO) 를 사용하여 기술 검색 및 행동 실행 능력을 향상시킵니다.

2. 기술 은행 에이전트 (Skill Bank Agent):

   • 라벨이 지정되지 않은 에이전트의 롤아웃 (Rollout) 데이터에서 재사용 가능한 기술을 자동으로 발견합니다.
   • 4 단계 파이프라인:
     1. 경계 제안 (Boundary Proposal): 트래젝토리 내 기술 전환 지점 (Transition points) 을 탐지합니다.
     2. 분할 추론 (Infer Segmentation): 후보 경계를 기반으로 트래젝토리를 기술 세그먼트로 분할하고 기존 기술과 매칭하거나 새로운 기술을 식별합니다.
     3. 계약 학습 (Contract Learning): 각 기술의 효과 (State changes) 를 요약한 '계약 (Contract)'을 학습하고 검증합니다.
     4. 은행 유지 관리 (Maintenance): 기술의 정제 (Refine), 병합 (Merge), 분할 (Split), 은퇴 (Retire) 를 수행하여 기술 은행을 최적화합니다.

B. 공진화 루프 (Co-Evolution Loop)

• 폐쇄 루프 구조: 의사결정 에이전트가 기술을 활용하여 더 나은 트래젝토리를 생성하면, 기술 은행 에이전트가 이를 분석하여 더 나은 기술을 추출하고 은행을 업데이트합니다. 업데이트된 기술 은행은 다시 의사결정 에이전트의 성능을 향상시킵니다.
• 최적화: 두 에이전트 모두 **GRPO (Group Relative Policy Optimization)**와 LoRA (Low-Rank Adaptation) 어댑터를 사용하여 효율적으로 학습됩니다. 의사결정 에이전트에는 '행동 수행'과 '기술 검색'용 어댑터가, 기술 은행 에이전트에는 '분할', '계약 학습', '은행 관리'용 어댑터가 각각 할당되어 기능 간 간섭을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 의사결정과 기술 학습의 폐쇄 루프 구축: LLM 기반 의사결정 에이전트와 기술 은행 에이전트가 상호작용하며 장기적 게임 플레이를 위해 재사용 가능한 기술을 자동으로 추출, 정제, 재사용하는 최초의 통합 공진화 프레임워크 중 하나입니다.
2. 광범위한 평가 및 성능 증명: 6 가지 게임 환경 (단일 플레이어 퍼즐/액션, 다중 플레이어 사회적 추론 게임) 에서 포괄적인 평가를 수행했습니다.
3. 효율성과 적응성: 8B 파라미터 규모의 작은 모델 (Qwen3-8B) 을 기반으로 하여, 소량의 퓨샷 (Few-shot) 적응만으로도 최첨단 (Frontier) LLM 들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 테스트 환경: 2048, Candy Crush, Tetris, Super Mario Bros (단일 플레이어) 와 Avalon, Diplomacy (다중 플레이어 사회적 추론).
• 성능 비교:
  • 단일 플레이어 게임: GPT-5.4, Gemini-3.1-Pro, Claude-4.6 등 4 가지 최첨단 LLM 베이스라인 대비 평균 25.1% 이상의 보상 향상을 기록했습니다.
  • 다중 플레이어 게임 (사회적 추론): Avalon 과 Diplomacy 에서 SOTA LLM 들과 경쟁력 있는 성능을 보였습니다. 특히 Diplomacy 에서 Gemini-3.1-Pro 대비 8.8% 더 높은 공급 센터 (Supply Centers) 점유율을 기록했습니다.
• 데이터 효율성: 기존 RL 기반 에이전트들이 수백 단계의 훈련이 필요한 반면, COS-PLAY 는 각 게임당 최대 25 번의 반복 (Iteration) 만으로 강력한 성능에 도달했습니다.
• 일반화 능력: 게임 환경에서의 학습이 모델의 일반적 추론 능력 (Math-500, MMLU-Pro) 을 크게 저하시키지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조화된 상태 추적의 중요성: COS-PLAY 는 단순한 메모리 확장을 넘어, **재사용 가능한 기술 (Reusable Skills)**과 **계약 (Contracts)**을 통해 장기적 작업에서 일관된 행동을 유도합니다. 이는 특히 긴 문맥 이해와 다단계 일관성이 필요한 사회적 추론 게임에서 강력한 귀납적 편향 (Inductive Bias) 으로 작용합니다.
• 자동화된 기술 발견: 인간이 수동으로 기술을 정의하거나 라벨링할 필요 없이, 에이전트의 무작위 탐색 (Unlabeled Rollouts) 에서 자동으로 구조화된 기술을 추출하고 진화시킵니다.
• 미래 방향: 현재 텍스트 기반 상태 요약에 의존하고 있으나, 향후 멀티모달 (시각적) 환경으로 확장하여 시각적 추론과 상호작용 역학을 함께 학습하는 것이 중요한 연구 과제로 제시되었습니다.

결론적으로, COS-PLAY 는 LLM 에이전트가 장기적 복잡한 작업을 수행할 때 겪는 일관성 부족 문제를 해결하기 위해, 의사결정 에이전트와 기술 은행이 서로를 보완하며 진화하는 새로운 패러다임을 제시하며, 작은 모델로도 최첨단 모델에 필적하거나 능가하는 성능을 달성할 수 있음을 입증했습니다.