MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games

본 논문은 다중 에이전트 LLM 게임의 불안정성과 성능 저하를 해결하기 위해, 자기대결을 통해 구조화된 통찰력을 기억하고 불확실성을 고려한 탐색을 결합한 'MEMO' 프레임워크를 제안하여 다양한 텍스트 기반 게임에서 승률을 크게 향상시키고 결과의 변동성을 줄이는 효과를 입증했습니다.

핵심

🎮 배경: 왜 게임에서 인공지능은 자주 망칠까요?

상상해 보세요. 두 명의 AI 가 장기나 포커를 치고 있습니다.

• 문제점: AI 는 한 번 실수하면 그 실수가 다음 차례, 그다음 차례로 이어지면서 점점 커집니다. 마치 눈덩이처럼 말이죠.
• 불안정성: 같은 AI 가 같은 게임을 두 번 해도, 첫 번째 말실수 하나 때문에 결과가 완전히 달라질 수 있습니다. 그래서 "이 AI 가 진짜로 강한가?"를 판단하기 매우 어렵습니다.
• 기존 방법의 한계:
  • 기존 프롬프트 (지시문): "너는 장기 천재야!"라고 말해주는 것만으로는 부족합니다. 실수한 순간을 기억하지 못해서 같은 실수를 반복합니다.
  • 강화학습 (RL): AI 의 뇌 (모델 가중치) 를 직접 고치는 방법인데, 마치 수만 번의 게임을 해보며 시행착오를 겪는 것과 같습니다. 시간이 너무 많이 걸리고 비용이 많이 듭니다.

---

💡 MEMO 의 해결책: "기억력 좋은 게임 코치"

저자들은 AI 의 뇌를 고치는 대신, **AI 가 가지고 있는 '게임 노트 (메모)'**를 똑똑하게 관리하는 시스템을 만들었습니다. 이를 MEMO라고 부릅니다.

이 시스템은 크게 두 가지 핵심 기능을 합니다:

1. 🧠 기억고 (Memory Bank): "실패와 성공을 정리해 두자"

• 비유: 한 번 게임을 끝내면, "어디서 실수했지?", "어떤 수가 좋았지?"를 정리해서 공부 노트에 적어둡니다.
• 작동 원리:
  • 추가 (Add): 새로운 전략을 발견하면 노트에 적습니다.
  • 수정 (Edit): 기존 노트와 비슷한 내용이 있으면 더 좋은 내용으로 업데이트합니다.
  • 삭제 (Remove): 서로 모순되거나 틀린 정보는 지워버려서 혼란을 방지합니다.
• 효과: 다음 게임을 할 때, 이 노트를 펼쳐보고 "아, 전에 여기서 실수했었지, 이번엔 조심해야지"라고 미리 대비할 수 있습니다.

2. 🏆 토너먼트와 리플레이 (Exploration & Replay): "다양한 시뮬레이션"

• 토너먼트: 다양한 버전의 AI(다른 말투나 전략을 가진 AI) 를 모아 토너먼트를 엽니다. 여기서 이긴 전략만 뽑아냅니다.
• 리플레이 (중요!): 게임 중 드물게 발생하지만 결정적인 순간 (예: 포커에서 카드를 숨기고 bluff 하는 순간) 을 다시 찾아서 연습합니다.
  • 비유: 축구 코치가 "평소엔 안 쓰지만, 결정적인 순간에 골을 넣는 플레이"를 특별히 반복해서 연습시키는 것과 같습니다.

---

🚀 MEMO 가 가져온 놀라운 변화

이 방법을 적용하자 놀라운 결과가 나왔습니다.

1. 승률 대폭 상승:

   • GPT-4o-mini 같은 모델은 게임에서 이기는 비율이 약 25% 에서 50% 로 두 배 가까이 늘었습니다.
   • 이는 AI 의 뇌를 고치지 않고, 단순히 '기억 노트'와 '전략'만 잘 정리해서 얻은 결과입니다.

2. 비용 절감 (효율성):

   • 기존 강화학습 (RL) 방식은 승률을 높이기 위해 38,000 번의 게임을 해야 했습니다.
   • 하지만 MEMO 는 2,000 번의 게임만으로도 같은, 혹은 더 좋은 성적을 냈습니다. (약 19 배 효율적!)

3. 안정성:

   • 같은 AI 가 게임을 해도 결과가 들쭉날쭉하지 않고, 매번 일정한 실력을 발휘하게 되었습니다.

---

🌟 핵심 교훈: "지능보다 경험의 재사용이 중요하다"

이 논문의 가장 큰 메시지는 다음과 같습니다.

"인공지능이 게임을 잘하게 하려면, 매번 처음부터 다시 배우지 않아도 됩니다. 이전 게임에서 얻은 교훈을 '기억'으로 저장해 두고, 다음 게임에 바로 적용하는 것이 훨씬 빠르고 강력합니다."

마치 바둑 기사가 수만 번의 기보 (게임 기록) 를 공부하며 자신의 '바둑 감각'을 키우는 것과 같습니다. MEMO 는 AI 가 스스로 기보를 분석하고, 중요한 수를 노트에 적어두게 하여, 더 적은 노력으로 더 높은 실력을 달성하게 해줍니다.

한 줄 요약:

MEMO 는 AI 가 게임을 할 때 "실수하지 않는 노트"를 만들고, "중요한 순간을 다시 연습"하게 하여, 적은 비용으로 최고의 실력을 내게 해주는 똑똑한 코치입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 을 활용한 멀티 턴 (multi-turn) 및 멀티 에이전트 (multi-agent) 게임 평가는 본질적으로 불안정성 (instability) 과 재현성 부족이라는 심각한 문제에 직면해 있습니다.

• 오류의 누적 (Compounding Deviations): 멀티 턴 상호작용에서 초기의 작은 편차나 오답이 다음 턴의 입력으로 전달되며 증폭됩니다. 특히 멀티 에이전트 환경에서는 한 에이전트의 일관성 없는 응답이 상대방의 최적 대응을 교란시켜 전체 게임 경로를 왜곡시킵니다.
• 프롬프트 민감도 (Prompt Sensitivity): 동일한 모델이라도 프롬프트의 미세한 표현 차이만으로도 유효한 정책 (effective policy) 이 달라지고, 모델 간 순위 (ranking) 가 뒤바뀌는 현상이 발생합니다. 이는 일회성 평가 결과의 신뢰성을 떨어뜨립니다.
• 기존 방법의 한계:
  • 고정 프롬프트 (CoT, ToT 등): 상호작용 중 발생하는 실패 패턴이나 전략적 통찰에 적응하지 못합니다.
  • 기존 프롬프트 최적화 (TextGrad, MIPRO 등): 주로 정적 태스크에 맞춰 설계되었으며, 지속 가능한 기억 (persistent memory) 이 없어 라운드 간 통찰이 유실됩니다.
  • 강화학습 (RL): 모델 가중치를 업데이트해야 하며, 수렴을 위해 방대한 샘플 (게임 수) 이 필요해 비효율적입니다.

2. 방법론: MEMO 프레임워크 (Methodology)

저자들은 모델 가중치 업데이트 없이 추론 시 컨텍스트 (inference-time context) 만을 최적화하는 MEMO (Memory-augmented Model context optimization) 를 제안합니다. 이는 '탐색 (Exploration)'과 '유지 (Retention)'를 결합한 자기 플레이 (self-play) 프레임워크입니다.

핵심 구성 요소

1. 토너먼트 기반 컨텍스트 최적화 (Tournament-Based Context Optimization):

   • 다양한 프롬프트 후보군 (Population) 을 유지하며, 각 후보가 게임에서 승리하는지 평가합니다.
   • 단순 승률 대신 TRUESKILL (베이지안 기술 등급 시스템) 을 사용하여 불확실성 (uncertainty) 을 고려한 점수를 매깁니다. 이는 우연한 승리를 배제하고 일관된 성능을 보이는 프롬프트를 선별합니다.

2. 지속적 기억 은행 (Persistent Memory Bank - Retention):

   • 핵심 혁신: 이전 세대의 자기 플레이 궤적 (trajectories) 에서 구조화된 통찰 (insights) 을 추출하여 기억 은행에 저장합니다.
   • CRUD 연산: 새로운 통찰이 기존 기억과 충돌하면 제거 (Remove), 유사하면 수정/일반화 (Edit), 새로운 경우 추가 (Add) 하는 데이터베이스 스타일의 연산을 통해 기억을 정제합니다.
   • 선형적 학습: 기억 은행은 세대를 거치며 축적되어, 에이전트가 과거의 실수와 성공 사례를 재사용할 수 있게 합니다.

3. 우선순위 리플레이 (Prioritized Replay - Exploration):

   • 희귀하거나 결정적인 게임 상태 (rare and decisive states) 를 재방문하기 위해 리플레이 버퍼를 사용합니다.
   • 역빈도 우선순위 (Inverse-frequency priority): 자주 발생하지 않는 게임 전조 (prefix) 에 높은 가중치를 주어, 에이전트가 다양한 시나리오를 경험하도록 유도합니다.

4. 작동 프로세스:

   • 각 최적화 세대 (generation) 에서, 기억 은행에서 추출된 통찰을 일부 에이전트의 컨텍스트에 주입합니다.
   • 토너먼트를 통해 성능을 평가하고, TRUESKILL 점수가 높은 컨텍스트를 선택합니다.
   • 선택된 컨텍스트와 기억 은행의 통찰을 바탕으로 새로운 프롬프트를 생성 (랜덤 제안 + 기억 기반 수정) 하여 다음 세대로 이어갑니다.

3. 주요 기여 (Key Contributions)

1. 멀티 턴 멀티 에이전트 게임의 컨텍스트 민감성 규명: 작은 프롬프트 변화가 모델 순위와 전략을 어떻게 왜곡시키는지 실증적으로 보여주었습니다.
2. 반성, 기억, 리플레이의 통합 프레임워크: 단순한 프롬프트 수정을 넘어, 구조화된 반성 (reflection) 과 지속적 기억을 통해 에이전트가 라운드 간 지식을 축적하고 재사용할 수 있는 메커니즘을 제시했습니다.
3. 효율성과 안정성의 동시 달성: RL 기반 방법보다 훨씬 적은 상호작용 (게임 수) 으로 더 높은 승률을 달성하면서도, 실행 간 변동성 (run-to-run variance) 을 획기적으로 줄였습니다.

4. 실험 결과 (Results)

다양한 텍스트 기반 게임 (SimpleNegotiation, Kuhn Poker, Briscola 등) 에서 GPT-4o-mini 와 Qwen-2.5-7B-Instruct 모델을 사용하여 평가했습니다.

• 성능 향상:
  • GPT-4o-mini: 평균 승률이 25.1% → 49.5% 로 상승.
  • Qwen-2.5-7B-Instruct: 평균 승률이 20.9% → 44.3% 로 상승.
  • 특히 협상 (Negotiation) 과 불완전 정보 게임 (Imperfect Information) 에서 가장 큰 개선을 보였습니다.
• 샘플 효율성 (Sample Efficiency):
  • MEMO 는 각 태스크당 2,000 회의 자기 플레이 게임으로 최적화를 완료했습니다.
  • 기존 RL 기반 방법 (UnstableBaseline 등) 이 약 38,000 회의 게임이 필요한 것과 비교해 19 배 더 적은 데이터로 동등하거나 더 나은 성능을 달성했습니다.
• 안정성 (Stability):
  • 실행 간 변동성 (Relative Standard Error, RSE) 이 43.3% 에서 6.4% 로 감소하여, 프롬프트 변경에 따른 순위 불안정성을 크게 해소했습니다.
• 전환 능력 (Generalization):
  • 한 게임에서 학습된 컨텍스트와 기억 은행이 다른 게임 (Zero-shot) 으로 전이될 때에도 성능 향상을 보였습니다.
  • 특히 모델 아키텍처가 다른 모델 (예: GPT-4o-mini 에서 학습된 컨텍스트를 Grok-4 나 Gemini 에 적용) 에게도 유용하게 작용했으나, 이미 강력한 전략을 가진 모델에게는 역효과가 발생할 수도 있음을 발견했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티 에이전트 LLM 게임 평가의 핵심 병목인 불안정성과 비효율성을 해결하는 새로운 패러다임을 제시합니다.

• 가중치 업데이트 불필요: 모델을 재학습 (Fine-tuning) 시키지 않고, 컨텍스트 최적화만으로도 복잡한 전략적 상호작용 능력을 획기적으로 향상시킬 수 있음을 증명했습니다.
• 지속적 학습의 중요성: 단순한 프롬프트 엔지니어링이나 일회성 최적화를 넘어, 지속적인 기억 (Memory) 을 통해 에이전트가 과거 경험을 축적하고 정제하는 과정이 멀티 턴 게임 성능의 핵심임을 입증했습니다.
• 실용적 가치: RL 의 높은 계산 비용 없이도 안정적이고 강력한 에이전트를 구축할 수 있어, 실제 세계의 협상, 전략 게임, 복잡한 의사결정 시나리오에 LLM 에이전트를 적용하는 데 중요한 기반을 제공합니다.

결론적으로, MEMO 는 "컨텍스트 최적화"가 멀티 에이전트 시스템의 성능과 견고성을 높이는 강력한 도구임을 보여주며, 향후 LLM 기반 에이전트 평가 및 개발의 새로운 표준을 제시합니다.