Parallelized Planning-Acting for Efficient LLM-based Multi-Agent Systems in Minecraft

이 논문은 Minecraft 와 같은 동적 환경에서 실시간 대응 능력을 향상시키기 위해, 중앙 집중식 메모리 기반의 계획 스레드와 기술 라이브러리를 활용한 행동 스레드로 구성된 병렬 계획 - 실행 프레임워크를 제안합니다.

핵심

🍳 기존 방식: "생각하고 나서야 움직이는 요리사" (기존의 병렬화되지 않은 방식)

기존의 AI 시스템은 마치 매우 꼼꼼하지만 느린 요리사와 같습니다.

1. 요리사가 "오늘 저녁 메뉴를 뭐로 할까?"라고 생각 (계획) 합니다.
2. 메뉴를 결정하고 재료를 사러 가는 방법을 구상합니다.
3. 그리고 나서야 비로소 손발을 움직여 재료를 자르고 요리합니다 (행동).
4. 다음 요리를 하려면 다시 멈춰서 "다음엔 뭐지?"라고 생각해야 합니다.

문제점:

• 시간 낭비: 생각 (계획) 하는 동안은 아무것도 하지 못합니다.
• 유연성 부족: 요리사가 "고기 굽는 중"이라고 생각할 때, 갑자기 불이 났거나 손님이 급하게 와도 멈추고 다시 생각해야 하므로 대응이 느립니다.
• 마인크래프트 상황: 몬스터가 갑자기 나타나도, AI 가 "공격할지 도망갈지" 생각하는 동안 이미 죽을 수 있습니다.

---

🚀 이 논문이 제안한 방식: "생각과 행동을 동시에 하는 '쌍둥이' 팀" (병렬화 계획 - 행동 프레임워크)

이 연구팀은 AI 에이전트에게 **두 명의 '내부 직원'**을 배치했습니다. 마치 비행기 조종사가 한 명은 비행기를 조종 (행동) 하고, 다른 한 명은 항법 장비를 보며 다음 경로를 계산 (계획) 하는 것과 같습니다.

1. 두 개의 핵심 역할 (스레드)

• 🧠 계획 팀 (Planning Thread):

  • 역할: "지금 상황은 어때? 팀원들은 뭐라고 말하고 있어? 다음에 뭐 해야지?"를 끊임없이 고민합니다.
  • 특징: 이 팀은 중심 기억 시스템을 공유합니다. 모든 팀원의 눈과 귀를 하나로 묶어, "나 지금 피가 10% 남았어!", "저기 드래곤이 나타났다!" 같은 정보를 실시간으로 공유합니다.
  • 중단 기능: 만약 계획 팀이 "아! 지금 계획은 위험해! 멈춰!"라고 생각하면, 행동 팀에게 즉시 신호를 보냅니다.

• 🏃 행동 팀 (Acting Thread):

  • 역할: 계획 팀이 준 지시를 받아 즉시 실행합니다. 도끼를 들고 나무를 찍거나, 몬스터와 싸우는 등 실제 작업을 합니다.
  • 특징: 이 팀은 거대한 기술 도서관을 가지고 있습니다. "다이아몬드 갑옷 만들기"라는 복잡한 지시도, "철을 캐고, 용광로에 넣고, 대장장이에게 가져가서..."라는 작은 단계들을 자동으로 쪼개서 처리해 줍니다.
  • 즉각 대응: 계획 팀이 "멈춰!" 신호를 보내면, 행동 팀은 지금 하고 있던 일을 중단하고 새로운 지시를 바로 따릅니다.

2. 왜 이것이 혁신적인가요? (비유)

• 기존 방식: 요리사가 "소스 만들 생각"을 하는 동안, 손님이 "소스 빨리 주세요!"라고 외쳐도 들을 수 없습니다.
• 새로운 방식: 요리사 한 명은 소스를 만들고 (행동), 다른 한 명은 "아, 소스가 부족하면 양파를 더 볶아야겠다"라고 생각 (계획) 합니다. 손님이 "소스 빨리!"라고 외치면, 생각하던 요리사가 "오케이, 지금 당장 소스 만들기 중단하고 양파 볶기 시작!"이라고 지시하고, 행동하는 요리사는 즉시 멈추고 양파를 볶습니다.

✨ 이 방식이 가져온 변화

1. 실시간 대응: 마인크래프트에서 몬스터가 갑자기 나타나면, AI 가 "공격할까?"라고 생각하다가 행동하는 게 아니라, 공격하면서 동시에 "다음엔 약을 먹어야겠다"라고 생각할 수 있습니다.
2. 팀워크 향상: 한 팀원이 위험에 처하면, 다른 팀원들이 그 정보를 실시간으로 공유하고 즉시 도와줍니다. (예: "나 피가 적어!" -> "내가 약 가져갈게!")
3. 효율성: 복잡한 작업 (예: 드래곤 잡기) 을 할 때, 한 번에 모든 것을 계획할 필요 없이, 작은 단계들을 자동으로 처리하면서 큰 그림을 그려나갈 수 있어 훨씬 빠릅니다.

📊 결론

이 논문은 **"생각과 행동을 분리해서 동시에 진행하는 시스템"**을 만들어, AI 가 마인크래프트 같은 역동적인 환경에서도 인간처럼 빠르고 유연하게 움직일 수 있게 했습니다.

기존의 AI 가 "생각하는 로봇"이었다면, 이 새로운 AI 는 **"생각하면서 동시에 행동하는 현명한 팀원"**이 된 것입니다. 덕분에 복잡한 Boss(보스) 를 잡거나, 팀원들과 협력하여 어려운 미션을 수행하는 능력이 비약적으로 향상되었습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 대규모 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 복잡한 의사결정 과제를 수행하는 데 탁월한 잠재력을 보이지만, 직렬 실행 (Serialized Execution) 패러다임에 의존한다는 근본적인 한계가 있습니다.

• 직렬 실행의 병목 현상: 에이전트가 다음 행동을 취하기 전에 LLM 의 계획 (Planning) 을 완료해야만 합니다. 이는 동적 환경 (예: 마인크래프트) 에서 실시간 대응과 적응을 심각하게 저해합니다.
• 환경 변화에 대한 취약성: 다른 에이전트의 행동이나 환경의 급변하는 상황 (예: 적의 공격, 자원 소모) 이 발생하더라도, 현재 계획 중인 에이전트는 이를 즉시 반영하지 못하고 기존 행동을 완료할 때까지 기다려야 합니다.
• 재계획 (Replanning) 의 부재: 기존 프레임워크는 행동을 중단하고 재계획하는 기능이 제한적이어서, 예측 불가능한 긴급 상황에 대응하는 능력이 떨어집니다.
• 메모리 공유 지연: 많은 시스템에서 행동이 완전히 완료된 후에만 메모리가 업데이트되므로, 에이전트 간 정보 공유가 지연되어 비효율적인 협력이 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 마인크래프트와 같은 동적 환경에서 실시간 상호작용을 가능하게 하는 병렬 계획 - 실행 (Parallelized Planning-Acting) 프레임워크를 제안합니다. 이 프레임워크는 중단 가능한 실행 (Interruptible Execution) 을 지원하는 이중 스레드 (Dual-Thread) 아키텍처를 핵심으로 합니다.

2.1 이중 스레드 아키텍처

에이전트의 계획 (Planning) 과 행동 (Acting) 을 분리하여 비동기적으로 동시에 수행합니다.

• 계획 스레드 (Planning Thread):
  • 중앙 집중식 메모리 시스템을 기반으로 환경 상태, 팀 채팅 로그, 현재 행동을 실시간으로 모니터링합니다.
  • LLM 을 통해 새로운 행동 제안과 중단 플래그 (Interruption Flag) 를 생성합니다.
  • 새로운 행동이 더 시급하거나 현재 행동이 무의미하다고 판단되면 flag_intr = True를 설정하여 실행 스레드에 중단 신호를 보냅니다.
  • 공유된 액션 버퍼 (Action Buffer) 를 통해 최신 행동 계획을 저장합니다 (이전 계획은 덮어쓰기됨).
• 행동 스레드 (Acting Thread):
  • 포괄적인 기술 라이브러리 (Skill Library) 를 사용하여 작업을 실행합니다.
  • 계획 스레드로부터 중단 신호를 받으면 즉시 현재 실행 중인 행동을 중단하고 버퍼의 최신 행동을 실행합니다.
  • 중단 신호가 없으면 현재 행동을 완료할 때까지 실행하되, 주기적으로 업데이트를 확인합니다.

2.2 중앙 집중식 메모리 시스템 (Centralized Memory System)

• 팀 수준의 정보를 통합 관리하여 에이전트 간 정보 공유 지연을 최소화합니다.
• 관측 기록 (Observation Records): 에이전트의 상태와 환경 정보를 1 초 단위로 폴링하여 실시간 업데이트합니다.
• 채팅 로그 (Chat Logs): 능동적 (Active) 및 수동적 (Passive) 통신을 지원하여 실시간 팀 협력을 가능하게 합니다.
• 행동 기록 (Action History): 각 에이전트의 실행 이력을 기록하여 재계획 시 컨텍스트로 활용합니다.

2.3 포괄적 기술 라이브러리 및 재귀적 작업 분해

• Mineflayer 기반의 고수준 API 를 제공하며, 790 가지 이상의 아이템 수집을 자동화합니다.
• 재귀적 작업 분해 (Recursive Task Decomposition): 복잡한 작업 (예: 다이아몬드 갑옷 제작) 을 DAG(방향성 비순환 그래프) 구조로 모델링합니다.
  • LLM 은 고수준 목표만 설정하면, 시스템이 자동으로 전제 조건 (도구 제작, 광물 채굴 등) 을 재귀적으로 해결합니다.
  • 이는 LLM 호출 횟수를 줄이고 오류 전파를 방지하며, 복잡한 작업 흐름을 효율적으로 자동화합니다.

3. 주요 기여 (Key Contributions)

1. 병렬 계획 - 실행 프레임워크: 계획과 실행을 분리하고 중단 가능한 메커니즘을 도입하여 동적 환경에서의 실시간 대응 능력을 획기적으로 향상시켰습니다.
2. 중앙 집중식 메모리 시스템: 실시간 정보 공유를 통해 에이전트 간 조정 효율성을 높이고, 최신 환경 정보를 기반으로 의사결정을 내리도록 지원합니다.
3. 재귀적 작업 분해 기술 라이브러리: DAG 기반의 자동화 메커니즘을 통해 복잡한 마인크래프트 작업을 효율적으로 수행하며, 기존 방법론보다 훨씬 넓은 범위의 작업을 처리할 수 있습니다.
4. 성능 검증: 마인크래프트 환경에서의 광범위한 실험을 통해 직렬 실행 방식 대비 효율성, 조정력, 적응성 측면에서 우월함을 입증했습니다.

4. 실험 결과 (Results)

마인크래프트를 테스트베드로 한 실험 결과는 다음과 같습니다.

• 자원 수집 (Resource Collection): 3 에이전트 시스템이 단일 에이전트 대비 대부분의 작업 (예: 다이아몬드 갑옷 제작) 에서 완료 시간을 단축했습니다. (예: 다이아몬드 갑옷 28.3 분 → 13.7 분)
• 보스 전투 (Boss Combat):
  • Elder Guardian, Wither, Ender Dragon 등 강력한 보스와의 전투에서 높은 성공률을 기록했습니다.
  • 특히 Ender Dragon 전투에서 20 에이전트 기준 100% 성공률을 달성했습니다.
  • 중단 메커니즘의 효과: 직렬 실행 프레임워크 대비 병렬 프레임워크가 PVP(대결) 시나리오에서 압도적인 승률을 보였으며, 이는 환경 변화에 따른 전략의 즉각적인 조정 덕분입니다.
• 확장성 (Scalability): 5 명에서 50 명까지 에이전트 수를 늘려도 LLM 추론 시간이 안정적으로 유지되었으며, 토큰 비용은 에이전트 수에 따라 선형적으로 증가하여 관리 가능한 수준임을 확인했습니다.
• 생성형 에이전트 (Ablation Study):
  • 재귀적 분해 메커니즘이 없으면 복잡한 자원 수집 작업이 불가능하거나 효율이 급격히 떨어졌습니다.
  • 병렬화 및 중앙 메모리 시스템이 제거될 경우 성공률이 크게 하락하여 각 구성 요소의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 다중 에이전트 시스템이 정적 환경을 넘어 동적이고 실시간으로 변화하는 환경에서도 효과적으로 작동할 수 있음을 증명했습니다.

• 패러다임의 전환: "계획 후 실행"의 직렬적 사고에서 "계획과 실행의 병렬적 상호작용"으로의 전환을 제시하여, 에이전트의 적응성과 실시간성을 크게 개선했습니다.
• 실용성: 중단 가능한 실행 메커니즘과 자동화된 작업 분해는 로봇 공학, 시뮬레이션, 복잡한 게임 AI 등 다양한 분야에서 실시간 의사결정이 필요한 시스템에 적용 가능한 일반적인 프레임워크를 제공합니다.
• 효율성: LLM 의 계산 비용을 줄이면서도 (재귀적 분해), 에이전트 간 협력을 최적화하여 대규모 다중 에이전트 시스템의 실용성을 높였습니다.

결론적으로, 제안된 프레임워크는 동적 환경에서 에이전트들이 유연하게 협력하고 변화에 즉각 대응할 수 있는 새로운 표준을 제시합니다.