기술 요약: Planner Matters! 장기 계획 (Long-horizon Planning) 을 위한 효율적이고 불균형한 다중 에이전트 협업 프레임워크

문제 제기

언어 모델 (LM) 기반 에이전트는 자연어 지시사항에서 복잡한 작업을 자동화하는 능력을 입증해 왔으나, 장기 계획 및 추론에서는 여전히 어려움을 겪고 있습니다. 확인된 핵심 난제는 단일 모놀리식 에이전트가 고수준 목표 관리와 저수준 행동 실행을 동시에 탁월하게 수행하지 못한다는 점입니다. 에이전트가 저수준 세부사항에 지나치게 집중할 경우, 국소적인 단계는 올바르게 실행하더라도 전체 목표를 놓칠 수 있습니다 (예: 클릭은 정확히 하지만 옵션 비교에 실패함). 반대로, 고수준 목표에 지나치게 집중하면 사소한 실수로 인해 실행이 실패할 수 있습니다 (예: 상태 변경을 놓침). 기존 에이전트 또한 복잡한 구성 의도, 다중 소스 비교, 제약 조건 필터링이 필요한 작업에서 어려움을 겪고 있습니다.

방법론

1. 다중 에이전트 프레임워크 분해

저자들은 자동화를 세 가지 전문화된 역할로 분해하는 다중 에이전트 프레임워크를 제안합니다:

• Planner (계획자): 고수준 목표 분해를 처리하고 초기 계획을 생성하며, 관찰 및 실행 기록에 기반하여 점진적으로 계획을 업데이트합니다.
• Actor (행위자): Planner 의 하위 목표를 디지털 환경 내에서 구체적인 실행 가능한 행동 (예: 클릭, 입력, 스크롤, 도구 호출) 으로 변환합니다.
• Memory Manager (메모리 관리자): 관련 컨텍스트를 검색하고 업데이트하여 Planner 에게 하이브리드 메모리를 제공합니다. 이 메모리는 다음으로 구성됩니다:
  • 이산 메모리 ($M^d_t$): 과거 성공적인 궤적의 핵심 단계에 대한 구조화된 텍스트 요약.
  • 연속 메모리 ($M^c_t$): 장기적 다중 모달 궤적 정보를 압축된 임베딩으로 인코딩한 잠재 표현.

이 시스템은 Planner 가 Actor 에게 집중된 하위 목표를 전달하고, Memory Manager 가 컨텍스트 검색을 지원하는 반복적 루프 방식으로 작동합니다.

2. 체계적인 컴퓨팅 할당 분석

이 연구의 핵심 기여는 이러한 구성 요소 간에 모델 용량을 어떻게 할당해야 하는지에 대한 체계적인 분석입니다. 다양한 크기의 모델 (예: Qwen2.5-VL-3B/7B/32B) 을 사용한 통제된 확장 실험을 통해 저자들은 다음과 같은 사실을 발견했습니다:

• 계획이 지배적인 병목 현상: Planner 를 확장할 때 가장 큰 한계 성능 향상이 나타납니다.
• 불균형한 효율성: Planner 만 업그레이드하는 것이 모든 구성 요소를 동시에 확장하는 것과 유사한 성능 향상을 달성합니다.
• 다른 구성 요소의 낮은 민감도: Actor 와 Memory Manager 는 경쟁력 있는 결과를 달성하기 위해 훨씬 적은 컴퓨팅 자원과 모델 용량이 필요합니다. Memory Manager 는 확장 규모에 대한 민감도가 가장 낮았습니다.

3. Planner 중심 강화 학습 (RL)

계획이 주요 병목 현상이라는 통찰을 바탕으로, 저자들은 Planner 중심 강화 학습 접근법을 도입합니다:

• 동결된 구성 요소: Actor 와 Memory Manager 는 훈련 중 동결됩니다.
• 최적화 대상: Planner 만 최적화됩니다.
• 보상 신호: 시스템은 VLM-as-judge(Qwen2.5-VL-32B) 에서 파생된 궤적 수준 보상을 사용합니다. 심판은 작업 정확성, 추론 일관성, 상호작용 효율성을 기반으로 전체 에피소드 (계획, 스크린샷, 최종 답변) 를 평가하여 1, 3, 또는 5 점의 점수를 부여합니다.
• 알고리즘: 저자들은 온-정책 롤아웃 (on-policy rollouts) 을 적용한 **그룹 상대 정책 최적화 (GRPO)**를 사용합니다. 궤적 수준 보상은 롤아웃 내의 모든 단계에 브로드캐스트되어 Planner 의 정책을 업데이트합니다.

주요 기여

1. 계획 병목 현상의 식별: 이 논문은 장기 에이전트 작업에서 계획 용량이 성공의 주된 동인이며, 실행 및 메모리 관리는 컴퓨팅 요구 사항이 상대적으로 낮다는 경험적 증거를 제시합니다.
2. 불균형 다중 에이전트 아키텍처: 저자들은 이 통찰을 활용하여 모델 용량의 대부분을 Planner 에 할당하고, Actor 와 Memory Manager 에는 더 작고 효율적인 모델을 사용할 수 있도록 하는 프레임워크를 제안합니다.
3. Planner 중심 RL 전략: 계획 및 실행 모듈의 공동 훈련에서 흔히 발생하는 역할 혼란과 상충되는 목표를 피하기 위해 궤적 수준 보상을 사용하여 Planner 만 독점적으로 최적화하는 새로운 훈련 전략입니다.
4. 종합적 평가: 웹 탐색 (WebVoyager, Mind2Web, MMInA), OS 제어 (OSWorld), 도구 사용 (MCPBench) 에 걸친 광범위한 실험.

결과

제안된 프레임워크는 다양한 벤치마크와 모델 규모에서 견고한 개선을 보여줍니다:

• 성능 향상: WebVoyager 벤치마크에서, 다중 에이전트 설정과 Planner 중심 RL 을 적용한 Qwen2.5-VL-7B 백본은 **35.1%**의 전체 성공률을 달성했습니다. 이는 단일 모델 기준 (12.5%) 대비 **180.8%**의 상대적 개선이며, GPT-4o(19.7%) 및 Gemini-2.5-Pro(29.6%) 와 같은 폐쇄형 소스 기준을 능가합니다.
• 효율성: 이 프레임워크는 불균형 구성 (예: 7B Planner + 3B Actor + 3B Memory) 으로 이러한 성과를 달성하여, 모든 구성 요소를 균일하게 확장하는 것보다 계획에 용량을 집중하는 것이 더 효율적임을 입증했습니다.
• 일반화: 이 방법은 도메인 외 작업 (예: OSWorld 및 MCPBench) 과 다양한 인터페이스 레이아웃에 강력한 일반화 능력을 보여주며, 학습된 계획 능력이 효과적으로 전이됨을 나타냅니다.
• 결손 연구 (Ablation Studies):
  • Planner 만 훈련하는 것이 Actor 만 훈련하거나 둘을 함께 훈련하는 것보다 성능이 우수하여, 고수준 추론에 대한 집중적 최적화가 더 우월함을 확인했습니다.
  • 연속 메모리의 포함은 이산 메모리 단독 사용보다 일관되게 (비록 작지만) 개선을 제공했습니다.

중요성 및 주장

이 논문은 제한된 컴퓨팅 예산 하에서 장기 에이전트의 최첨단 성능을 달성하기 위해 계획 용량을 분리하고 우선순위화하는 것이 중요한 전략이라고 주장합니다. 저자들은 그들의 발견이 복잡한 작업에서 고수준 실행 통제가 병목 현상이라는 인지 신경과학의 원칙과 일치한다고 논합니다.

이 연구는 다중 에이전트 시스템의 컴퓨팅 할당에 대한 실용적인 지침을 제공하며, 모든 구성 요소를 균등하게 확장하기보다는 개발자들이 계획 모듈에 자원을 집중해야 함을 시사합니다. 저자들은 그들의 접근 방식을 모놀리식 확장에 대한 컴퓨팅 효율적인 대안으로 위치시켜, 복잡한 자동화 작업에서 더 작은 오픈 소스 모델이 더 큰 폐쇄형 소스 모델과 경쟁하거나 능가할 수 있게 합니다. 재현성을 지원하기 위해 코드는 공개적으로 출시되었습니다.