기술 요약: EvoMAS

문제 정의

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 전문화와 협력적 추론을 통해 복잡한 작업에서 잠재력을 입증해 왔습니다. 그러나 현재 자동화된 설계 방법들은 대부분 원샷 (one-shot) 패러다임에 의존합니다. 즉, 워크플로가 실행 전에 최적화되거나 선택된 후 작업 전체에 걸쳐 정적 (static) 으로 유지됩니다. 이러한 접근 방식은 하위 목표, 중간 증거, 정보 요구 사항이 여러 실행 단계에 걸쳐 진화하는 장기적 (long-horizon) 작업에는 적합하지 않습니다. 이러한 동적 환경에서 단일 고정 조정 전략에 의존하는 것은 본질적으로 비최적입니다.

이 논문은 이러한 한계를 해결하는 데 있어 두 가지 근본적인 과제를 식별합니다:

1. 명시적 실행 시간 작업 상태 구축: 장기적 작업은 원칙적인 조정 결정을 내리기 위해 실행 진행 상황, 중간 산출물, 그리고 해결책의 품질을 요약하는 명시적 상태를 유지해야 합니다. 이것이 없으면 워크플로 적응은 구체적인 근거를 잃게 됩니다.
2. 진화하는 작업 상태에 따른 워크플로 적응: 서로 다른 실행 단계는 이질적인 조정 요구 사항 (예: 탐색 대 정제) 을 부과합니다. 시스템은 정적 설계에 의존하는 대신 현재 작업 상태에 조건부 (conditioned) 로 단계별 워크플로를 동적으로 구축해야 합니다.

방법론: EvoMAS

저자들은 실행 시간 다중 에이전트 워크플로 구축을 위한 프레임워크인 EvoMAS를 제안합니다. EvoMAS 는 워크플로 선택을 단일 작업 궤적에 따른 메타 레벨 순차 의사결정 문제로 재정의합니다.

1. 형식화 (메타 레벨 MDP)

EvoMAS 는 프로세스를 메타-마르코프 의사결정 과정 (Meta-MDP) $M = (S^m, A^m, T^m, R^m)$으로 모델링합니다:

• 메타 상태 ($s^m_t$): 현재 작업 진행 상황, 중간 산출물, 그리고 피드백의 구조화된 텍스트 표현.
• 메타 행동 ($a^m_t$): 고정된 에이전트 풀 $\mathcal{P}$에서 에이전트의 부분집합인 구체적인 다중 에이전트 워크플로 $G_t = (V_t, E_t)$를 선택하는 것. 여기서 $E_t$는 정보 흐름 (계층적 DAG 구조) 을 정의합니다.
• 전이: $G_t$를 실행하면 집계된 결과 $\xi_t$(메시지, 도구 관찰, 평가자 피드백) 가 생성되며, 이는 전이 함수를 통해 메타 상태를 업데이트합니다.
• 목표: 주로 희소하고 검증 가능한 최종 작업 성공을 사용하여 기대 누적 메타 레벨 보상을 최대화하는 정책 $\pi_{wf}$를 학습하는 것.

2. 시스템 구성 요소

EvoMAS 는 세 가지 핵심 구성 요소를 통해 작동합니다:

• 작업 상태 구축 (Planner–Evaluator–Updater 파이프라인):

  • Planner: 하위 작업 계획을 유지하며, 활성화된 하위 작업을 식별하고 정제를 위한 컨텍스트를 연결하여 실패를 처리합니다.
  • Evaluator: 이전 실행 결과를 활성화된 하위 작업과 비교하여 판정 (성공/실패/정제), 신뢰도 점수, 그리고 자연어 피드백을 생성합니다.
  • Updater: 이전 상태, 실행된 워크플로, 그리고 실행 기록을 새로운 구조화된 작업 상태 $\tilde{s}_t$로 통합합니다. 이 상태는 에이전트의 컨텍스트로 작용하며 워크플로 어댑터를 조건부로 만듭니다.

• 실행 시간 워크플로 구축 (워크플로 어댑터):

  • 작업 상태 $\tilde{s}_t$가 주어지면, 워크플로 어댑터는 고정된 후보 에이전트 풀에서 단계별 계층형 워크플로를 인스턴스화합니다.
  • 어댑터는 작업 상태와 에이전트 임베딩 (역할, 능력, 도구에 의해 유도됨) 을 인코딩합니다.
  • **크로스 어텐션 (cross-attention)**을 사용하여 에이전트를 점수 매기고, 누적 질량 소프트 샘플링 (cumulative-mass soft-sampling) 메커니즘을 사용하여 각 레이어에 대한 에이전트를 교체 없이 선택하며, 선택된 집합이 확률 질량 임계값을 충족하도록 보장합니다.
  • 이를 통해 동일한 에이전트가 여러 레이어나 메타 스텝에 나타날 수 있어 반복적 정제가 가능해집니다.

• 워크플로 정책 최적화:

  • 어댑터 매개변수는 **강화 학습 (REINFORCE)**을 사용하여 최적화됩니다.
  • 주요 감독 신호는 (벤치마크 평가를 통해 검증 가능한) 희소 최종 작업 성공이며, 잠재적으로 편향된 평가자 판단에 대한 직접 최적화를 피합니다.
  • 프로세스 보상 (평가자 기반) 은 극도로 희소한 보상 환경에서 크레딧 할당 보조 수단으로 별도로 분석됩니다.

주요 기여

1. 패러다임 재정의: 저자들은 자동화된 다중 에이전트 워크플로 구축을 원샷, 초기화 시간 설계에서 작업 실행 중 발생하는 순차 의사결정 문제로 전환합니다.
2. 실행 시간 프레임워크: EvoMAS 는 명시적 작업 상태 구축과 학습된 상태 조건부 워크플로 어댑터를 결합하여, 작업이 진화함에 따라 에이전트 조정 구조의 동적 재구성을 가능하게 합니다.
3. 실증적 검증: 이 프레임워크는 복잡한 다단계 벤치마크 (GAIA, HLE, DeepResearcher) 에서 검증되었으며, 실행 시간 적응이 단일 에이전트 베이스라인과 최근 자동화된 MAS 설계 방법 모두보다 우수함을 입증했습니다.

실험 결과

실험은 GAIA(레벨 1~3), HLE, DeepResearcher 에서 수행되었습니다.

• 성능: EvoMAS-7(7 에이전트 풀 사용) 은 평균 성공률 65.0을 달성하여, 가장 강력한 자동화 MAS 베이스라인 (G-Designer/MaAS) 보다 30.2 포인트, 가장 강력한 단일 에이전트 베이스라인 (GPT-4o) 보다 35.2 포인트 더 높은 성과를 거두었습니다.
• 일반화: EvoMAS 는 평가된 네 가지 벤치마크 전반에서 최상의 결과를 달성하여, 벤치마크 특정 과적합이 아닌 광범위한 적용 가능성을 나타냈습니다.
• Ablation 연구:
  • 작업 상태: 워크플로 구조가 고정되어 있더라도 명시적 실행 시간 작업 상태 구축이 성공률을 향상시켰으며, 이는 중간 산출물과 하위 목표 수정을 위한 구조화된 장부 관리의 가치를 강조합니다.
  • 희소 보상 학습: 워크플로 어댑터는 희소 최종 보상만 사용하여 효과적인 정책을 성공적으로 학습했으며, GAIA 레벨 1 및 2 에서 성능이 꾸준히 향상되었습니다.
  • 프로세스 보상: 평가자 기반 프로세스 보상은 표준 작업에는 불필요하지만, 최종 성공이 학습 신호를 제공하기에 너무 희소한 "매우 어려움" 설정 (예: GAIA 레벨 3, BrowserComp) 에서는 결정적으로 중요함이 밝혀졌습니다.
  • 백본 민감도: 더 강력한 기반 LLM(예: GPT-4o 대 GPT-4o-mini) 은 성능을 추가로 향상시켜, EvoMAS 가 백본 개선과 상호 보완적임을 시사합니다.

중요성과 주장

이 논문은 EvoMAS 가 **실행 인식 적응 (execution-aware adaptation)**을 가능하게 함으로써 현재 다중 에이전트 시스템의 경직성을 해결한다고 주장합니다. 워크플로 선택을 명시적 작업 상태에 조건부인 순차 의사결정 문제로 취급함으로써, EvoMAS 는 시스템이 필요에 따라 정보 수집, 정제, 집계, 종료를 전환할 수 있게 합니다.

저자들은 그들의 접근 방식이 명시적 상태 구축과 학습된 워크플로 적응 모두에서 상호 보완적 이점을 제공한다고 강조합니다. 그들은 현재 프레임워크가 고정된 후보 풀과 최대 깊이를 가정하지만, 개방형 에이전트 생성과 동적 깊이 적응에 대한 미래 연구의 기초를 마련했다고 지적합니다. 이 연구는 중간 난이도 작업의 경우 희소 최종 보상이 학습에 충분하지만, 프로세스 보상은 극도의 희소성을 위한 전문 도구로 작용함을 시사합니다.