기술 요약: EvoMAS – 다중 에이전트 시스템의 진화적 생성

1. 문제 제기

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 복잡한 추론, 계획, 도구 증강 작업에서 상당한 잠재력을 보여줍니다. 그러나 효과적인 MAS 아키텍처를 설계하는 것은 여전히 노동 집약적이며, 취약하고, 일반화하기 어렵습니다. 기존 자동 생성 방법은 표현력과 신뢰성 사이의 근본적인 트레이드오프에 직면해 있습니다:

• 코드 생성 접근법: ADAS 및 MAS-GPT 와 같은 방법들은 MAS 설계를 개방형 코드 검색 또는 직접 코드 합성으로 취급합니다. 표현력이 뛰어나지만, 구문 오류와 단일 패스에서 유효한 다중 에이전트 프로그램을 생성하는 복잡성으로 인해 실행 불가, 런타임 예외, 그리고 취약한 동작으로 종종 고통받습니다.
• 경직된 템플릿 접근법: AutoAgents 및 EvoAgent 와 같은 방법들은 신뢰성을 높이기 위해 에이전트 구조를 제한하지만, 적응성과 표현력을 제한합니다. 또한, EvoAgent 와 같은 접근법들은 일반적으로 다중 에이전트 시스템을 통합된 최적화 객체로 취급하기보다 개별 에이전트를 진화시키며, 쿼리 간 경험 전이를 위한 메커니즘이 부족합니다.

핵심적인 과제는 구조화된 업데이트를 안내하기 위해 실행 피드백을 활용하면서 MAS 구성의 광대하고 결합적인 공간을 효율적으로 탐색하고, 새로운 설계의 탐색과 성공적인 패턴의 재사용 사이의 균형을 맞추는 것입니다.

2. 방법론: EvoMAS

저자들은 EvoMAS(다중 에이전트 시스템의 진화적 생성) 를 제안합니다. 이는 코드 합성이 아닌 구조화된 구성 생성으로 MAS 생성을 공식화하는 프레임워크입니다. EvoMAS 는 해석 가능한 경계 내 구성 공간에서 작동하며, 선택, 변이, 교차를 통해 협력적 MAS 구성을 진화시킵니다.

2.1. 구성 표현

MAS 구성 $C$는 튜플 $(G, \{A_i\}, V_{in}, V_{out})$로 정의됩니다:

• **그래프 ($G$):**谁가 누구와 통신하는지 정의하는 토폴로지를 나타내는 비순환 통신 그래프.
• 에이전트 ($A_i$): 각 에이전트는 백본 모델 ($b_i$), 시스템 프롬프트 템플릿 ($p_i$), 그리고 도구 세트 ($\Gamma_i$) 로 정의됩니다.
• 실행: 경량 런타임 인터프리터는 시스템 구조를 실행 논리에서 분리하여 선언적 구성에 기반하여 에이전트를 인스턴스화하고 통신을 관리합니다.

2.2. 진화 과정

EvoMAS 는 실행 피드백을 학습 신호로 사용하여 후보 풀에 대한 LLM 주도 진화 검색을 수행합니다. 주어진 작업 $q$에 대한 과정은 다음과 같습니다:

1. 선택: 작업 관련성 및 메타데이터를 기반으로 인간이 설계한 MAS(예: Peer Review, Majority Vote, MetaGPT) 로 시드된 풀에서 초기 구성을 검색합니다.
2. 진화 연산자: 시스템은 실행 추적과 경험 메모리에 기반하여 두 가지 연산자를 사용하여 후보를 반복적으로 정제합니다:
   • 변이: 실행 추적에서 식별된 특정 성능 병목 현상을 해결하기 위해 단일 부모의 프롬프트, 모델 할당, 도구 목록, 또는 토폴로지 중 정확히 하나의 구성 요소 유형을 수정합니다.
   • 교차: 한 부모로부터 통신 토폴로지를 상속받고 두 부모로부터 에이전트 수준의 속성 (프롬프트, 모델, 도구) 을 재결합하여 두 부모를 재결합합니다.
3. 평가: 구성은 작업 수행 (정확성, 완전성) 과 계산 비용 (토큰 및 지연 시간) 사이의 균형을 맞추는 LLM-as-a-judge 보상 함수를 사용하여 평가됩니다.
4. 풀 및 메모리 업데이트: 고보상 구성은 향후 재사용을 위해 풀에 추가됩니다. 진화 추적은 "출력 형식을 위한 프롬프트 정교화가 정확도를 향상시켰음"과 같은 간결한 표현으로 요약되어 경험 메모리에 저장되며, 유사성 기반 검색을 통해 향후 검색을 안내합니다.

2.3. 핵심 설계 원칙

• 구조화 대 코드: 실행 가능한 코드 대신 구조화된 구성 (YAML) 을 생성함으로써 EvoMAS 는 구문 오류를 피하고 높은 런타임 견고성을 보장합니다.
• 연합 진화: 프롬프트나 토폴로지를 별도로 최적화하는 이전 작업과 달리, EvoMAS 는 토폴로지, 프롬프트, 모델, 도구를 통합된 시스템으로 함께 진화시킵니다.
• 테스트 시간 컴퓨팅 확장: EvoMAS 는 단일 에이전트에 더 많은 컴퓨팅을 할당하는 대신 구성 검색을 통해 다중 에이전트 시스템 전체에 컴퓨팅 분포를 적응시킵니다.

3. 주요 기여

1. 구성 기반 패러다임: MAS 구축을 구조화된 텍스트 생성으로 재형식화하여, 코드 생성의 취약성 없이 MAS 설계 공간에 대한 견고하고 표현력 있는 탐색을 가능하게 합니다.
2. EvoMAS 프레임워크: 인간이 설계한 시스템에서 시드된 후보 구성 풀을 유지하고 실행 유도 변이, 교차, 그리고 메모리 기반 재사용을 통해 이를 반복적으로 정제하는 LLM 주도 진화 프레임워크입니다.
3. 종합적인 벤치마킹: 인간이 설계한 MAS 와 기존 자동 생성 방법 모두에 비해 더 높은 실행 성공률로 추론, 코딩, 도구 호출 도메인 전반에서 우수한 작업 수행 능력을 입증했습니다.

4. 실험 결과

EvoMAS 는 다섯 가지 벤치마크인 BBEH(추론), WorkBench(도구 사용), 그리고 SWE-Bench-Lite/Verified(소프트웨어 공학) 에서 평가되었습니다.

• 성능 향상: EvoMAS 는 일관되게 베이스라인을 능가했습니다.
  • BBEH에서 자동 LLM 선택을 통해 **58.7%**의 정확도를 달성하여, 최고의 EvoAgent 결과보다 +10.5 포인트, 그리고 LLM 당 최고의 구성보다 +5.9 포인트를 상회했습니다.
  • WorkBench에서는 **48.9%**에 도달하여 LLM 당 최고의 결과보다 +4.4 포인트를 초과했습니다.
  • SWE-Bench-Verified에서 EvoMAS 는 **63.8%**의 해결률을 달성하여, LLM 당 최고의 단일 구성보다 +3.4 포인트, 그리고 가장 좋은 사전 정의된 MAS(MetaGPT) 보다 상당한 차이로 우위를 점했습니다. Claude-4.5-Sonnet을 사용하면 **79.1%**에 도달하여 공개 리더보드의 최상위 기록과 일치했습니다.
• 견고성과 실행 가능성: EvoMAS 는 모든 벤치마크에서 **96%**를 초과하는 실행률을 달성했습니다 (예: BBEH 에서 98.9%). 이는 MAS-GPT 와 같은 코드 생성 방법 (BBEH 에서 71.5%, SWE-Bench-Lite 에서 1.2%) 보다 훨씬 뛰어났습니다.
• 확장 행동: 토큰 예산이 증가함에 따라 정체되거나 저하되는 단일 에이전트 또는 고정 토폴로지 방법과 달리, EvoMAS 는 컴퓨팅이 증가함에 따라 성능을 계속 향상시키며 더 효율적인 조정 패턴을 발견합니다.
• 일반화: 이 프레임워크는 수학 추론 (AIME 2024–2025) 으로 일반화되어 **56.7%**의 정확도를 달성하며 사전 정의된 베이스라인을 능가했습니다.

5. 중요성과 주장

이 논문은 EvoMAS 가 수동적이고 작업 특이적인 MAS 공학에서 자동화되고 적응적인 시스템 합성으로의 전환을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

• 구조적 최적화: 성능 향상은 컴퓨팅 확장이나 더 큰 모델에 의존하는 것이 아니라, "분해자"또는 "검증자"와 같은 등장적 역할 및 새로운 토폴로지와 같은 효과적인 조정 패턴의 발견에서 비롯된 구조적 것입니다.
• 신뢰성: 구성을 통해 구조를 실행 논리에서 분리함으로써 EvoMAS 는 코드 생성 접근법 내재적인 신뢰성 문제를 해결하여 자동화된 MAS 생성을 실제 응용 프로그램에 실현 가능하게 만듭니다.
• 테스트 시간 적응: 구성 업데이트와 실행 경험을 통해 개선이 누적되는 상태 기반 학습 패러다임을 제공하여, 경사 기반 미세 조정의 대안적인 접근 방식을 제시합니다.
• 일반화 가능성: 이 프레임워크는 에이전트 중립적이며 이질적인 모델 할당을 지원하여 단일 시스템 내 특정 역할에 대해 서로 다른 LLM 의 강점을 활용할 수 있게 합니다.

저자들은 EvoMAS 가 전문 에이전트 개발의 장벽을 효과적으로 낮춘다고 결론지었으나, 향후 연구는 적대적 조정 문제를 해결하고 진화 비용을 더욱 줄여야 한다고 지적했습니다.