기술 요약: 멀티 에이전트 이점의 환상 (The Illusion of Multi-Agent Advantage)

문제 정의

대규모 언어 모델(LLM) 분야의 지배적인 통념은 멀티 에이전트 시스템(MAS)이 컨텍스트 보호, 병렬 처리, 분산 의사결정 등의 이점을 제공하기 때문에 싱글 에이전트 시스템(SAS)보다 본질적으로 우월하다는 것이다. 그러나 이러한 주장에 대한 실증적 근거는 대개 고립된 추론 작업(예: GSM8K, MMLU)을 우선시하는 벤치마크에서 도출되며, 추론 예산(inference budget)을 통제하지 못한다. 결과적으로, 관찰되는 MAS의 성능 향상은 조정이나 추론의 진정한 개선이라기보다 증가된 계산 비용(더 많은 LLM 호출)에 의한 인위적인 결과물일 수 있다. 또한, 기존의 평가 방식은 MAS를 뒷받침하는 핵심 메커니즘인 작업 분해, 병렬화, 역할 특화가 자동화된 워크플로우 내에서 실제로 구현되는지를 격리하여 검증하지 못한다.

방법론

저자들은 강력한 SAS 베이스라인인 CoT-SC(Chain-of-Thought with Self-Consistency)를 대상으로, 자동 생성된 MAS에 대한 엄격하고 체계적인 평가를 수행한다. 본 연구는 다양한 모델 제품군(GPT-4o, GPT-5, GPT-OSS-120B, Gemini-2.5-Pro)과 수학적 추론(HLE-Maths), 질의응답(GPQA-Diamond), 코딩(SWE-Bench Lite), 동적 정보 탐색(BrowseComp-Plus)을 포함한 다양한 작업 영역을 포괄한다.

표준 벤치마크가 에이전트 역량을 평가하기에 부적합할 수 있다는 한계를 해결하기 위해, 저자들은 합성 멀티홉 금융 추론(SMFR) 데이터셋을 도입한다. 이 진단용 벤치마크는 MAS에 적합한 작업을 격리하도록 명시적으로 설계되었으며 다음을 특징으로 한다:

• 명시적 하위 작업 구조: 다단계 컨텍스트 추출, 수치 추론 및 집계가 필요한 작업.
• 병렬화 가능성: 이론적으로 병렬 실행이 가능한 독립적인 하위 작업들(예: 여러 투자자에 대한 손익 계산).
• 컨텍스트 분리: 방대한 과거 주가 데이터 속에서 특정 거래 데이터를 검색해야 하는 "건초더미 속 바늘 찾기(Needle-in-a-Haystack)" 구조.

평가는 6개의 대표적인 자동 MAS 프레임워크(DyLAN, MAS-Zero, ADAS, AFlow, MaAS, MAS-Orchestra)를 CoT-SC 및 Expert-MAS 베이스라인과 비교한다. Expert-MAS는 엄격한 역할 특화와 병렬 실행을 강제하는 수동 설계된 결정론적 시스템으로, 적절히 설계된 MAS가 달성할 수 있는 골드 스탠다드 상한선 역할을 한다.

마지막으로, 저자들은 역할 중복, 검증기 편향(verifier biases), 탐색 알고리즘의 수렴 등을 분석하기 위해 생성된 MAS 워크플로우의 **구조적 해체(architectural deconstruction)**를 수행한다.

주요 기여

1. MAS 이점에 대한 비판적 재평가: 본 논문은 비용 효율성을 고려할 때 자동 MAS가 강력한 SAS 베이스라인(CoT-SC)을 거의 능가하지 못함을 보여준다. 많은 설정에서 CoT-SC는 훨씬 적은 토큰(종종 10% 미만)을 소비하면서도 MAS와 대등하거나 더 높은 성능을 보인다.
2. SMFR 진단 벤치마크: 멀티 에이전트 원칙(병렬화, 컨텍스트 분리)을 테스트하기 위해 설계된 합성 데이터셋을 도입하였으며, 여기서 자동 프레임워크들은 구조적 기회를 기능적 효용으로 전환하는 데 지속적으로 실패함을 보여준다.
3. 구조적 해체: 현재의 자동 설계 패러다임이 "구조적 비대화(architectural bloat)" 문제를 겪고 있음을 밝히는 엄격한 분석을 제공한다. 생성된 워크플로우는 종종 기능적 효용보다는 표면적인 복잡성을 우선시하며, CoT-SC와 기능적으로 동일한 중복 앙상블 루프로 퇴보한다.

주요 결과

• 비용 효율성 격차: 전통적인 추론 데이터셋과 SMFR 벤치마크 전반에 걸쳐, 자동 MAS는 일관되게 CoT-SC보다 낮은 성능을 보인다. MAS가 미미한 이득을 보이더라도, 최대 10배의 계산 비용을 더 소모한다.
• 모델 티어 의존성: MAS는 모델 간의 성능 격차를 메우지 못한다. CoT-SC를 사용하는 단일 에이전트 GPT-5 인스턴스는 정교한 GPT-4o 기반 MAS 프레임워크보다 신뢰할 수 있는 성능을 보이며, 토큰은 절반 미만으로 사용한다. 유의미한 MAS 상승은 가장 강력한 백본(GPT-5, Gemini-2.5-Pro)을 사용한 HLE-Maths에서만 관찰되었으며, 이는 MAS를 위한 "역량 하한선(competency floor)"이 존재함을 시사한다.
• SMFR 성능: SMFR 데이터셋에서 자동 MAS 프레임워크는 CoT-SC를 거의 넘어서지 못하며, 경제적으로도 결코 앞서지 못한다. 반면, Expert-MAS는 (GPT-5의 경우 정확도를 57.0%에서 96.5%로 높이는 등) CoT-SC와 유사한 비용으로 상당한 개선을 달려내며, 이는 구조가 적절히 설계되었을 때 MAS가 해당 작업을 해결할 수 있음을 증명한다.
• 기능적 붕괴:
  • 역할 중복: DyLAN과 같은 프레임워크에서 에이전트들은 종종 즉각적이고 만장일치인 합의에 도달하며(~70-90%의 사례), 이는 역동적인 협상이라기보다 사실상 CoT-SC 베이스라인처럼 작동하는 것이다. 작업 특화된 역할은 일반적인 "어시스턴트" 역할 대비 추가적인 효용을 제공하지 못한다.
  • 탐색 아티팩트: ADAS 및 AFlow와 같은 프레임워크는 복잡한 조율을 발견하기보다 사소한 앙상블(예: 단일 프롬프트를 세 번 반복)로 수렴하는 경향이 있다.
  • 라우팅 실패: MaAS 및 MAS-Orchestra와 같은 시스템에서 컨트롤러는 작업 적응형 전략을 학습하지 못하고, 작업 난이도와 상관없이 비용 최소화 경로 또는 고비용 에이전트에 대한 정적 선호도로 붕괴된다.

의의 및 주장

본 논문은 자동화된 MAS의 이점으로 인식되는 것이 구조적 시너지라기보다 표면적인 복잡성의 부산물인 경우가 많다고 주장한다. 저자들은 현재의 평가 프레임워크가 증가된 계산 비용의 한계 효용을 고려하지 않음으로써, 구조적 격차와 비효율성을 은폐하고 있다고 주장한다.

이러한 결과는 현재의 자동 설계 패러다임과 멀티 에이전트 원칙 사이에 근본적인 불일치가 존재함을 시사한다. "환상"은 자동 탐색 프로세스가 복잡한 레이블 아래에서 기본적인 CoT-SC 샘플링을 재발견함으로써, 최종 출력에 대한 인과적 영향력은 거의 없으면서 전체 추론 비용만 발생시키는 "비싼 목격자(expensive witnesses)"를 만들어내기 때문에 발생한다.

저자들은 이러한 비효율성을 극|복하기 위해서는 블랙박스 형태의 자동 그래프 생성에서 벗어나, 검증 가능한 작업 분해와 인과적 역할 정렬에 기반한 구조로 전환해야 한다고 결론짓는다. 그들은 멀티 에이전트 협업이 (Expert-MAS가 보여주듯) 근본적으로 실행 가능하지만, 현재의 자동화된 프레임워크가 작업 특화된 기회를 효과적이고 경제적으로 활용하지 못함에 의해 저해되고 있음을 강조한다.