Can Small Agents Collaborate to Beat a Single Large Language Model?

1. 연구 배경 및 문제 정의 (Problem)

최근 언어 모델 (LLM) 의 발전은 주로 모델 크기 (Scale) 를 늘리는 방식에 의존해 왔습니다. 그러나 단일 거대 모델을 확장하는 것은 막대한 계산 비용을 요구하며, 다단계 추론 (Multi-step reasoning), 도구 사용 (Tool use), 이질적인 정보 소스 간의 조정이 필요한 작업에서는 성능 향상이 불확실합니다.

이러한 상황에서 **소규모 모델들의 협업 (Multi-agent Collaboration)**이 거대 단일 모델보다 우수한 성능을 낼 수 있는지에 대한 의문이 제기되었습니다. 기존 다중 에이전트 시스템 (MAS) 은 복잡하거나 거대 모델을 전면에 내세우는 경우가 많아, 어떤 설계 선택이 실제 성능을 결정하는지 통제된 분석이 부족했습니다. 본 연구는 **"잘 조직된 소규모 모델 시스템이 훨씬 큰 단일 에이전트 모델을 능가할 수 있는가?"**라는 핵심 질문에 답하기 위해 수행되었습니다.

2. 방법론 (Methodology)

저자들은 **최소화된 설계 (Minimally designed)**의 다중 에이전트 시스템을 제안하고, 이를 통해 통제된 실험을 수행했습니다.

• 아키텍처:

  • Orchestrator (조정자): 전체적인 계획 수립, 작업 분해, 도구 선택, 실행 전략 수립을 담당하는 중앙 제어 유닛입니다.
  • Sub-agents (하위 에이전트): 특정 도메인 도구 (웹 검색, 코드 실행, 파일 분석) 에 접근할 수 있는 전문화된 에이전트들입니다.
  • 구조화된 메모리 (Structured Memory): 전체 대화 기록을 전달하는 대신, Orchestrator 와 Sub-agent 간에 공유되는 구조화된 상태 저장소를 사용합니다. 이는 Orchestrator 가 현재 작업 상태를 재구성 (Reconstructed State) 하여 일관된 추론을 가능하게 합니다.
  • 통신 제한: Orchestrator 와 개별 Sub-agent 간에만 통신이 허용되며, Sub-agent 간 직접 통신은 차단되어 계획과 실행을 명확히 분리합니다.

• 실험 설정:

  • 모델: Qwen3 시리즈 (1.7B, 8B, 32B 파라미터) 사용. Orchestrator 로 8B 또는 32B 모델, Sub-agent 로 1.7B 모델 등을 배치.
  • 비교 대상:
    1. 단일 거대 모델 (32B) + 직접 도구 사용 (Direct tool use).
    2. 소규모 다중 에이전트 시스템 (8B Orchestrator + 1.7B/8B/32B Sub-agents).
  • Thinking (명시적 추론) 구성: Orchestrator, Sub-agent, 또는 양쪽 모두에서 Chain-of-Thought(CoT) 와 같은 명시적 추론을 활성화하거나 비활성화하여 위치별 영향을 분석.
  • 벤치마크: GAIA(도구 사용), GPQA(과학적 추론), AIME(수학), MuSiQue(다중 홉 검색), HLE(전문가 수준 질문) 등 5 가지 벤치마크.

3. 주요 기여 (Key Contributions)

1. 통제된 비교 프레임워크: 5 가지 벤치마크에 걸쳐 소규모 협업 모델과 거대 단일 모델 간의 성능을 비교할 수 있는 최소화된 다중 에이전트 아키텍처를 제시했습니다.
2. 명시적 추론의 위치별 영향 분석: 다중 에이전트 시스템 내에서 '생각 (Thinking)'이 어디서 발생해야 하는지에 대한 체계적인 분석을 수행했습니다.
3. 성능 결정 요인 규명: Orchestrator 의 용량과 Sub-agent 의 크기가 전체 시스템 성능에 미치는 상대적 영향을 정량화했습니다.

4. 실험 결과 (Results)

A. 소규모 다중 에이전트 vs. 거대 단일 모델

• 성능 우위: 잘 조정된 8B 다중 에이전트 시스템은 직접 도구를 사용하는 32B 단일 에이전트 모델과 GAIA(23.0 vs 23.0) 에서 동급의 성능을 내며, AIME(55.0 vs 45.0) 등에서는 크게 앞섰습니다.
• 도구의 양면성: 단일 에이전트에서 도구 사용은 검색 작업 (GAIA, MuSiQue) 에는 도움이 되지만, 지식 기반 추론 (GPQA) 에서는 오히려 성능을 저하시켰습니다 (잘못된 정보로 인해 기존 지식이 덮어씌워짐). 반면, Orchestrator 의 명시적 추론은 모든 벤치마크에서 일관된 개선을 가져왔습니다.

B. 명시적 추론 (Explicit Thinking) 의 위치

• Orchestrator 추론의 중요성: Orchestrator 에서만 추론을 활성화했을 때 가장 큰 성능 향상을 보였습니다.
• Sub-agent 추론의 한계: Sub-agent 에서 추론을 활성화하는 것은 성능 향상에 미미하거나 오히려 부정적인 영향을 미쳤습니다. 이는 Sub-agent 가 단순 실행자 역할을 할 때 추론이 불필요한 말장난 (verbosity) 과 조정 오버헤드를 초래하기 때문입니다.
• 결론: 시스템의 성능은 Orchestrator 의 추론 능력에 의해 주로 결정됩니다.

C. 모델 용량 (Capacity) 분석

• Orchestrator vs. Sub-agent: Orchestrator 에 추론 기능을 부여하면 Sub-agent 의 크기 (1.7B vs 32B) 가 성능에 거의 영향을 미치지 않았습니다.
• Planner-limited: 다중 에이전트 시스템은 실행자 (Executor) 의 한계가 아니라 계획자 (Planner/Orchestrator) 의 한계에 의해 성능이 결정됨을 보여줍니다. 즉, Orchestrator 에 투자하는 것이 Sub-agent 를 확장하는 것보다 훨씬 효율적입니다.

D. 효율성 (Efficiency)

• 토큰 및 지연 시간: 구조화된 메모리를 사용하여 토큰 사용량을 43% 절감했습니다.
• 속도: 8B 다중 에이전트 시스템은 32B 단일 모델보다 4.2 배 빠릅니다. Orchestrator 의 추론이 더 결정적인 행동을 유도하여 불필요한 도구 호출과 턴 수를 줄였기 때문입니다.

5. 의의 및 결론 (Significance)

이 연구는 모델의 규모 (Scale) 만이 성능 향상의 유일한 열쇠가 아님을 증명했습니다.

1. 아키텍처의 중요성: 소규모 모델이라도 계획 (Planning) 과 실행 (Execution) 을 명확히 분리하고, Orchestrator 에 집중된 추론 능력을 갖춘다면 거대 단일 모델을 능가할 수 있습니다.
2. 설계 원칙: 다중 에이전트 시스템 설계 시, 모든 구성 요소에 추론 기능을 부여하기보다는 Orchestrator 에 집중된 추론과 전문화된 도구 실행을 결합하는 것이 가장 효과적입니다.
3. 실용적 가치: 계산 비용과 지연 시간을 크게 줄이면서도 높은 추론 능력을 유지할 수 있는 효율적인 에이전트 시스템 설계 방향을 제시했습니다.

요약하자면, **"작은 에이전트들의 협업은 잘 조직된 아키텍처 (특히 강력한 Orchestrator) 하에서 거대 단일 모델을 이길 수 있으며, 이는 모델 크기 확보다 설계와 추론의 배치에 더 의존한다"**는 것이 이 논문의 핵심 결론입니다.