1. 문제 정의 (Problem Statement)

기존의 다중 에이전트 시스템 (Multi-Agent Systems, MAS) 은 주로 동질적인 (Homogeneous) 모델 구성에 의존하는 한계가 있습니다.

• 동질성의 한계: 대부분의 기존 MAS 는 단일 모델 패밀리 내에서 다양한 역할 (Persona) 을 부여하거나 동일한 모델 여러 개를 배치합니다. 이는 모델의 파라미터화 ($\theta$) 가 동일하므로, 문제 해결 공간 (Solution Space) 의 서로 다른 영역을 탐색하는 데 필요한 **분포적 다양성 (Distributional Diversity)**을 확보하지 못합니다.
• 고정된 역할 할당: 기존 시스템은 에이전트의 역할을 고정하거나 정적인 워크플로우를 따르며, 특정 작업에 가장 적합한 모델의 전문성을 동적으로 활용하지 못합니다.
• 테스트 시간 확장 (TTS) 의 제약: 테스트 시간 계산 자원 (Inference-time compute) 을 할당하여 성능을 높이는 기존 방법론들은 단일 모델의 추론 깊이 (Chain-of-Thought 등) 에만 집중하거나, 동질적인 에이전트들의 반복적인 추론에 의존하여 계산 효율성이 낮고 국소 최적해 (Local Optima) 에 갇힐 위험이 있습니다.

이러한 한계를 극복하기 위해, 이질적인 (Heterogeneous) 다양한 LLM 들의 고유한 전문성을 활용하면서도, 이를 효율적으로 조율하여 테스트 시간 성능을 확장할 수 있는 프레임워크가 필요합니다.

2. 방법론 (Methodology)

논문은 **"Team of Thoughts (ToT)"**라는 새로운 이질적 다중 에이전트 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델을 '전문 도구 (Specialized Tools)'로 간주하고, 중앙 **오케스트레이터 (Orchestrator)**가 이를 동적으로 호출하는 계층적 구조를 가집니다.

핵심 구성 요소

1. 오케스트레이션 캘리브레이션 (Orchestrator Calibration):

   • 단순히 모델 크기가 큰 것이 최고의 오케스트레이터가 되는 것은 아닙니다.
   • 특정 작업 카테고리 (수학, 코딩 등) 에 따라 여러 후보 모델들을 평가하여, 도구 에이전트들의 응답을 가장 효과적으로 통합 (Aggregation) 하고 조정할 수 있는 모델을 오케스트레이터로 선정합니다.
   • 이는 모델의 일반적 성능과 조정 능력 (Coordination Capability) 이 상이할 수 있음을 보여줍니다.

2. 에이전트 자기 평가 (Agent Self-Assessment):

   • 각 도구 에이전트가 자신의 도메인별 강점과 약점을 스스로 프로파일링하는 프로토콜입니다.
   • 검증 데이터셋을 기반으로 각 에이전트의 정확도 ($s_i$) 를 정량화하고, 자연어 형식의 **'능력 프로파일 (Capability Profile)'**을 생성합니다 (예: "수학 문제에서는 뛰어나지만, 복잡한 논리 추론에서는 실패함").
   • 추론 시, 오케스트레이터는 입력 쿼리에 맞춰 가장 적합한 에이전트만 동적으로 선택하여 호출함으로써 불필요한 계산 비용을 절감합니다.

3. 동적 도구 호출 및 집계 (Dynamic Tool Calling & Aggregation):

   • 오케스트레이터는 선택된 에이전트들의 최종 답변 ($\hat{X}_i$) 만을 수신하고, 에이전트들의 중간 추론 과정 (Reasoning Trajectory) 은 제외합니다.
   • 실험 결과, 중간 추론 과정을 포함하면 문맥 잡음 (Contextual Noise) 이 발생하여 오케스트레이터의 성능이 저하되는 것으로 확인되었습니다.
   • 오케스트레이터는 선택된 에이전트들의 답변을 기반으로 최종 고신뢰도 응답을 생성합니다.

확률론적 관점 (Probabilistic View)

• 단일 에이전트 추론은 초기 분포에서 점진적으로 목표에 도달하려는 '선형적 이동 (Linear Drift)'으로 비유됩니다.
• Team of Thoughts 는 여러 이질적 에이전트를 통해 **가우시안 혼합 모델 (Gaussian Mixture Model, GMM)**과 같은 넓은 탐색 공간을 형성합니다. 오케스트레이터는 고확률 영역을 이미 선점한 전문 에이전트들을 선택하여 '점프 (Jump)'하는 방식으로 최적해를 찾습니다.

3. 주요 기여 (Key Contributions)

1. Team of Thoughts 프레임워크: 이질적인 LLM 들이 동적 도구 호출 계층 구조를 통해 협력할 수 있는 새로운 MAS 아키텍처를 제안했습니다.
2. 오케스트레이션 및 자기 평가 메커니즘:
   • 최적의 오케스트레이터를 식별하기 위한 캘리브레이션 프로세스 도입.
   • 에이전트가 자신의 전문성을 스스로 평가하여 오케스트레이터의 선택을 돕는 자기 평가 (Self-Assessment) 프로토콜 제안.
3. 실증적 우월성: 수학 추론 및 코드 생성 벤치마크에서 기존 단일 모델 및 동질적 MAS 베이스라인을 일관되게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

연구진은 7 개의 모델 패밀리 (Claude Sonnet 4.5, GPT-5 Mini, DeepSeek v3.2 등) 를 활용하여 5 개의 벤치마크 (AIME2024, AIME2025, Humaneval+, MBPP+, LiveCodeBench) 에서 실험을 수행했습니다.

• 성능:
  • AIME2024 (수학): Team of Thoughts 는 **96.00%**의 정확도를 기록하여, 동질적 역할 연기 (Role-play) 베이스라인 (80.00%) 보다 크게 우월한 성능을 보였습니다.
  • LiveCodeBench (코드): **77.91%**의 정확도를 달성하여 베이스라인 (65.93%) 을 크게 상회했습니다.
  • MBPP+: 모든 Pass@k 지표에서 최상위 성능을 기록했습니다.
• 비용 효율성: 단일 모델의 성능을 넘어서면서도, 불필요한 에이전트 호출을 줄여 비용 대비 효율이 뛰어났습니다 (그림 1 의 파레토 프론트 참조).
• 스케일링 역학 (Scaling Dynamics):
  • 활성화된 에이전트 수 ($k$) 와 전체 에이전트 풀 ($|E|$) 이 증가할수록 성능이 무조건 좋아지는 것은 아닙니다.
  • 활성화 밀도: $k$가 8 이상으로 증가하면 오케스트레이터가 정보를 통합하는 데 한계가 생겨 성능이 저하되었습니다 (특히 Pass@1).
  • 선택 과부하: 에이전트 풀이 50 개 이상으로 커지면 오케스트레이터가 최적의 도구를 선택하는 능력이 떨어지는 '선택 과부하 (Selection Overload)' 현상이 발생했습니다.
  • 결론: 적정 수준의 활성화 (예: $k=2$) 와 캘리브레이션된 에이전트 풀이 가장 효율적입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: LLM 을 고정된 역할의 '에이전트'가 아닌, 상황에 따라 동적으로 호출되는 '전문 도구'로 재정의했습니다.
• 효율적인 테스트 시간 확장: 모델 재학습 없이, 테스트 시간 계산 자원을 전략적으로 배분하여 이질적 모델들의 시너지를 극대화하는 방법을 제시했습니다.
• 미래 방향: 현재는 중앙 오케스트레이터가 병목 현상이 될 수 있으나, 장기 컨텍스트 추론 및 계층적 정보 집계 기술의 발전과 함께 대규모 도구 에이전트 군집의 잠재력을 완전히 실현할 수 있을 것으로 기대됩니다.

이 연구는 단일 모델의 한계를 넘어, 다양한 모델의 고유한 강점을 조율하여 복잡한 추론 및 생성 작업을 해결하는 새로운 다중 에이전트 시스템의 표준을 제시합니다.