When Agents Disagree: The Selection Bottleneck in Multi-Agent LLM Pipelines

1. 문제 제기 (Problem)

멀티 에이전트 LLM 파이프라인에서 '팀의 다양성 (Diversity)'이 출력 품질을 향상시키는지에 대해 기존 연구들은 상반된 결론을 내리고 있습니다.

• Wang et al. [22]: 이질적인 모델로 구성된 'Mixture-of-Agents (MoA)'가 단일 모델보다 성능이 뛰어나다고 주장.
• Li et al. [14]: 동일한 모델로 구성된 'Self-MoA (동질적 팀)'가 이질적 팀보다 일관되게 우세하다고 주장.

두 연구 모두 방법론적으로 타당하지만 결론이 모순됩니다. 저자는 이 모순의 원인이 **집단 지성 이론 (Hong and Page)**에서 언급된 '효과적인 집계 메커니즘'의 부재, 즉 **선택 병목 (Selection Bottleneck)**에 있다고 진단합니다. 즉, 다양성이 자산이 될지 부채가 될지는 후보 생성 후 이를 어떻게 **집계 (Aggregation)**하느냐에 달려 있습니다.

2. 방법론 (Methodology)

가. 이론적 프레임워크: 선택 병목 모델

저자는 다중 에이전트 파이프라인을 '후보 생성'과 '집계'의 2 단계 과정으로 모델링합니다.

• 선택자 품질 (Selector Quality, $s$): $0$(무작위 선택) 에서$1$ (완벽한 선택) 사이의 값.
• 교차 임계값 ($s^*$): 다양성이 도움이 되는지 해가 되는지를 결정하는 임계값.
  • $s < s^*$: 다양성이 해가 됨 (동질적 팀이 더 나음).
  • $s > s^*$: 다양성이 도움이 됨 (이질적 팀의 최고 후보를 선택할 수 있음).
• 핵심 가정: 동질적 팀 (동일 모델) 은 후보 간 품질 차이가 미미하여 어떤 선택자도 이점을 얻지 못함 ($Q \approx \mu$). 반면 이질적 팀은 분산이 커 '오라클 (최고 후보)'과 '평균' 간의 격차 ($\Delta$) 가 발생하며, 이는 강력한 선택자가 있을 때만 활용 가능함.

나. 실험 설계

42 개의 작업 (7 개 카테고리: 코딩, 창의적, 윤리, 수학, 추론, 과학, 요약) 에 대해 5 가지 실험 셀 (Cell) 을 구성하여 통제된 비교를 수행했습니다.

• 팀 구성:
  1. Homo Opus: 동일한 모델 3 개 (Claude Opus).
  2. Diverse Strong: 서로 다른 최상위 모델 3 개 (Opus, GPT-5.4, Gemini 2.5 Pro).
  3. Diverse Mixed: 최상위 모델 2 개 + 약한 모델 1 개 (Opus, Gemini 2.5 Pro, Haiku).
• 집계 메커니즘:
  1. Judge-based Selection: 외부 판정 패널 (LLM) 이 개별 후보를 평가하여 최우수 후보를 선택.
  2. Majority Vote: 에이전트 간 투표로 결정.
  3. MoA Synthesis: 모든 후보를 하나의 응답으로 합성 (기존 MoA 방식).

다. 평가 지표

• Bradley-Terry 수정 승률 (BT-WR): 3 개의 판정 모델이 단일 모델 베이스라인과 비교하여 각 셀의 출력을 평가.
• 검증: 선택 - 평가 순환 편향을 제거하기 위해 독립적인 판정 패널을 사용한 'Decoupled Evaluation' 수행.

3. 주요 결과 (Key Results)

가. 선택 병목 현상의 실증

• 다양성 + 강력한 선택 (Judge): 이질적 팀 + 판정자 기반 선택은 승률 0.810을 기록하여 단일 모델 베이스라인 (0.512) 을 압도함.
• 다양성 + 약한 선택 (Vote): 이질적 팀 + 다수결 투표는 승률 0.496으로 무작위 수준 (동질적 팀과 차이 없음). 다양성이 무력화됨.
• 다양성 + 합성 (Synthesis): MoA 방식의 합성은 승률 0.179로, 단일 모델보다 82% 의 경우에서 열등한 결과를 보임. 이는 합성 과정이 다양성이 만든 '최고 후보'의 가치를 파괴하고 오히려 불일치를 초래함을 시사.

나. 교차 임계값 ($s^*$) 의 확인

• 실험 데이터는 이론적 예측과 일치함: 판정자 기반 선택은 임계값 $s^*$ 이상에서 작동하여 다양성의 이점을 극대화하고, 합성 방식은 $s^*$ 이하에서 작동하여 오히려 성능을 저하시킴.

다. 약한 모델의 역설 (Exploratory Finding)

• Diverse Mixed (약한 모델 포함) 구성이 **Diverse Strong (모두 최상위)**보다 더 높은 승률 (0.929) 을 기록하고 비용은 낮음.
• 이유: 약한 모델이 후보 풀의 분산을 증가시켜 최우수 후보를 판별하기 쉽게 만들고, 강력한 선택자가 이를 포착하여 비용은 줄이고 품질은 높이는 '무료 점심' 효과를 발생시킴.

4. 주요 기여 (Key Contributions)

1. 선택 병목 모델 (Selection Bottleneck Model) 제안:

   • 다양성의 효과를 결정하는 교차 임계값 $s^*$를 수식화 (Proposition 1) 하여, 기존 상반된 연구 결과 (Wang et al. vs Li et al.) 를 통합 설명.
   • 다양성이 도움이 되려면 '집계 메커니즘'의 품질이 임계값을 넘어야 함을 증명.

2. 선택 (Selection) 대 합성 (Synthesis) 의 우월성 입증:

   • 42 개 모든 작업에서 판정자 기반 선택이 MoA 스타일 합성을 압도적으로 능가함 (Effect Size $g=3.86$).
   • 합성 방식은 단일 모델보다도 성능이 낮아, 현행 파이프라인 설계의 근본적인 수정 필요성을 제기.

3. 약한 모델 포함의 역설적 발견:

   • 최상위 모델만 모으는 것이 아니라, 비용 효율적인 약한 모델을 포함하는 것이 오히려 품질과 비용 효율성을 동시에 개선할 수 있음을 탐구적 증거로 제시.

5. 의의 및 시사점 (Significance)

• 설계 패러다임의 전환: 멀티 에이전트 시스템의 성능 향상을 위해 '생성기 (Generator)'의 다양성이나 능력 향상에만 집중하는 것이 아니라, '선택기 (Selector)'의 설계가 더 중요한 레버리지임을 강조.
• 실무적 가이드라인:
  1. 팀 다양화: 서로 다른 모델 패밀리 사용.
  2. 선택, 합성 금지: 후보를 합성 (Blending) 하는 대신, 판정자를 통해 최우수 후보를 선택 (Selection) 하는 방식 채택.
  3. 비용 최적화: 최상위 모델만 고집하지 않고, 약한 모델을 포함하여 분산을 높이고 비용을 절감하는 전략 고려.
• 이론적 통합: Hong and Page 의 집단 지성 이론을 LLM 컨텍스트에 구체화하여, '효과적인 집계 메커니즘'이 무엇인지 (선택 품질 $s > s^*$) 를 정량적으로 정의.

이 논문은 멀티 에이전트 LLM 시스템이 단순히 많은 에이전트를 모으는 것을 넘어, 어떻게 그들을 평가하고 선택하느냐가 성공의 핵심임을 보여주는 중요한 연구입니다.