기술 요약: 라우팅, 투표 및 Mixture-of-Agents의 공동 실패 천장 (Co-Failure Ceiling)

문제 정의

대규모 언어 모델(LLM) 오케스트레이션 분야는 단일 "최적" 모델을 선택하는 것에서 라우팅, 투표, 캐스케이드(cascade), 그리고 Mixture-of-Agents(MoA)를 통해 이질적인 모델 풀을 관리하는 방향으로 변화했습니다. 실무자들은 현재 다양성이 정확도 향상을 가져올지 결정하기 위한 주요 진단 도구로 **쌍별 오차 상관계수($\rho$)**에 의존하고 있습니다. 지배적인 가정은 낮은 $\rho$가 높은 다양성을 의미하며, 따라서 앙상블 개선의 잠재력이 높다는 것입니다.

본 논문은 $\rho$가 잘못된 진단 도구라고 주장합니다. 저자들은 어떤 정책(예: 라우터, 다수결 투표, 캐스케이드)의 출력이 멤버 모델의 답변인 경우, 그 달성 가능한 정확도는 쌍별 상관관계가 아니라, 모든 모델이 동일한 쿼리에 대해 실패하는 비율인 $\beta$에 의해 제한된다고 상정합니다. 핵심 문제는 $\rho$가 $\beta$를 식별할 수 없다는 점입니다. 서로 다른 결합 오차 분포는 동일한 주변 분포와 쌍별 상관관계를 가질 수 있지만, $\beta$ 값은 판이하게 다를 수 있습니다. 결과적으로 $\rho$에 의존하는 것은 "공동 실패 꼬리(co-failure tail)"를 체계적으로 과소평가하게 만들며, 이는 구매자가 오케스트레이션의 가치를 과대평가하거나 달성 가능한 정확도의 천장을 잘못 판단하게 만드는 원인이 됩니다.

방법론

이론적 프레임워크

저자들은 오케스트레이션을 예산 제약이 있는 할당 문제로 정식화합니다.

1. 천장 정리 (Prop. 1): 멤버의 답변을 출력하는 임의의 선택 정책 $\pi$에 대하여, 정확도는 $1 - \beta$에 의해 제한됩니다. 여기서 $\beta = P(\text{모든 } m \text{ 개 모델이 틀림})$입니다. 최적 단일 모델 대비 최대 가능한 이득은 $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$입니다.
2. 비식별성 (Prop. 3): $m \ge 3$일 때, 공동 실패율 $\beta$는 쌍별 오차 법칙의 함수가 아닙니다. 저자들은 동일한 1차원 및 2차원 주변 분포(따라서 동일한 $\rho$를 가짐)를 가지면서도 서로 다른 $\beta$를 갖는 결합 분포가 존재함을 증명합니다.
3. 저가 책정 메커니즘 (Prop. 2): 저자들은 오차를 공통 충격(모든 모델이 확률 $\pi$로 실패함)과 독립적 오차의 혼합으로 모델링합니다. 이들은 쌍별 $\rho$에 맞춰 보정된 단일 요인 가우시안 코풀라(single-factor Gaussian copula)가 공동 실패율 $\beta_{sf}$를 예측할 때, 풀 크기 $m$이 증가함에 따라 $\beta_{sf}$는 0으로 수렴하지만 실제 $\beta$는 $\pi > 0$으로 수렴함을 보여줍니다. 따라서 저가 책정 비율 $\beta / \beta_{sf}$는 풀 크기에 따라 발산합니다.
4. 유한 샘플 인증 (Finite-Sample Certificate): 홀드아웃 쿼리 세트에 대한 Clopper–Pearson 구간을 사용하여, 저자들은 배포 전 "$0$ 인증(0 certificate)"을 도출합니다. 만약 $\beta$의 하한값이 $1 - \beta_{lo}$가 현재의 최적 단일 모델 정확도와 가깝다면, 어떤 정책도 오케스트레이션 비용을 정당화할 수 없습니다.

실험 설정

본 연구는 21개 제공업체의 67개 프런티어 모델(GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro 등 포함)을 다음 세 가지 레지메(regime)에서 평가합니다:

• 포화 혼합 (Saturated Mix): 표준 벤치마크 (GSM8K, MMLU, ARC-Challenge, MATH-500).
• 어려운 단일 도메인 (Hard Single-Domain): MMLU-Pro 및 MATH-Hard (Level-5).
• 구조적으로 분리된 도메인 (Structurally Disjoint Domains):
  • 개방형 수학 (MATH-500, MATH-Hard).
  • 실행 검증형 코드 (스트레스 테스트가 포함된 경쟁 프로그래밍 문제).
  • 대학원 수준 과학 (GPQA-Diamond), 객관식 및 주관식 형식 모두 테스트.

채점은 LLM 판사 편향을 피하기 위해 엄격하게 프로그램 방식(정확한 일치, 정수 추출 또는 실행 기반)으로 이루어졌습니다. 단, 특정 자유 응답형 GPQA 실험은 5인 전문가 패널에 의해 채점되었습니다. 비용은 실제 API 사용량에 따라 측정되었습니다.

주요 결과

1. 공동 실패 꼬리와 $\rho$의 함정

개방형 도메인(수학 및 코드) 전반에서 경험적 전체 오답률 $\beta$는 쌍별 상관관계에 의한 예측보다 유의미하게 높게 나타났습니다.

• MATH-500 (67개 모델): 경험적 $\beta = 0.052$ (330개 쿼리 중 17개). 적절히 테트라코릭 보정(tetrachoric-calibrated)된 단일 요인 가우시안 코풀라는 $\beta_{sf} = 0.021$을 예측합니다. 경험적 꼬리는 코풀라 예측보다 2.5배 더 두껍습니다.
• 코드 콘테스트: 경험적 $\beta = 0.079$. 단일 요인 모델은 이를 3.1배 과소 책정합니다.
• 풀 크기 효과: 무작위 모델 서브셋을 재샘플링한 결과, 저가 책정 비율이 풀 크기에 따라 단조 증가함을 보여주었습니다 ($k=2$에서 1.0, $k=67$에서 중앙값 2.5).
• 객관식 vs 자유 응답형: 객관식 GPQA에서는 $\beta \approx 0$입니다. 그러나 동일한 질문을 자유 응답형(선택지를 제거한 형태)으로 물었을 때, $\beta$는 0.127로 급증했습니다. 이는 공동 실패 레지메가 주제 자체가 아니라 과업 형식(개방형 여부)에 의해 결정됨을 확인시켜 줍니다.

2. 오케스트레이션의 두 가지 레지메

본 논문은 "천장"이 다르게 작동하는 두 가지 뚜렷한 레지메를 식별합니다:

• 천장 제한형 (Ceiling-Bound, 개방형 수학/코드): 여기서는 $\beta > 0$이며 무시할 수 없는 수준입니다. 천장 $1-\beta$는 낮으며, "오라클 이득(oracle gain, 이론적 최대 개선치)"도 작습니다. 주요 제한 요소는 공동 실패 꼬리이며, 쌍별 $\rho$는 이를 감지하지 못합니다.
• 실현 가능성 제한형 (Realizability-Bound, 과학/객관식): 여기서는 $\beta \approx 0$입니다. 천장은 사실상 열려 있으며, 오라클 이득은 큽니다 (예: GPQA의 $G=0.15$). 그러나 이 이득은 **해결 가능한 불일치(resolvable disagreement)**를 의미합니다. 현재의 학습된 라우터들은 프런티어 모델들이 의견 차이를 보일 때 어떤 모델이 정답일지 구별할 수 있는 쿼리 수준의 신호가 불충분하기 때문에 이 이득을 포착하지 못합니다.

3. 오케스트레이션 전략의 성능

• 학습된 라우터 (Learned Routers): 15개 모델의 포화 혼합 세트에서, 학습된 라우터(TF-IDF + 도메인)는 오라클 이득의 **9%**만을 포착했습니다 (통계적으로 0과 구별할 수 없음). 더 강력한 LLM-as-router는 **0%**를 포착했습니다.
• 순진한 다양성 (Naive Diversity): 이질적인 모델 3개 조합에 대한 가중치 없는 다수결 투표는 종종 최적의 단일 모델보다 부정적인 이득을 냅니다. 이는 약한 모델들이 다양한 모델들과 섞이면서 강한 모델을 압도하기 때문입니다.
• 품질 매칭 앙상블 (Matched-Quality Ensembles): 고상관 관계인 Self-MoA(최적 모델의 다중 샘플)와 품질이 매칭된 저상관 이질적 앙상블을 비교했을 때, 이질적 앙상블이 승리했습니다 (평균 이득 +0.027). 이는 다양성 정리를 지지하지만, 멤버의 품질이 통제되었을 때만 유효합니다.
• 캐스케이드 (Cascades): 검증기(verifier)의 AUC가 0.5에 접근함에 따라 캐스케이드 성능이 무작위 믹싱 수준으로 붕괴되는 것을 확인하여 이론적 경계를 확증했습니다.

의의 및 주장

본 논문은 초점을 **쌍별 상관관계($\rho$)**에서 **공동 실패율($\beta$)**로 전환함으로써 LLM 오케스트레이션의 경제학을 재정의한다고 주장합니다.

1. 진단의 전환: $\rho$는 "전체 오답" 꼬리를 보지 못합니다. 구매자는 $\rho$만 보고 오케스트레이션의 타당성을 판단할 수 없으며, $\beta$를 직접 추정해야 합니다.
2. **$0$인증:** 단 한 번의 채점된 쿼리 세트로$\beta$에 대한 통계적 하한을 제공할 수 있습니다. 만약$1 - \beta_{lo}$가 현재 최적 모델의 정확도와 가깝다면, 본 논문은 어떤 라우팅이나 투표 정책도 그 비용을 정당화하는 것이 수학적으로 불가능하다고 주장합니다.
3. 규모의 한계: 풀에 더 많은 모델을 추가하는 것이 반드시 더 나은 성능을 보장하지는 않습니다. 만약 풀이 "공통 모드 원자(common-mode atom, 공유된 실패 모드)"를 공유한다면, 공동 실패율 $\beta$는 양수로 유지되어 풀의 크기와 상관없이 효용을 제한합니다.
4. 형식 의존성: "공동 실패 레지ме"는 주제의 난이도가 아니라 과업 형식(개방형 vs 객관식)의 함수입니다. 개방형 과업은 본질적으로 앙상블 방법의 효용을 제한하는 공동 실패 꼬리를 수반합니다.

저자들은 현재 검증 가능한 개방형 과업에 대한 프런티어 모델들의 경우, 개선을 위한 레버는 더 많은 모델을 추가하거나 순진한 다양성에 의존하는 것이 아니라, 실패 모드의 이질성을 식별하고 **시장 변동성(market churn, 폭의 옵션 가치)**을 관리하는 것이라고 결론짓습니다. $\rho$에 대한 업계의 의존은 $\beta$에 의해 설정된 진정한 천장을 가리고 있습니다.