ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 을 실제 환경에 배포할 때 발생하는 품질과 비용 간의 근본적인 트레이드오프가 핵심 문제입니다.

• 단일 모델의 한계: 하나의 모델만 사용하면 비용은 저렴하지만, 복잡한 작업에서는 오류나 불완전한 답변을 낼 수 있습니다.
• 앙상블 (Ensemble) 의 비효율성: 여러 모델을 병렬로 실행하면 신뢰도는 높아지지만, 추론 비용이 기하급수적으로 증가합니다.
• 기존 솔루션의 부족:
  • 학습 기반 라우터 (Learned Routers): 훈련 데이터와 배포 환경 간의 분포 변화 (distribution shift) 를 일으키고, 해석 가능한 의사결정 흔적 (decision traces) 이 부족하며, 여러 모델이 협력할 때의 기여도 (attribution) 를 명확히 하기 어렵습니다.
  • 관측 가능성 플랫폼 (Observability Platforms): 실행 후 분석은 가능하지만, 실행 시점에 리소스를 동적으로 할당하는 적응형 라우팅은 제공하지 못합니다.

따라서, 작업의 난이도를 사전에 알 수 없는 상태에서 어떤 작업은 단일 모델로, 어떤 작업은 다중 모델로 처리할지 결정하는 검증 가능하고 재현 가능한 라우팅 메커니즘이 필요합니다.

2. 방법론 (Methodology)

저자는 ACAR (Adaptive Complexity & Attribution Routing) 을 제안하며, 이는 TEAMLLM이라는 검증 가능한 실행 기반 (substrate) 위에서 작동합니다.

A. 핵심 메커니즘: 자기 일관성 분산 ($\sigma$) 기반 라우팅

학습된 분류기가 아닌, 휴리스틱 (heuristic) 인 자기 일관성 (Self-Consistency) 변동을 난이도 신호로 사용합니다.

1. 프로브 (Probe) 단계: 빠른 모델 (Gemini 2.0 Flash) 로부터 각 작업에 대해 $N=3$개의 샘플을 생성합니다.
2. 분산 계산 ($\sigma$): 추출된 3 개의 정답이 서로 얼마나 다른지 계산합니다.
   • $\sigma = 0.0$: 3 개 모두 일치 (작업이 쉬움) $\rightarrow$ Single-Agent 모드
   • $\sigma = 0.5$: 2 개 일치 (일부 불확실) $\rightarrow$ Arena-Lite 모드 (2 모델 검증)
   • $\sigma = 1.0$: 3 개 모두 다름 (작업이 매우 어려움) $\rightarrow$ Full-Arena 모드 (3 모델 전체 실행)
3. 동적 할당: 계산된 $\sigma$ 값에 따라 작업이 처리되는 모델 수를 동적으로 조절하여 비용을 절감합니다.

B. 실행 기반: TEAMLLM

• 결정론적 실행 (Deterministic Execution): 동일한 입력은 항상 동일한 출력을 보장하며, 랜덤 시드, 프롬프트 해시, 환경 지문 등을 기록합니다.
• 불변 아티팩트 (Immutable Artifacts): 모든 응답과 의사결정 흔적은 수정 불가능한 형태로 저장되어 감사 (Audit) 가 가능합니다.
• 재현성: 논문의 모든 그래프와 결과는 공개된 아티팩트에서 재생성 가능합니다.

3. 주요 기여 (Key Contributions)

1. ACAR 프레임워크 도입: 학습된 구성 요소 없이 $\sigma$ 기반 난이도 추정을 통해 55.6% 의 정확도를 달성했으며, 전체 작업의 54.2% 에서 고비용 앙상블을 회피했습니다.
2. 부정적 결과 (Negative Results) 의 체계적 문서화:
   • 검색 증강 (Retrieval Augmentation) 의 실패: 낮은 품질의 경험 저장소 (experience store) 를 사용한 검색 증강은 오히려 정확도를 3.4%p 감소시켰습니다. (중간 유사도 0.167 로 노이즈만 주입)
   • 동일한 오답 (Agreement-but-Wrong) 의 한계: 프로브 모델들이 모두 틀린 답변에 동의할 경우 ($\sigma=0$), 하위 앙상블이 이를 복구할 수 없습니다. 이는 자기 일관성 기반 라우팅의 본질적인 한계로, 전체 앙상블 대비 최대 8%p 의 정확도 상한선을 형성합니다.
   • ** Attribution(기여도 추정) 의 실패:** 응답 유사도나 엔트로피 같은 대리 신호 (proxy signals) 는 실제 기여도 (leave-one-out 값) 와 약한 상관관계만 보였습니다. 정확한 기여도 추정을 위해서는 명시적인 반事实 (counterfactual) 계산이 필요합니다.
3. TEAMLLM 공개: 7,550 회 이상의 감사 가능한 실행 기록을 포함한 재현 가능한 연구 인프라를 공개했습니다.

4. 실험 결과 (Results)

• 데이터셋: MathArena, Reasoning Gym, LiveCodeBench, SuperGPQA 등 4 개 벤치마크의 1,510 개 작업.
• 모델: Claude Sonnet 4, GPT-4o, Gemini 2.0 Flash.
• 성능 비교 (Table 1):
  • Single-Model: 45.4% 정확도, $17.04 비용
  • Arena-2 (2 모델 앙상블): 54.4% 정확도, $20.64 비용
  • ACAR-U (제안 방법): 55.6% 정확도, $20.34 비용
    • Arena-2 대비 정확도는 1.2%p 향상되었고, 비용은 1.5% 절감되었습니다.
  • Arena-3 (3 모델 전체): 63.6% 정확도 (품질 상한선)
• 비용 - 정확도 트레이드오프: ACAR-U 는 파레토 프론티어 (Pareto frontier) 상에서 Arena-2 보다 우월한 위치를 차지합니다.
• 라우팅 분포:
  • 쉬운 작업 (SuperGPQA 등): 42% 가 단일 모델로 처리됨.
  • 어려운 작업 (LiveCodeBench 등): 96% 가 풀-아레나 (Full-Arena) 로 에스컬레이션됨.

5. 의의 및 시사점 (Significance)

1. 측정 방법론의 혁신: 최적화 (Optimization) 나 학습된 모델에 의존하기보다, 감사 가능성 (Auditability) 과 재현성을 최우선으로 하는 측정 프레임워크를 제시했습니다. 이는 향후 라우팅 연구의 기준점 (Baseline) 을 제공합니다.
2. 실무적 통찰:
   • "더 많은 컨텍스트 (검색)"가 항상 좋은 것은 아니며, **의미적 정렬 (Semantic Alignment)**이 없는 검색은 성능을 저하시킵니다.
   • 모델들이 모두 동의하더라도 그 답이 틀릴 수 있다는 "Agreement-but-Wrong" 현상은 시스템 설계 시 고려해야 할 근본적인 한계입니다.
   • 모델 간 기여도 (Attribution) 를 추정하려면 단순한 관찰 데이터가 아닌 반事实 (Counterfactual) 실행이 필수적입니다.
3. 미래 연구 방향: 학습된 라우터의 분포 이동 문제와 해석 가능성 문제를 해결하기 위해, 휴리스틱 기반의 투명하고 검증 가능한 라우팅 메커니즘이 필요함을 강조합니다.

이 논문은 단순히 성능을 높이는 것을 넘어, LLM 앙상블 시스템이 왜 실패하는지, 어떤 가정들이 현실에서 무너지는지를 엄격하게 증명하고 문서화했다는 점에서 큰 의의가 있습니다.