AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent

1. 문제 정의 (Problem Statement)

1.1 배경 및 한계

• 기존 연구의 초점: 최근 에이전트 효율성 연구는 주로 서버 측 최적화 (요청 스케줄링, 캐싱, 추측 실행, 로드 밸런싱 등) 에 집중되어 왔습니다. 이는 서비스 제공자 (Provider) 관점에서 다중 사용자의 부하를 처리하는 데 초점을 맞춥니다.
• 클라이언트 측의 필요성: 현대의 AI 에이전트는 개발자가 로컬 도구, 원격 API, 다양한 모델을 조합하여 구축합니다. 이 과정에서 개발자는 각 역할 (Role) 에 할당할 모델, API 예산 분배, 로컬 도구 호출 시점 등을 결정해야 합니다.
• 핵심 문제: 이러한 결정은 애플리케이션의 특정 요구사항 (품질, 비용, 지연 시간) 에 의존하며, 서버 측 시스템만으로는 최적화할 수 없습니다. 특히 **모델 조합 (Model Combination)**의 선택은 전체 파이프라인의 성능과 비용에 지대한 영향을 미치지만, 이를 체계적으로 최적화하는 도구가 부재했습니다.

1.2 모델 선택의 중요성

• 실험 결과, 동일한 정확도를 달성하는 경우에도 최적의 모델 조합과 최악의 조합 간의 비용 격차는 13 배에서 32 배까지 발생했습니다.
• 단일 모델의 성능 순위가 파이프라인 내 특정 역할 (예: 플래너, 솔버) 에 대한 적합성을 보장하지 않습니다. (예: 강력한 모델이 플래너 역할에서는 오히려 하위 모듈을 우회하여 성능을 저하시킬 수 있음)

---

2. 방법론 (Methodology)

2.1 AGENTOPT 프레임워크

AGENTOPT 는 에이전트 파이프라인의 모델 조합을 최적화하기 위한 프레임워크 독립적인 (Framework-agnostic) Python 패키지입니다.

• 핵심 개념: '모델 조합 (Combo)'을 최적화의 기본 단위로 정의합니다. $N$개의 역할이 있는 파이프라인에서 각 역할에 할당된 모델의 전체 조합 $c = (m_1, ..., m_N)$을 평가합니다.
• 목표: 정확도 (Accuracy), 비용 (Cost), 지연 시간 (Latency) 간의 **파레토 프론티어 (Pareto Frontier)**를 찾거나, 사용자 정의 유틸리티 함수를 최대화하는 조합을 찾는 것입니다.
• 구현 방식:
  • HTTP 계층 인터셉션: httpx 라이브러리의 전송 계층을 패치하여 LLM 호출을 가로챕니다. 이를 통해 LangGraph, AutoGen 등 다양한 프레임워크를 수정 없이 지원합니다.
  • 맥락 추적: Python contextvars 를 사용하여 각 호출이 어떤 데이터 포인트와 모델 조합에 속하는지 추적하고, 토큰 사용량, 지연 시간, 비용 등을 기록합니다.
  • 캐싱 및 병렬화: 동일한 요청에 대한 API 호출을 캐싱하여 비용을 절감하고, 제한된 병렬성을 통해 평가 시간을 단축합니다.

2.2 탐색 알고리즘 (Search Algorithms)

모델 조합의 탐색 공간은 역할 수와 후보 모델 수에 따라 기하급수적으로 커지므로, AGENTOPT 는 8 가지 탐색 알고리즘을 제공합니다.

1. Arm Elimination (기본 추천): 다중 암 밴딧 (Multi-armed Bandit) 기반의 적응형 제거 방식. 점진적으로 배치 크기를 늘리며 하위 조합을 제거하여 최적 조합을 찾습니다.
2. Epsilon-LUCB: $\epsilon$-최적 해를 찾기 위해 리더와 가장 강력한 도전자를 비교하며 샘플을 할당합니다.
3. Threshold Successive Elimination: 특정 임계값 이상의 품질을 가진 모든 조합을 찾는 데 초점을 맞춥니다.
4. Hill Climbing: 이웃 조합을 탐색하여 국소 최적점을 개선하는 방식입니다.
5. Bayesian Optimization: 서브rogate 모델을 사용하여 탐색 공간을 효율적으로 탐색합니다.
6. Brute-force / Random Search: 비교를 위한 기준선 (Baseline) 알고리즘입니다.
7. LM Proposal: 강력한 언어 모델을 사용하여 유망한 조합을 제안하는 방식 (실험 결과 신뢰도가 낮음).

---

3. 주요 기여 (Key Contributions)

1. 클라이언트 측 최적화 문제의 공식화: 에이전트 시스템에서 서버 측 최적화와 구별되는 '클라이언트 측 최적화'를 독립적인 시스템 문제로 정의하고, 모델 조합 선택을 1 순위 최적화 목표로 제시했습니다.
2. 전체 파이프라인 수준의 평가 필요성 증명: 개별 모델의 성능이 아닌, 파이프라인 전체의 흐름 (Trajectory) 에서 모델 조합을 평가해야 함을 실험적으로 입증했습니다. (예: HotpotQA 에서 강력한 모델인 Claude Opus 가 플래너로 사용될 때 오히려 성능이最差인 경우 발생)
3. 효율적인 탐색 알고리즘 구현 및 평가: 8 가지 알고리즘을 구현하고 벤치마크를 통해 Arm Elimination이 brute-force 검색 대비 평가 비용을 24~67% 줄이면서도 근사 최적 해를 찾는 것을 입증했습니다.

---

4. 실험 결과 (Results)

4.1 벤치마크 및 설정

• 데이터셋: HotpotQA, GPQA Diamond, MathQA, BFCL v3 Multi-Turn 등 4 가지 작업.
• 모델: Claude Opus 4.6, Qwen3 Next 80B, Ministral 3 8B 등 9 가지 모델.
• 파이프라인: 1 단계 (단일 모델) 에서 2 단계 (플래너 - 솔버 등) 까지 다양한 구조.

4.2 주요 발견

• 비용 절감 효과: 동일한 정확도 수준에서 최적 조합과 최악 조합 간 비용 차이는 13 배에서 32 배까지 발생했습니다.
  • HotpotQA 예시: Ministral 3 8B (플래너) + Claude Opus 4.6 (솔버) 조합이 74.27% 정확도를 기록한 반면, Opus 를 플래너로 사용한 조합은 31.71% 에 그쳤습니다.
  • BFCL 예시: Qwen3 Next 80B 가 Claude Opus 4.6 과 동일한 정확도 (70%) 를 내면서 비용은 32 배 저렴했습니다.
• 알고리즘 성능 비교:
  • Arm Elimination: 4 개 벤치마크 모두에서 가장 일관된 성능 - 효율성 트레이드오프를 보였습니다.
  • Bayesian Optimization: HotpotQA 에서는 Arm Elimination 보다 약간 더 높은 정확도를 보였으나, MathQA 에서는 성능이 떨어졌습니다. (지표의 매끄러운 구조에 의존하는 한계)
  • Hill Climbing: BFCL 과 GPQA 에서는 잘 작동했으나, HotpotQA 와 같이 최적 조합이 직관적이지 않은 경우 국소 최적점에 갇히는 경향이 있었습니다.
  • LM Proposal: 모델 설명만 기반으로 한 제안은 실제 역할 간 상호작용을 반영하지 못해 HotpotQA 와 BFCL 에서 실패했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 시스템 관점의 확장: 에이전트 효율성 최적화는 이제 서버 측 인프라뿐만 아니라, 개발자가 애플리케이션 수준에서 수행해야 하는 클라이언트 측 최적화가 필수적입니다.
• 맥락 기반 모델 평가: "가장 강력한 모델"이 모든 역할에 적합한 것이 아니며, 파이프라인의 전체적인 흐름과 역할 간 상호작용을 고려한 조합 수준의 평가가 필수적입니다.
• 실용적 도구 제공: AGENTOPT 는 개발자가 비용, 지연 시간, 정확도 간의 트레이드오프를 투명하게 관리하고 최적의 구성을 찾을 수 있는 오픈소스 도구를 제공합니다.
• 향후 방향: 정적 모델 할당을 넘어 적응형 라우팅, 도구 선택, 개인화된 유틸리티 기반 정책 등으로 확장될 수 있는 기반을 마련했습니다.

이 보고서는 AI 에이전트 배포의 새로운 효율성 층위를 제시하며, 개발자가 자신의 애플리케이션에 맞는 최적의 에이전트 구성을 설계할 수 있는 방법론과 도구를 제공합니다.