기술 요약: Opti-Q: 다중 LLM 질문 계획을 위한 제약 기반 최적화 프레임워크

1. 문제 정의

질의응답(QA)을 위해 대규모 언어 모델(LLM)을 배포하는 것은 비결정성, 이질적인 리소스 프로필(비용, 지연 시간, 에너지), 그리고 질문 유형에 따른 다양한 성능 차이라는 상당한 과제에 직면해 있습니다. 최근 연구들은 여러 모델의 협업이 단일 "최고" 모델보다 우수할 수 있음을 시사하지만, 단순한 실행 전략(예: 항상 모든 모델에 질의하거나 고정된 캐스케이드 사용)은 종종 비효적인 리소스 사용, 높은 비용 및 최적이 아닌 답변 품질로 이어집니다.

현재의 오케스트레이션 프레임워크(예: LangChain, DSPy)는 개발자가 스크립트로 작성한 워크플로우나 실행 시점의 근시안적인 결정에 의존하며, 이는 다운스트림의 결과(consequences)를 고려하지 않습니다. 즉, 멀티 LLM 오케스트레이션을 사용자 지정 제약 조건(예산, 지연 시간, 에너지)과 원하는 답변 품질(QoA)을 기반으로 실행 전에 최적의 실행 계획(순차적, 병렬 또는 하이브리드)을 선택하는 비용 기반의 다목적 쿼리 계획 문제로 취급하는 시스템이 부족한 실정입니다.

2. 방법론: OPTI-Q 프레임워크

OPTI-Q는 멀티 LLM QA를 위한 "실행 전 계획(plan-before-execute)" 패러다임을 구현하는 데이터베이스 방식의 비용 기반 옵티마이저입니다. 이 시스템은 QoA를 재정적 비용, 지연 시간, 에너지와 균형 있게 맞추는 파레토 최적(Pareto-optimal) 계획을 찾는 것을 목표로 하는 다목적 최적화(MOO) 작업으로 문제를 모델링합니다.

A. 모델링 및 정식화

• 질문 모델: 질문 $Q$는 프롬프트, 주제, 사용자 제약 조건($F_{max}, L_{max}, E_{max}, QoA_{min}$) 및 목적 우선순위를 위한 가중치 벡터 $W$로 정의됩니다.
• 계획 모델: 계획은 LLM 호출(물리적 연산자)을 노드로 하고 데이터 흐름을 엣지로 하는 유향 비순환 그래프(DAG)로 표현됩니다.
  • 순차적 연산자(Sequential Operators): 중간 답변을 후속 모델의 컨텍스트로 전달합니다.
  • 병렬 연산자(Parallel Operators): 여러 모델을 동시에 실행합니다.
  • 블렌딩 연산자(Blending Operators): 전용 "블렌더(blender)" 모델을 사용하여 병렬 브랜치의 출력을 병합합니다.
• 최적화 목표: $[QoA(\pi), -Financial(\pi), -Latency(\pi), -Energy(\pi)]$를 제약 조건 하에서 최대화합니다.

B. 핵심 구성 요소

1. PERFDB (통계 카탈로그):

   • 벤치마크 및 실행 트레이스로부터 오프라인 및 점진적으로 채워지는 성능 데이터베이스입니다.
   • 개별 LLM 및 구성된 서브플랜에 대한 통계(QoA, 비용, 지연 시간, 에너지)를 실행 컨텍스트(주제, 연산자 유형, 모델)별로 저장합니다.
   • 이를 통해 계획을 실제로 실행하지 않고도 실행 전에 계획의 지표를 추정할 수 있습니다. 또한, 변동성 추정치와 신뢰 구간을 저장함으로써 확률적 특성을 처리합니다.

2. 비용-편익 추정(Cost-Benefit Estimation):

   • 토큰 추정: 모델별 토크나이저와 역사적 출력 길이를 기반으로 입력/출력 토큰 수를 예측하여 비용을 추정합니다.
   • QoA 추정: PERFDB의 주제 조건 룩업을 사용합니다. 구성된 플랜의 경우, 전체 계획의 품질을 추정하기 위해 역사적 트레이스에서 도출된 곱셈적 상대 효과 계수(순차 단계용) 및 평균 상대 변화 계수(블렌딩용)를 적용합니다.
   • 리소스 추정: 재정적 비용(고정 비용 + 토큰당 가변 비용), 에너지(토큰에 비례), 지연 시간(토큰 볼륨에 선형적이며, 병렬 브랜치는 최대 시간을 따름)을 계산합니다.

3. 계획 생성 및 탐색:

   • 인코딩: 계획은 연결 맵(인접 행렬)과 모델 할당 벡터로 압축하여 인코딩됩니다.
   • 탐색 공간: 가능한 계획의 공간은 조합론적이며 전수 최적화를 수행하기에는 NP-hard 문제입니다.
   • 최적화 엔진: OPTI-Q는 세 가지 전략을 가진 "플러그형" 엔진을 지원합니다.
     • 동적 계획법 (DP): 작은 인스턴스를 위한 정확한 솔버로, 상태 공간 폭발을 관리하기 위해 가지치기(pruning)를 사용합니다.
     • 힐 클라이밍 (HC): 빠르고 국소적인 탐색을 위한 경량 그리디 휴리스틱입니다.
     • NSGA-II: 넓은 계획 공간에서 파레토 프런티어를 근사하기 위해 기본적으로 사용되는 다목적 진화 알고리즘입니다.
   • 선택: 옵티마이저는 비지배(non-dominated) 가능한 계획 집합을 생성합니다. 최종 계획은 정규화된 목적값에 사용자 가중치 $W$를 적용하여 선택됩니다.

C. 구현

• 시스템: 옵티마이저와 실행 엔진이 통합된 모듈형 프레임워크입니다.
• 모델: Ollama를 통해 로컬에서 실행되는 다섯 가지 오픈 소스 모델(Gemma-3:27B, LLaMA3-ChatQA, Qwen2.5, Phi-4, Mistral)로 테스트되었습니다.
• 블렌딩: 검증 과정에서 GenFuser와 같은 특화된 컴포넌트보다 우수한 성능을 보인 Gemma-3:27B를 지정 블렌더로 사용합니다.
• 프롬프팅: 모델의 행동을 유도하기 위해 특정 컨텍스트와 블렌딩 프롬프트를 사용하는 제로샷(Zero-Shot) 프 prompting을 채택합니다.

3. 주요 기여

1. 비용/편익 정식화: 멀리 LLM QA 계획을 QoA, 비용, 지연 시간, 에너지를 명시적으로 균형 있게 맞추는 제약 기반 다목적 최적화 문제로 정식화했습니다.
2. 통계 기반 옵티마이저: 역사적 통계 카탈로그(PERFDB)를 사용하여 실행 전에 품질과 리소스 비용을 추정함으로써 순차적/병렬/하이브리드 워크플로우를 열거하고 가지치기하는 시스템을 구축했습니다.
3. 통합 시스템: 질문에 따라 동적으로 경로를 지정하고, 실시간으로 최적의 실행 그래프를 선택하는 오픈 소스 LLM 간의 작동 가능한 프로토타입을 구현했습니다.

4. 실험 결과

본 프레임워크는 MMLU-Pro(객관식) 및 SimpleQA(주관식) 벤치마크에서 네 가지 최신 베이스라인(ThriftLLM, LLM-Ensemble, FrugalGPT, LLM-Blender)과 비교 평가되었습니다.

• 성능 향상: 사용자 지정 예산 하에서, OPTI-Q는 동일한 질문당 비용 대비 가장 강력한 예산 인식 베이스라인들과 비교했을 때 SimpleQA에서 약 58%, MMLU-Pro에서 약 41% 향상된 평균 QoA를 달ras했습니다.
• 확장성: NSGA-II는 최적의 확장성-품질 트레이드오프를 제공하였으며, 낮은 수십 초 단위의 계획 시간(예: $k=5$ 연산에 대해 21초) 내에 참조 파레토 프런티어 품질을 유지했습니다.
• 데이터 희소성에 대한 강건성: "콜드 스타트(Cold-start)" 시나리오(Level 0 PERFDB 커버리지)에서도 OPTI-Q는 베이스라인보다 우수한 성능을 보였습니다. 역사적 데이터가 증가함에 따라(Level 1–4), QoA는 크게 개선되었으며(예: MMLU-Pro에서 +66.7%), 리소스 추정 오차도 급격히 감소했습니다.
• 예산 준수: 시스템은 높은 예산 준수율(88–96%)을 유지했으며, 초과는 주로 지연 시간이 아닌 비용에 의해 발생했습니다.
• 상용 API와의 비교: OPTI-Q는 SimpleQA에서 상용 모델(예: Claude Opus 4.6, GPT 5.4)보다 높은 QoA를 달성하면서도, 외부 서버 비용을 고려했을 때 훨씬 적은 비용(각각 37.8배 및 14.5배 적음)이 들었습니다. MMLU-Pro에서는 Gemini 3.5 Flash(0.871)와 경쟁력 있는 품질(0.82)을 보여주면서도 훨씬 적은 비용을 기록했습니다.

5. 의의 및 주장

본 논문은 데이터베이스 스타일의 계획이 동적이고 근시안적인 오케스트레이션이나 고정된 앙상블보다 더 나은 품질-리소스 트레이드오프를 제공한다고 주장합니다.

• 패러다임 전환: LLM 오케스트레이션을 절차적 스크립팅 작업이 아닌 선언적 쿼리 계획 문제로 취급함으로써, 제약 조건 하에서 효용을 극대화하는 동적이고 질문별 맞춤형 적응이 가능함을 입증했습니다.
• 실용적 타당성: 구조화되고 통계에 기반한 계획이 고성능 상용 API에 의존하지 않고도 성능과 효율성의 균형을 맞출 수 있는 실용적인 기초를 제공함을 보여줍니다.
• 미래 잠재력: 저자들은 이러한 "실행 전 계획" 추상화가 새로운 연산자를 통계 카탈로그 내에서 유사한 비용-편익 프로필로 정의할 수 있다면, QA를 넘어 더 풍부한 검색 증강 생성(RAG) 및 에이전트 워크플로우로 확장될 수 있다고 보고 있습니다.