🤖 machine learning

ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

이 논문은 비용과 품질 간의 비정상적 트레이드오프를 실시간으로 관리하며, 달러 단위 예산을 준수하고 모델의 가격 변동이나 품질 저하에 적응적으로 대응하며 런타임 중에도 새로운 모델을 통합할 수 있는 오픈소스 적응형 라우팅 시스템 'ParetoBandit'을 제안합니다.

원저자: Annette Taberner-Miller

게시일 2026-04-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Annette Taberner-Miller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

파레토 밴디트 (ParetoBandit): AI 비서의 '스마트 지갑'과 '현명한 길찾기'

이 논문은 우리가 매일 사용하는 AI(대형 언어 모델, LLM) 를 운영할 때 발생하는 가장 큰 고민을 해결하는 새로운 시스템을 소개합니다. 그 고민은 바로 **"어떤 AI 모델을 써야 할까?"**입니다.

생각해 보세요. AI 모델은 마치 다양한 가격대의 택시와 같습니다.

저가형 택시 (Llama 등): 싸지만 가끔 길을 잘못 들거나 답변이 엉뚱할 수 있습니다.
고급형 택시 (Gemini 등): 비싸지만 정확하고 똑똑합니다.
중간형 택시 (Mistral 등): 그 사이쯤 됩니다.

기존의 시스템은 "무조건 비싼 걸 써야지" 혹은 "무조건 싼 걸 써야지"처럼 한 가지 규칙만 고수했습니다. 하지만 현실은 훨씬 복잡합니다.

가격이 바뀝니다: 택시 회사가 갑자기 할인을 하거나, 반대로 비싸게 올릴 수 있습니다.
성능이 변합니다: AI 회사가 모델을 몰래 업데이트해서 성능이 나빠지거나 좋아질 수 있습니다.
새로운 택시가 뜹니다: 더 좋은 새로운 모델이 매일 등장합니다.

**파레토 밴디트 (ParetoBandit)**는 이런 복잡한 상황에서도 가장 똑똑하게 택시를 골라주는 스마트한 길찾기 시스템입니다.

🎒 핵심 아이디어: "스마트 지갑"과 "기억력 조절"

이 시스템은 세 가지 마법 같은 능력을 가지고 있습니다.

1. 🛑 "스마트 지갑" (Budget Pacer): 예산을 지키는 엄격한 수호신

우리가 여행을 갈 때 "오늘 용돈은 5 만 원"이라고 정했다고 칩시다.

기존 시스템: "아, 비싼 택시 타면 안 되겠네"라고 미리 계산해서 딱 한 번만 정하고 끝납니다. 하지만 택시비가 갑자기 오르면 예산을 초과하거나, 할인이 들어와도 아까워서 비싼 걸 못 탑니다.
파레토 밴디트: 실시간으로 지갑을 확인합니다.
- "아, 오늘 비싼 택시 (Gemini) 가격이 반으로 떨어졌네? 그럼 지금 이 질문에는 비싼 걸 써도 예산 안 넘겨!"라고 바로 판단합니다.
- 반대로 "어? 비싼 택시 가격이 또 올랐네? 그럼 싼 걸로 갈아타자."라고 즉시 조정합니다.
- 결과: 사용자가 정한 "한 달 용돈 (예산)"을 절대 초과하지 않으면서, 그 안에서 최고의 품질을 뽑아냅니다.

2. 🧠 "기억력 조절" (Geometric Forgetting): 오래된 기억은 잊는 지혜

AI 모델은 시간이 지나면 성능이 변합니다.

기존 시스템: "지난달에 이 택시 회사가 좋았어!"라고 영원히 기억합니다. 하지만 그 회사가 이미 망했거나 서비스가 나빠졌는데도, 옛날 기억만 믿고 계속 그 택시를 부릅니다.
파레토 밴디트: 기억력을 조절합니다.
- "어제까지 좋았던 택시 회사인데, 오늘부터 답변이 엉망이네? 그냥 잊어버리자."라고 과거의 나쁜 데이터를 빠르게 잊습니다.
- 반대로 "오늘부터 이 싼 택시 회사가 갑자기 똑똑해졌네? 새로운 기억으로 채우자."라고 빠르게 학습합니다.
- 비유: 마치 신선한 과일만 담는 냉장고처럼, 오래되어 상한 데이터는 자동으로 버리고 최신 정보만 남깁니다.

3. 🚪 "현관문 열쇠" (Hot-Swap): 새로운 택시 회사 추가하기

새로운 AI 모델이 출시되면, 기존 시스템을 멈추고 다시 설치해야 했습니다.

파레토 밴디트: 운전 중에도 새로운 택시 회사를 추가할 수 있습니다.
- 새로운 모델이 들어오면, "일단 20 번 정도만 타보라"라고 짧은 시험 기간을 줍니다.
- 그 후 "이 모델은 비싸면서 성능은 별로네?"라고 판단되면 자연스럽게 제외하고, "이 모델은 싸면서 성능은 좋네?"라면 주력으로 뽑아줍니다.
- 시스템을 멈추지 않고 (Downtime 없이) 실시간으로 업데이트됩니다.

📊 실제 실험 결과: 얼마나 잘할까요?

연구진은 이 시스템을 다양한 상황으로 테스트했습니다.

예산 지키기: "한 번에 0.005 달러 이하로 써라"라고 정했는데, 실제로는 0.4% 이상도 넘지 않았습니다. (완벽에 가까움)
가격 변동 대응: 비싼 모델 가격이 50% 떨어졌을 때, 시스템은 즉시 그 모델을 더 많이 써서 품질은 높이고 비용은 아꼈습니다.
성능 저하 감지: 어떤 모델이 몰래 성능이 나빠졌을 때, 시스템은 즉시 감지하고 다른 모델로 갈아탔습니다. (기존 시스템은 계속 나쁜 모델을 써서 예산을 6 배나 초과했습니다!)
새로운 모델: 새로운 모델을 추가했을 때, 약 142 번의 질문만 처리하면 그 모델이 좋은지 나쁜지 알아내고 적절한 비율로 섞어 쓰기 시작했습니다.

⚡ 속도는 어떨까요?

이 시스템이 결정을 내리는 데 걸리는 시간은 **0.00002 초 (22.5 마이크로초)**입니다.

비유: AI 가 답변을 작성하는 데 1 초가 걸린다면, 이 길찾기 시스템은 그중 0.04% 만을 사용합니다. 사용자는 이 시스템이 작동한다는 것을 전혀 느끼지 못합니다.

💡 결론: 왜 이 기술이 중요한가요?

이 논문은 **"AI 를 운영할 때는 고정된 규칙이 아니라, 상황에 따라 유연하게 변하는 지능이 필요하다"**는 것을 보여줍니다.

파레토 밴디트는 마치 현명한 가정부 같습니다.

"오늘 물가가 올랐으니 싼 걸로 하고, 내일은 할인이니 비싼 걸로 하자."
"어제까지 좋았던 식재료가 상했으니 바로 버리고 새로운 걸로 바꾸자."
"새로운 식재료가 들어왔으니 맛을 보고 결정하자."

이렇게 실시간으로 판단하고 적응함으로써, 기업은 예산은 지키면서 최고의 AI 서비스를 제공할 수 있게 됩니다. 이는 앞으로 AI 가 우리 일상에 더 깊게 들어올 때, 필수적인 기술이 될 것입니다.

ParetoBandit: 예산 기반 적응형 LLM 라우팅을 위한 기술적 요약

이 논문은 ParetoBandit이라는 오픈소스 적응형 라우팅 시스템을 제안합니다. 이 시스템은 비용 인식 컨텍스트 밴딧 (cost-aware contextual bandits) 을 기반으로 하여, 비정상적 (non-stationary) 환경에서 대규모 언어 모델 (LLM) 서비스의 품질과 비용 간의 트레이드오프를 실시간으로 최적화합니다.

1. 문제 정의 (Problem)

생산 환경의 LLM 서비스는 종종 다양한 비용과 품질을 가진 모델 포트폴리오 (최대 530 배의 비용 차이) 를 활용합니다. 그러나 기존 라우팅 시스템은 다음과 같은 운영상의 현실을 충분히 반영하지 못합니다.

비정상성 (Non-stationarity): 제공업체는 API 를 통해 모델 품질을 조용히 변경하거나 (Regression), 가격을 대폭 조정할 수 있으며, 새로운 모델이 정기적으로 출시됩니다.
고정된 정책의 한계: 많은 기존 라우터는 오프라인에서 학습된 고정된 정책을 사용하거나, 배포 후 환경 변화에 적응하지 못합니다.
예산 제약의 미해결: 실시간으로 요청당 비용 상한선 (Budget Ceiling) 을 준수하면서도, 비용이 급격히 변할 때 이를 자동으로 활용하거나 품질 저하를 감지하여 대응하는 폐루프 (closed-loop) 제어 메커니즘이 부재했습니다.

2. 방법론 (Methodology)

ParetoBandit 은 세 가지 핵심 메커니즘을 통해 위 문제를 해결합니다.

2.1. 온라인 프라임 - 듀얼 예산 패서 (Online Primal-Dual Budget Pacer)

개념: 오프라인 페널티 튜닝 대신 폐루프 제어를 도입하여, 요청 스트림 전체에 걸쳐 평균 비용이 설정된 상한선 ( $B$ ) 을 초과하지 않도록 보장합니다.
동작:
- 하드 천장 (Hard Ceiling): 최근 지출이 예산을 초과하면 듀얼 변수 ( $\lambda_t$ ) 가 증가하여 비싼 모델의 선택을 물리적으로 차단합니다.
- 소프트 페널티 (Soft Penalty): UCB 점수에서 비용에 비례하여 페널티를 부과하여, 예산 내에서 품질을 극대화하는 모델을 선택하도록 유도합니다.
- 지수 이동 평균 (EMA): 단일 비싼 요청으로 인한 진동을 방지하기 위해 비용 신호를 평활화하여 $\lambda_t$ 를 업데이트합니다.

2.2. 기하학적 망각 (Geometric Forgetting) 을 통한 비정상성 대응

목적: 환경 변화 (가격 변동, 품질 저하) 에 빠르게 적응하기 위해 오래된 데이터를 점진적으로 잊게 합니다.
구현: 충분 통계량 (Sufficient Statistics, $A_a, b_a$ $A_{a}, b_{a}$ ) 에 기하학적 할인 인자 ( $\gamma$ $γ$ ) 를 적용합니다.
- 새로운 관측치가 들어오기 전에 기존 데이터를 $\gamma^{d_t}$ 만큼 감쇠시킵니다.
- 이를 통해 시스템은 수천 개의 새로운 관측치를 기다리지 않고도 수백 단계 내에 품질 저하나 가격 변동을 감지하고 적응할 수 있습니다.
변동성 증가 (Staleness Inflation): 오랫동안 선택되지 않은 모델의 UCB 변동성을 인위적으로 증가시켜, 환경 변화 시 해당 모델을 재탐색 (Re-exploration) 하도록 유도합니다.

2.3. 런타임 포트폴리오 관리 및 오프라인 - 온라인 워밍업

Hot-Swap 레지스트리: 시스템 재시작 없이 런타임에 모델을 추가하거나 제거할 수 있습니다.
강제 탐색 (Forced Exploration): 새로 추가된 모델은 초기에 일정 횟수 (예: 20 회) 강제적으로 선택되어 베이지안 사후분포를 부트스트랩한 후, UCB 선택으로 전환됩니다.
워밍업 사전 지식 (Warmup Priors): 오프라인 데이터로 학습된 충분 통계량을 초기값으로 로드하여 콜드 스타트 (Cold-start) 문제를 해결하고 초기 regret 을 줄입니다.

3. 주요 기여 (Key Contributions)

자율적 예산 제어: 알려진 시간 범위 (Horizon) 없이도, 요청당 비용 상한선을 폐루프로 강제하는 최초의 LLM 라우터입니다.
비정상성 복원력: 기하학적 망각을 통해 가격 변동과 품질 저하를 실시간으로 감지하고 대응하며, 예산을 준수하면서 적응합니다.
런타임 포트폴리오 관리: 재학습 없이도 새로운 모델을 런타임에 통합하고, 예산 제약 내에서 자동으로 품질 - 비용 틈새시장을 발견합니다.
초고속 성능: CPU 에서 평균 9.8ms 의 종단간 지연 시간 (Embedding 포함) 을 달성하며, 라우팅 결정 자체는 22.5µs 에 불과합니다.

4. 실험 결과 (Results)

1,824 개의 벤치마크 프롬프트와 3~4 개의 모델 포트폴리오를 대상으로 한 실험 결과는 다음과 같습니다.

예산 준수: 7 가지 다른 예산 상한선 설정에서 평균 요청당 비용은 목표치보다 0.4% 이상 초과하지 않았습니다.
가격 변동 대응: 가장 비싼 모델의 가격이 10 배 이상 급격히 하락했을 때, 시스템은 자동으로 해당 모델로 트래픽을 전환하여 품질을 최대 0.071 포인트 향상시켰으며, 예산을 준수했습니다.
품질 저하 감지: 모델의 품질이 조용히 저하되었을 때 (비용은 동일), 시스템은 보상 신호를 통해 이를 감지하고 예산 내에서 트래픽을 재분배하여 저하된 모델을 회피했습니다. 기존 비적응형 시스템은 예산을 6.9 배 초과하는 반면, ParetoBandit 은 예산을 지켰습니다.
콜드 스타트 온보딩: 새로운 모델이 추가되었을 때, 약 142 단계 이내에 예산 상한선을 위반하지 않으면서 의미 있는 채택률을 달성했습니다.
성능: CPU 단일 코어에서 초당 약 22,000 개의 요청을 처리할 수 있으며, LLM 추론 시간의 0.4% 미만의 오버헤드만 발생합니다.

5. 의의 및 결론 (Significance)

ParetoBandit 은 LLM 서비스의 운영 현실인 **비정상성 (Non-stationarity)**과 **예산 제약 (Budget Constraints)**을 동시에 해결하는 최초의 체계적인 솔루션입니다.

실무적 가치: 운영자는 고정된 모델 선택 대신, 달러 단위의 예산 상한선만 설정하면 시스템이 자동으로 품질과 비용의 최적 균형을 찾습니다.
신뢰성: 품질 저하나 가격 변동과 같은 예측 불가능한 환경 변화에서도 예산을 준수하면서 서비스를 유지할 수 있어, 생산 환경에서의 안정성을 보장합니다.
확장성: 새로운 모델의 추가나 제거가 빈번한 현대의 LLM 생태계에서 재학습 없이도 유연하게 대응할 수 있는 아키텍처를 제시합니다.

이 연구는 다중 모델 포트폴리오를 활용한 LLM 서비스의 미래 방향성을 제시하며, 밴딧 기반 라우팅이 비용 통제와 적응성을 갖춘 생산 환경의 필수 요소가 될 것임을 보여줍니다.