🤖 AI

UniScale: Adaptive Unified Inference Scaling via Online Joint Optimization of Model Routing and Test-Time Scaling

이 논문은 대규모 언어 모델 배포에서 우수한 품질-비용 트레이드오프를 달성하기 위해 문맥적 멀티 암드 밴딧(contextual multi-armed bandits)을 사용하여 모델 라우팅과 테스트 타임 스케일링을 단일 적응형 최적화 공간으로 통합하는 온라인 프레임워크인 UniScale을 소개한다.

원저자: Kaiyu Huang, Xingyu Wang, Mingze Kong, Zhubo Shi, Yuqian Hou, Hong Xu, Zhongxiang Dai, Minchen Yu, Qingjiang Shi

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaiyu Huang, Xingyu Wang, Mingze Kong, Zhubo Shi, Yuqian Hou, Hong Xu, Zhongxiang Dai, Minchen Yu, Qingjiang Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 바쁜 레스토랑 주방을 운영하고 있다고 상상해 보세요. 당신의 목표는 맛있는 음식(고품질의 답변)을 최대한 빠르고 저렴하게(낮은 계산 비용) 손님들에게 제공하는 것입니다.

LLM(대규모 언어 모델)의 세계에서, 셰프들은 전통적으로 이 두 가지 전략을 별개로 사용하여 관리해 왔습니다:

"메뉴 스위치" (모델 라우팅): 만약 손님이 간단한 샐러드를 주문하면, 당신은 주니어 요리사에게 보냅니다. 만약 손님이 복잡한 10코스 만찬을 주문하면, 당신은 헤드 셰프에게 보냅니다. 문제는, 당신에게는 몇 명의 특정 셰프들만 있다는 것입니다. 당신은 중간 단계의 요리를 위한 "중급" 셰프를 쉽게 찾을 수 없습니다. 당신은 단순한 샐러드를 받거나, 아니면 거대한 만찬을 받게 될 뿐입니다.
"추가 노력" (테스트 타임 스케일링): 동일한 셰프를 유지하되, 그들에게 더 열심히 생각하라고 지시합니다. 예를 들어, 수프를 한 번 맛보는 대신 다섯 번 맛보게 하거나, 음식을 내놓기 전에 세 가지 다른 레시피를 작성하게 할 수 있습니다. 문제는, 아무리 뛰어난 셰프라도 한계가 있다는 점입니다. 만약 요리가 너무 복잡하다면, 아무리 추가적인 생각을 해도 해결할 수 없으며, 그들은 번아웃(시간과 에너지 낭비)될 수 있습니다.

문제점:
오랫동안 이 두 전략은 분리되어 운영되었습니다. 이 논문은 이것이 마치 어떤 셰프를 사용할지 결정하는 매니저와, 그 셰프가 얼마나 열심히 일할지를 결정하는 또 다른 매니저가 서로 대화하지 못한 채 따로 존재하는 것과 같다고 주장합니다. 이는 비효율성을 초래합니다. 즉, 단순한 주문을 헤드 셰프에게 보내서 과하게 생각하게 만들거나, 어려운 주문을 주니어 셰프에게 보내서 너무 빨리 포기하게 만들 수 있습니다.

해결책: UNISCALE
저자들은 UNISCALE(Unified Inference Scaling)이라는 새로운 시스템을 소개합니다. 이것은 전체 주방을 실시간으로 관리하는 초지능적인 헤드 셰프라고 생각하면 됩니다.

단순히 셰프를 선택하거나 노력의 정도를 선택하는 대신, 이 헤드 셰프는 모든 주문을 살펴보고 두 가지 결정을 즉각적으로 결합한 맞춤형 계획을 세웁니다.

"이 주문은 까다로우니, 4성급 셰프를 사용하되 검토를 두 번 하게 하자."
"이 주문은 쉬우니, 1성급 셰프를 사용하되 안전을 위해 한 번 더 확인하게 하자."
"이 주문은 악몽 같은 수준이니, 5성급 셰프가 다섯 가지 버전을 작성하고 그중 가장 좋은 것을 고르게 하자."

학습 방법 ("스마트 웨이터"):
주방은 혼란스럽습니다. 주문은 계속 바뀌고, 새로운 셰프가 합류하기도 하며, 때로는 기존의 셰프가 떠나기도 합니다. 헤드 셰프가 모든 규칙을 다 외울 수는 없습니다. 대신, UNISCALE은 직접 해보며 배우는 스마트 웨이터처럼 행동합니다.

이 방식은 LinUCB(도박과 의사결정에 사용되는 수학적 기법의 일종)를 사용합니다.
음식을 서빙할 때마다 피드백을 받습니다: "맛있었는가?" 그리고 "비용이 얼마나 들었는가?"
이 피드백을 사용하여 정신적 지도를 구축합니다. 이를 통해 "수학 문제의 경우, 4번의 검토를 거치는 8B 모델이 완벽하다"는 것과 "코딩의 경우, 2번의 검토를 거치는 14B 모델이 더 낫다"는 것을 학습합니다.
결정적으로, 이 방식은 탐색(새로운 조합을 시도하여 효과가 있는지 확인하는 것)과 활용(이미 잘 작동한다고 알고 있는 것을 사용하는 것) 사이의 균형을 맞춥니다.

비밀 병기:
이 시스템을 빠르고 효율적으로 만들기 위해, 두 가지 특별한 기술이 있습니다.

"조기 종료" (경로 인식 조기 종료): 셰프들이 여러 레시피를 작성하고 있다고 상상해 보세요. 시스템에는 "맛을 보는 사람"(검증기)이 있어 작업이 진행되는 동안 결과물을 체크합니다. 만약 맛을 보는 사람이 하나의 레시피가 분명히 형편없을 것이라고 판단하면, 시스템은 즉시 해당 셰프에게 그 작업을 중단하라고 지시합니다. 이는 나쁜 레시피가 완성될 때까지 기다리지 않음으로써 엄청난 시간과 에너지를 절약해 줍니다.
"통합 성적표" (비용 모델): 이 시스템은 단순히 "단계"를 세지 않습니다. 하나의 통합된 방식으로 "노력"을 계산합니다. 시스템은 무거운 냄비를 옮기는 것(메모리)이 채소를 써는 것(연산)만큼이나 힘들다는 것을 이해합니다. 이를 통해 많은 일을 하는 작은 셰프와 적은 일을 하는 큰 셰프를 동등한 조건에서 비교할 수 있습니다.

결과:
논문은 이 시스템을 수학 문제(AIME 시험 등)에 대해 테스트했습니다.

더 나은 균형: UNISCALE은 모든 질문에 대한 "최적의 지점"을 찾아냈습니다. 단순히 가장 큰 모델을 고르거나 가장 많은 노력을 기울이는 대신, 최적의 조합을 찾아냈습니다.
더 매끄러운 곡선: "저렴하지만 나쁜" 상태에서 "비싸지만 좋은" 상태로 급격히 변하는 대신, UNISCALE은 비용을 조금 더 들여 조금 더 나은 답변을 얻을 수 있는 매끄러운 곡선을 만들어냈습니다.
적응성: "주방"이 변했을 때(예: 셰프가 떠나거나 주문의 유형이 바뀌었을 때), UNISCALE은 빠르게 새로운 최적의 전략을 찾아냈지만, 기존 시스템들은 정체되거나 실수를 저질렀습니다.

요약하자면:
UNISCALE은 오케스트라의 숙련된 지휘자와 같습니다. 단순히 악기를 더 크게 연주하게 하거나(더 큰 모델), 음악가들에게 더 빨리 연주하라고 요구하는(더 많은 노력) 대신, 어떤 음악가가 어떤 파트를 연주할지, 그리고 어떻게 연주할지를 실시간으로 음악을 들으며 역동적으로 결정합니다. 동시에 잘못된 음을 연주하는 음악가가 있으면 즉시 멈추게 합니다. 그 결과, 최소한의 에너지(낮은 비용)로 아름다운 공연(높은 품질)을 만들어냅니다.

기술 요약: UNISCALE

1. 문제 정의

대규모 언어 모델(LLM)의 실제 배포 환경에서, 추론 품질과 계산 비용 사이의 균형을 맞추는 것은 매우 중요한 과제입니다. 기존의 접근 방식들은 일반적으로 다음 두 가지 독립적인 차원을 통해 이 트레이드오프를 해결하려고 합니다:

모델 라우팅(Model Routing): 이질적인 모델 풀에서 서로 다른 규모의 모델을 선택하는 방식입니다. 이는 광범위한 품질-비용 스펙트럼을 커버하지만, 불연속적인 성능 및 비용의 급격한 변화(discrete jumps)를 유발하는 거친 입도(coarse granularity)로 작동합니다.
테스트 타임 스케일링(Test-Time Scaling, TTS): 고정된 모델 내에서 추론 시간 계산량(예: Best-of-N, Beam Search, 또는 Process Reward Models 활용)을 조절하는 방식입니다. 이는 미세한 제어를 제공하지만, 기본 모델의 내재적 능력에 근본적으로 제약을 받으며, 계산량이 증가함에 따라 수확 체감(diminishing returns) 현상이 나타나는 경우가 많습니다.

이러한 메커니즘들의 분리된 설계는 쿼리 분포, 사용자 목표, 모델 가용성이 변화하는 동적인 환경에서의 적응성을 제한합니다. 또한, 이들을 별개로 취급함으로써 모델 선택과 추론 전략 사이의 시너지 효과를 활용할 수 있는 능력을 제한합니다.

2. 방법론

통합 추론 스케일링 (Unified Inference Scaling, UIS)

저자들은 모델 라우팅과 TTS를 단일 최적화 공간으로 통합하는 패러다임인 **통합 추론 스케일링(UIS)**을 도입합니다. 추론 실행은 결합된 구성 요소인 $(M, QP, CP, BS)$에 의해 매개변수화됩니다:

$M$ : 선택된 베이스 모델.
$QP$: 질문 병렬성(Question Parallelism, 탐색할 서브트리의 수).
$CP$: 후보 병렬성(Candidate Parallelism, 단계당 병렬 샘플 수).
$BS$: 빔 크기(Beam Size, 유지될 검증된 노드의 수).

이러한 정식화는 TTS가 모델 규모 간의 불연속적인 간극을 완화할 수 있고, 더 큰 모델로의 라우팅이 작은 모델에서의 공격적인 TTS에 따른 수확 체감을 완화할 수 있는 풍부한 설계 공간을 창출합니다.

UNISCALE 프레임워크

적응형 UIS 문제를 해결하기 위해, 저자들은 컨텍스추얼 멀티 암드 밴딧(contextual multi-armed bandit) 문제로 모델링된 온라인 프레임워크인 UNISCALE을 제안합니다.

LinUCB를 통한 온라인 학습: 시스템은 구성 요소 선택을 온라인 최적화 작업으로 취급합니다. 쿼리와 액션 구성(모델 + TTS 전략)을 공유된 의미론적 잠재 공간(semantic latent space)으로 매핑하기 위해 트랜스포머 기반 인코더를 사용합니다. 선형 상한 신뢰 구간(Linear Upper Confidence Bound, LinUCB) 알고리즘을 채택하여, 높은 예측 보상(exploitation)과 고차원 공간에서의 불확실성(exploration) 사이의 균형을 맞추며 추론 정책을 학습합니다.
경로 인식 조기 종료(Path-Aware Early Exiting): TTS 워크플로우에서의 "스트래글러 효과(straggler effect)"를 해결하기 위해, UNISCALE은 잠재력이 낮은 추론 경로를 동적으로 종료합니다. 검증기 점수를 최종 정답의 정확도 지표로 활용함으로써, 시스템은 진행 중인 경로의 이론적 최대 잠재력을 계산합니다. 만약 특정 경로가 완벽한 미래 성능 하에서도 현재의 최적 결과(current best result)를 넘어설 수 없다고 판단되면 즉시 종료되어, 최종 선택 품질을 저해하지 않으면서 계산 비용을 크게 절감합니다.
밀집된 검증 피드백(Dense Verification Feedback): 희소한 이진(binary) 정답 신호에 의존하는 대신, 프레임워크는 TTS의 네이티브 검증기 점수를 포함합니다. 이는 더 밀집된 감독 신호를 제공하여, 에이전트가 논리적 엄밀함의 미묘한 차이를 인지하고 우수한 성능을 가진 구성을 선택하도록 유도합니다.
UIS 비용 모델: 일관된 최적화를 보장하기 위해, 프레임워크는 **등가 FLOPs(eFLOPs)**를 사용하여 계산 및 메모리 오버헤드를 단일 지표로 매핑합니다. 이는 하드웨어 산술 강도(arithmetic intensity)를 고려하여, 계산 중심(compute-bound) 작업과 메모리 중심(memory-bound) 작업 사이의 간극을 메웁니다.

복합 보상 함수는 추론 품질(정확도 및 검증기 점수)과 비용을 결합하여, 시스템이 다양한 사용자 우선순위(예: 비용 민감형 vs 품질 우선형)에 적응할 수 있도록 합니다.

3. 주요 기여

통합 패러다임: 모델 라우팅과 TTS를 단일 결정 공간으로 통합하여, 거친 입도의 라우팅과 용량 제한적인 TTS의 한계를 극복하는 **통합 추론 스케일링(UIS)**을 제안하였습니다.
적응형 프레임워크 (UNISCALE): 비정상 상태(non-stationary) 환경에서 적응형 추론 정책을 학습하는 컨텍스추얼 밴딧(LinUCB) 기반의 온라인 알고리즘을 제안하였으며, 효율적인 교차 액션 지식 전이를 위해 의미론적 표현을 활용합니다.
효율성 메커니즘:
- 경로 인식 조기 종료: TTS 워크플로우에서 불필요한 계산을 줄이는 동적 가지치기(pruning) 메커니즘입니다.
- 밀집된 검증 피드백: 검증기 점수를 사용하여 보상 신호를 밀집화함으로써 정책 수렴을 개선하는 방법입니다.
- 통합 비용 모델링: 하드웨어 수준의 자원 소비를 정확하게 반영하는 eFLOPs 기반의 비용 모델입니다.
실험적 검증: TTS 전용, 라우팅 전용, 그리고 전체 UIS 시나리오 모두에서 UNISCALE이 (Random, Greedy, MLP, k-NN, Thompson Sampling, NeuralUCB를 포함한) 베이스라인 모델보다 일관되게 우수한 성능을 보임을 광범위한 실험을 통해 입증하였습니다.

4. 실험 결과

저자들은 Qwen3 모델 시리즈와 Skywork PRM 검증기를 사용하여 AIME'24, AIME'25, MATH-500 데이터셋의 210개 인스턴스에 대해 UNISCALE을 평가했습니다.

성능: UNISCALE은 비용 민감형(Cost-Sensitive) 및 품질 우선형(Quality-Priority) 모드 모두에서 가장 높은 보상과 가장 낮은 누적 후회(cumulative regret)를 달 기록했습니다. 전체 UIS 공간에서, 이는 모든 베이스라인보다 우수한 미세한 품질-비용 프런티어(frontier)를 제공했습니다.
절제 연구(Ablation Studies):
- 의미론적 표현: 액션 의미론적 특징을 제거했을 때(one-hot 벡터 사용) 누적 후회가 높아졌으며, 이는 의미론적 매핑이 고차원 공간에서의 정책 최적화를 가속화함을 확인시켜 줍니다.
- 조기 종료: 이 메커니즘은 정확도에 거의 영향이 없으면서(<1pp) 계산 부하를 약 87%, 메모리 액세스를 약 78% 감소시켰습니다.
- 밀집 피드백: 이진 정답 대신 검증기 점수를 사용했을 때, 품질 우선 모드에서 정확도가 5.62pp 향상되었고 비용은 51.3% 감소했습니다.
강건성: UNISCALE은 환경 변화(예: 모델 추가/삭제 및 보상 모드 전환)에 대한 강력한 적응력을 보여주었으며, k-NN과 같은 베이스라인이 어려움을 겪는 상황에서도 빠르게 정책을 재조정하여 최적의 트레이드오프를 유지했습니다.

5. 의의 및 주장

본 논문은 UNISCALE이 대규모 AI 추론 오케스트레이션을 위한 통합된 이론적 토대와 결정 공간을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

기술적 사일로(Silos) 타파: 모델 라우팅과 TTS를 통합하여, 추론 최적화를 휴리스틱 규칙에서 데이터 기반 자동화 정책으로 전환합니다.
그린 AI (Green AI): 조기 종료와 통합 비용 모델링을 통해 불필요한 계산을 최소화함으로써, LLM 배포 시 발생하는 에너지 소비 문제를 직접적으로 다룹니다.
민주화: 프레임워크는 품질-비용 트레이드오프에 대한 미세한 제어를 제공하여, 자원이 제한된 엣지 디바이스가 로컬 역량을 지능적으로 활용하거나 클라우드 업그레이드를 활용할 수 있게 함으로써 디지털 격차를 해소할 잠재력을 가집니다.
개인정보 보호: 추상화된 의미론적 결정 공간은 연합 오케스트레이션(federated orchestration)과 호환되어, 원시 쿼리 데이터에 접근하지 않고도 익명화된 파라미터 업데이트를 통해 글로벌 정책 진화를 가능하게 합니다.

저자들은 현재의 성능가 프로세스 보상 모델(PRM)의 정밀도에 의해 조절된다는 점을 언급하며, 더 일반화 가능한 검증 메커니즘의 개발을 향후 연구 방향으로 제시하였습니다.