🤖 machine learning

Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA

이 논문은 고정된 k개의 전문가를 사용하는 베이스라인의 성능을 유지하거나 능가하면서도 연산 효율성을 최적화하기 위해, 라우터의 신뢰도와 불일치 신호에 따라 토큰당 활성 전문가의 수를 동적으로 조정하는 Mixture-of-Experts LoRA를 위한 파라미터가 필요 없는 드롭인(drop-in) 라우팅 메커니즘인 CARE를 소개한다.

원저자: Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수천 명의 작은 음악가들로 구성된 거대하고 똑똑한 오케스트라의 지휘자라고 상상해 보세요. 이 오케스트라는 인간처럼 읽고 쓸 수 있는 컴퓨터 뇌의 일종인 '거대 언어 모델(Large Language Model)'입니다. 이 뇌가 수학 문제를 풀거나 코드를 작성하는 것과 같은 특정 작업을 잘 수행하도록 만들기 위해, 우리는 오케스트라 전체에 새로운 곡을 가르치는 대신, 정확히 무엇을 해야 할지 아는 작은 '전문가' 섹션을 추가합니다. 이것을 LoRA(Low-Rank Adaptation)라고 부릅니다. 이는 마치 전체 악보를 새로 쓰는 대신, 거대한 합창단 속에 몇 명의 전문 솔리스트를 슬쩍 끼워 넣어 특정 노래를 수정하는 것과 같습니다.

이제, 이 솔리스트들이 MoE(Mixture-of-Experts) 시스템으로 조직되어 있다고 상상해 보세요. 오케스트라가 음표(또는 단어)를 연주할 때, '라우터(router)'는 어떤 솔리스트가 연주해야 할지를 결정합니다. 기존 방식은 매우 경직되어 있었습니다. 라우터는 음표가 얼마나 쉽거나 어려운지와 상관없이 항상 똑같은 수의 솔리스트(예를 들어 4명)를 선택했습니다. 이는 마치 간단한 시리얼 한 그릇을 만드는 데 세계적인 셰프 4명을 고용하고, 복잡한 5코스 만찬을 만드는 데는 단 2명의 셰프만 고용하는 것과 같습니다. 쉬운 작업에는 에너지를 낭비하고, 어려운 작업에는 지원이 부족하게 만드는 셈입니다. 큰 질문은 이것입니다. "라우터를 더 똑똑하게 만들 수 있을까? 라우터가 음표를 보고, 그것이 까다롭다는 것을 깨달은 뒤, '이봐, 이 곡에는 더 많은 셰프가 필요해!'라고 말할 수 있을까? 그러면서도 오케스트라 전체의 속도를 늦추지 않고 말이죠."

이 논문은 바로 이 문제를 해결하기 위해 CARE(Confidence-Adaptive Routing of Experts)라는 영리한 새로운 규칙을 소개합니다. 저자들은 라우터의 의사 결정 과정 속에 이미 숨겨진 비밀 신호가 있다는 것을 발견했습니다. 라우터가 단어에 대해 확신이 있을 때는 한두 명의 전문가를 매우 높은 확신을 가지고 선택합니다. 반면 혼란스러울 때는 여러 전문가에게 투표를 분산시킵니다. CARE는 이 '확신 신호'를 사용하여 각 단어에 몇 명의 전문가를 고용할지 결정합니다. 라우터가 확신이 있다면 CARE는 단 몇 명만 고용합니다. 만약 라우터가 불확실하거나 고용된 전문가들이 서로 의견 충돌을 일으키기 시작하면, CARE는 더 많은 전문가를 고용합니다.

연구진은 두 개의 강력한 컴퓨터 뇌(LLaMA-3.1-8B 및 Qwen2.5-7B)를 사용하여 상식, 수학, 코딩, 일반 지식을 포함한 8가지 유형의 과제를 테스트했습니다. 그들은 CARE가 효율성을 위한 마법 같은 기술이라는 것을 발견했습니다. 필요한 곳에만 더 많은 '두뇌 전력'을 쏟아부음으로써, CARE는 기존의 경직된 방식과 동일한 총 컴퓨팅 파워를 사용하면서도 어려운 작업에서의 정확도를 높였습니다. 실제로, 기존 방식과 동일한 수준의 정확도를 얻기 위해 CARE는 평균적으로 12% 적은 전문가를 사용했습니다. 이는 마치 똑같이 맛있는 식사를 하면서도 음식 낭비를 줄이는 것과 같습니다.

나아가, CARE는 단순히 비용을 절감할 뿐만 아니라 내장된 거짓말 탐지기 역할도 합니다. 왜냐하면 CARE는 라우터가 혼란스러워하거나 전문가들이 의견 차이를 보일 때를 알 수 있기 때문에, 컴퓨터가 이해하지 못하는 질문(분포 외 이벤트, out-of-distribution event)에 직면했을 때 이를 감지할 수 있습니다. 논문은 CARE가 자신의 작업을 확인하기 위해 컴퓨터가 질문을 여러 번 반복해서 실행해야 하는 다른 방법들보다 이러한 혼란스러운 순간을 더 잘 포착한다는 것을 보여줍니다. CARE는 전문가를 고용하는 규칙을 변경하는 것만으로, 추가적인 훈련 없이 단 한 번의 통과(single pass)만으로 이 모든 일을 해냅니다. 이는 경직된 '일률적 시스템'을 에너지를 언제 써야 할지 정확히 아는 '유연하고 똑똑한 시스템'으로 탈바꿈시킵니다.

기술 요약: CARE (Confidence-Adaptive Routing of Experts)

문제 정의

현재 Mixture-of-Experts (MoE) 방식의 Low-Rank Adaptation (LoRA) 변형 모델들은 모든 토큰이 토큰의 난이도와 상관없이 동일한 수의 전문가를 활성화하는 고정된 top- $k$ 라우팅 메커니즘을 채택하고 있습니다. 이러한 접근 방식은 다음과 같은 이유로 비효율적입니다:

쉬운 토큰 (예: 기능어, 명확한 연속어): 적은 양의 적응(adaptation)만 필요함에도 불구하고, 고정- $k$ 메커니즘은 이들에 대해 계산 예산을 과다하게 소비합니다.
어려운 토큰 (예: 모호하거나 분포 외(out-of-distribution) 입력): 더 많은 용량이 필요할 수 있으나, 고정- $k$ 메커니즘은 이들을 충분히 지원하지 못해 정확도를 제한합니다.

LLM에서 불확실성을 추정하기 위해 사용하는 기존 방법들은 앙상블, Monte Carlo dropout, 또는 베이지안 근사법에 의존하며, 이는 여러 번의 순전파(forward pass)나 추가적인 파라미터를 요구하여 추론 비용을 배가시킵니다. 본 논문은 다음과 같은 질문을 던집니다: 추가 파라미터 없이, 단일 순전파 과정 내에서 가용한 불확실성 신호를 활용하여 토큰당 활성 전문가 수를 조절할 수 있는가?

방법론: CARE

저자들은 모든 MoE-LoRA 백본에 즉시 적용 가능한 드롭인(drop-in) 교체 방식인 CARE (Confidence-Adaptive Routing of Experts)를 제안합니다. CARE는 추가 파라미터 없이 단일 순전파 내에서 작동합니다.

핵심 메커니즘

불확실성 신호: CARE는 라우터의 출력 분포 $p$ 와 선택된 전문가들로부터 직접 유도된 두 가지 신호를 활용합니다:
- 신뢰도 (Aleatoric): 라우터 분포의 집중도로 측정됩니다. 분포가 뾰족할수록(top-1 전문가에 질량이 집중됨) 높은 신뢰도를 나타내며, 평탄할수록 모호함을 나타냅니다.
- 불일치 (Epistemic): 허용된 전문가들 간의 출력 분산으로 측정됩니다. 라우터가 확신하더라도(뾰족하더라도), 상위 전문가들의 의견이 다를 수 있으며 이는 잔여 불확실성을 시사합니다.
뉴클리어스 전문가 허용 (Nucleus Expert Admission):
- 뉴클리어스 샘플링(nucleus sampling)에서 영감을 받아, CARE는 누적 질량이 임계값 $\tau$ 에 도달할 때까지 라우터 가중치가 높은 순서대로 전문가를 허용합니다.
- 에피스테믹 확장: 허용된 전문가들 사이의 불일치가 임계값 $\delta$ 를 초과하면, CARE는 모호성을 해결하기 위해 최대 $\gamma$ 개의 전문가를 추가로 허용합니다.
- 최종 개수 $k(h)$ 는 $k_{min}$ 과 $k_{max}$ 사이로 제한됩니다.
예산 온도 조절기 (Budget Thermostat):
- 고정- $k$ 베이스라인과의 공정한 비교를 위해, 전역 임계값 $\tau$ 는 소규모 홀드아웃(held-out) 데이터셋에서 보정됩니다.
- 이 "온도 조절기"는 평균 활성 전문가 수가 목표 예산 $B$ (예: $B=4$ )와 일치하도록 $\tau$ 를 조정합니다. 이를 통해 CARE는 전체 FLOPs를 유지하면서 쉬운 토큰의 계산 자원을 어려운 토큰으로 재배분할 수 있습니다.
불확실성 판독 (Uncertainty Read-out):
- CARE는 라우팅 엔트로피와 평균 전문가 불일치를 혼합하여 시퀀스 수준의 불확실성 점수 $u(x)$ 를 생성합니다. 이 점수는 추가적인 추론 비용 없이 분포 외(OOD) 탐지 및 선택적 예측(abstention)에 사용됩니다.

주요 기여

신호 식별: 저자들은 MoE-LoRA의 라우터 출력 분포가 유효한 토큰별 불확실성 신호임을 확인하여, 외부 불확실성 추정기 없이도 이를 가능하게 했습니다.
알고리즘 설계: CARE는 에피스테믹 불일치 확장을 포함한 뉴클리어스 기반 허용 규칙과 예산 온도 조절기를 도입합니다. 이는 파라미터가 필요 없으며 단일 순전파만으로 작동합니다.
이론적 지원: 논문은 다음을 포함한 이론적 보증을 제공합니다:
- 뉴클리어스 충실도 (Nucleus Fidelity): 절단된 전문가 집합의 근사 오차를 경계합니다.
- 신뢰도 순위 (Confidence Ranking): 단조성 가정 하에 라우팅 집중도가 선택적 분류를 위한 베이즈 최적 점수임을 증명합니다.
- 예산 최적성 (Budget Optimality): 임계값 규칙이 오목한(concave) 정확도-계산 곡선 하에서 계산 예산의 최적 할당을 구현함을 보여줍니다.
- 불일치 해석 (Disagreement Interpretation): 전문가 불일치를 에피스테믹 불확실성(앙상블 분산)의 추정치로 프레임화합니다.

실험 결과

저자들은 네 가지 작업군(상식 추론, 수학적 추론, 코드 생성, 지식 작업)에 대해 LLaMA-3.1-8B 및 Qwen2.5-7B에서 CARE를 평가했습니다.

정확도 vs. 계산량: 매칭된 평균 예산(예: 4개 전문가)에서, CARE는 상식 벤치마크에서 +0.5%, 수학/코드/지식 작업에서 **+0.9%**의 성능 향상을 보이며 고정- $k$ MoE-LoRA 베이스라인(예: FlyLoRA, MixLoRA)을 능가합니다.
계산 효율성: CARE는 고정- $k=4$ 베이스라인과 동일한 정확도를 달성하면서도 평균적으로 12% 적은 전문가를 활성화합니다.
OOD 탐지: CARE는 단일 패스 베이스라인인 Max-Softmax Probability (MSP) 및 라우팅 엔트로피(AUROC ~0.640)보다 유의미하게 개선된 OOD 탐지 성능(AUROC 0.668)을 보였으며, 단일 순전파만 사용함에도 불구하고 MC-dropout 및 딥 앙상블과 같은 다중 패스 프록시보다 우수한 성능을 보였습니다.
강건성: 분포 변화(더 어렵거나 모호한 입력) 상황에서, CARE는 동일한 계산 예산 하에 고정- $k$ (50.3%)보다 높은 정확도(53.1%)를 유지하며, 어려운 입력에 계산 자원을 동적으로 할당합니다.

의의 및 주장

본 논문은 CARE가 매개변수 효율적 미세 조정(parameter-efficient fine-tuning)에서 정적 할당에서 불확실성 기반 자원 할당으로의 전환을 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

효율성: 백본을 재학습하거나 파라미터를 추가하지 않고도 모델의 정확도를 높이거나 계산 요구량을 줄입니다.
단순성: 기존의 모든 MoE-LoRA 체크포인트의 게이팅 메커니즘을 대체할 수 있는 "드롭인" 규칙입니다.
이중 효용: 라우팅 결정의 부산물로서 작업 성능을 최적화하는 동시에 고품질의 불확실성 추정치를 제공합니다.

저자들은 CARE가 토큰별 불확실성이 이질적일 때(즉, 쉽고 어려운 토큰이 섞여 있을 때) 그리고 정확도-계산 곡선이 오목할 때 가장 효과적이라고 언급합니다. 또한 프로덕션 커널에서의 정적 배칭(static batching) 문제와 라우터 분포가 유의미하다는 가정(퇴화된 라우터는 신호를 약화시킬 수 있음)에 대한 한계를 인정합니다.