기술 요약: 소형 LLM 을 위한 제로샷 신뢰도 추정

문제 정의

로컬-클라우드 라우팅을 위한 소형 언어 모델 (SLM, 7~8B 파라미터) 의 신뢰할 수 있는 배포는 정확한 신뢰도 추정에 달려 있습니다. 목표는 쉬운 쿼리는 저렴한 로컬 모델로 라우팅하고, 어려운 쿼리는 비싼 클라우드 모델로 에스컬레이션하는 것입니다. 지배적인 접근 방식은 라벨이 지정된 데이터를 사용하여 모델 성공을 쿼리 임베딩 기반으로 예측하는 지도 학습 분류기 (예: RouteLLM) 를 훈련하는 것입니다. 그러나 이 접근 방식은 취약성 (brittleness) 을 겪습니다: 지도 학습 추정기는 모델의 내부 능력보다는 특정 쿼리 분포의 속성 ("쉬운" 질문에 해당하는 임베딩 영역) 을 학습하기 때문입니다. 결과적으로 이러한 추정기는 쿼리 분포가 변화하거나, 새로운 도메인이 도입되거나, 라벨이 지정된 데이터가 존재하지 않는 콜드스타트 (cold-start) 시나리오에서 이전 (transfer) 에 실패합니다.

방법론

본 논문은 세 가지 7~8B 모델 계열 (Qwen-2.5-7B, Llama-3.1-8B-Instruct, Mistral-7B-Instruct) 과 두 가지 데이터셋 (MMLU-Pro 및 TriviaQA) 에 걸쳐 제로샷 신뢰도 신호를 지도 학습 베이스라인과 비교 평가합니다.

평가된 신호

1. 제로샷 신호 (훈련 데이터 없음):

   • 로그확률 (logprob): 생성된 답변의 토큰당 평균 로그확률로, [0, 1] 범위로 매핑됩니다. 이는 모델의 토큰 수준 놀라움을 측정합니다.
   • 자기 평가 (GSA): "당신은 확신합니까?"라고 묻는 단일 토큰 프로브로, 점수는 "YES" 토큰의 정규화된 확률입니다.
   • 검색 조건부 자기 평가 (GSA v3): 유사도 점수가 임계값 ($\tau=0.70$) 을 초과할 때만 검색된 지식을 주입하는 새로운 생성 전 (pre-generation) 신호입니다. 강력한 히트가 발견되지 않으면 프롬프트는 맥락 부재로 인해 모델이 "NO" 쪽으로 선구 (primed) 되는 것을 방지하기 위해 베어 프롬프트와 바이트 단위로 동일하게 유지됩니다.
   • 자기 일관성 (SC): 두 개의 독립적인 생성 간의 자카드 유사도입니다.
   • 지식 유사도 (KS): 쿼리와 검색된 지식베이스 항목 간의 코사인 유사도입니다.

2. 지도 학습 베이스라인:

   • RouteLLM-nm: 로컬 충분성을 예측하기 위해 쿼리 임베딩으로 훈련된 로지스틱 회귀.
   • RouteLLM-pks: 지식 유사도와 연결된 쿼리 임베딩으로 훈련된 로지스틱 회귀.
   • 훈련은 모델당 1,000 개의 라벨이 지정된 예제로 수행되었습니다.

실험 설정

• 데이터셋: MMLU-Pro (10 지선다형 MCQ, 모델당 약 950 개 쿼리) 및 TriviaQA (개방형, 모델당 500 개 쿼리).
• 평가: 1,000 샘플 부트스트랩 신뢰구간을 사용한 수신자 조작 특성 곡선 아래 면적 (AUROC).
• 판정자: 라벨링에 Claude Opus 4.5 사용, 대체율 (fallback rates) 추적.

주요 결과

1. 분포 내 (In-Distribution) 성능

MMLU-Pro 에서 로그확률이 가장 우수한 단일 제로샷 신호로 나타났으며, Qwen(0.714), Llama(0.650), Mistral(0.678) 의 AUROC 를 달성했습니다. 이는 0.644 에서 0.676 사이였던 지도 학습 베이스라인 (RouteLLM-nm/pks) 을 일치시키거나 초과했습니다. 주목할 점은 1,000 개의 예제로 훈련된 지도 학습 베이스라인이 제로샷 로그확률 신호를 일관되게 초과한 적이 없다는 것입니다.

2. 분포 외 (Out-of-Distribution, 교차 데이터셋) 이전

가장 중요한 발견은 이전성 (transferability) 의 차이입니다:

• 지도 학습 베이스라인의 붕괴: MMLU-Pro 에서 훈련된 모델을 TriviaQA 에서 테스트했을 때, RouteLLM 성능은 우연 수준 (AUROC 0.512–0.564) 으로 떨어졌습니다.
• 제로샷 신호의 개선: 로그확률 성능은 TriviaQA 에서 증가하여 Qwen(0.828), Llama(0.800), Mistral(0.717) 의 AUROC 에 도달했습니다.
• 설명: 지도 학습 신호는 훈련 분포에 특화된 쿼리 측 속성 (임베딩 영역) 을 학습합니다. 반면 제로샷 신호는 모델에 내재적이고 입력 분포와 무관한 생성 측 속성 (토큰 수준 놀라움) 을 측정합니다.

3. 학습 곡선 및 지연 시간

• 학습 곡선: 지도 학습 라우팅은 작은 샘플 크기 (N=25) 에서 불안정하며 N=250–500 부근에서 수렴하지만, N=1,000 에서조차 제로샷 베이스라인을 능가하지는 못합니다.
• 지연 시간: 로그확률은 완전한 생성 (1.5–4.8 초) 을 필요로 합니다. GSA v3 는 생성 전 필터로 작용하여 로그확률보다 3–10 배 빠른 지연 시간 (0.5–0.8 초) 을 제공하며, 베어 자기 평가 대비 최대 +0.069 AUROC 를 개선합니다.

4. 신호 융합

여러 신호의 단순 평균 (Naive fusion) 은 일반적으로 성능을 저하시켰으며, 강력한 신호 (로그확률) 를 지식 유사도와 같은 약한 신호 쪽으로 끌어내렸습니다 (지식 유사도는 일관되게 반전되었습니다).

의의 및 주장

본 논문은 평균 토큰 로그확률이 사실적 QA 작업에 대한 지도 학습 라우팅에 대한 견고하고 비용이 들지 않는 대안이라고 주장합니다. 그 주요 의의는 다음을 입증하는 데 있습니다:

1. 생성 측 신호는 이전되지만, 쿼리 측 신호는 이전되지 않는다: 모델의 생성 과정을 측정하는 것과 쿼리 분포를 측정하는 것 사이의 기계적 차이는 분포 변화 하에서 지도 학습 라우팅이 실패하는 이유를 설명합니다.
2. 지도 학습은 종종 불필요하다: 사실적 작업에서 7~8B 모델의 경우, 1,000 개의 라벨이 지정된 예제로 분류기를 훈련하는 것은 간단한 제로샷 로그확률 확인보다 이점이 없으며, 도메인이 변경되면 완전히 실패합니다.
3. 검색 조건부 자기 평가: 이 새로운 생성 전 신호는 부정적인 선구 효과를 도입하지 않고 신뢰도 판단을 선택적으로 근거화하는 저지연 대안을 제공합니다.

한계

저자들은 명시적으로 범위가 다음으로 제한됨을 지적합니다:

• 두 가지 사실적 QA 데이터셋 (MMLU-Pro, TriviaQA); 추론, 창의적, 다회전 작업은 테스트되지 않음.
• 유사한 규모 (7~8B) 의 세 가지 모델; 로그확률이 규모 증가와 함께 향상된다는 가설은 테스트되지 않음.
• 정적 지식베이스; 성장하는 KB 를 가진 생산 환경은 시뮬레이션되지 않음.
• 라벨 노이즈 (판단자 간 불일치 약 13%), 그러나 차등 비교는 견고함.

본 논문은 사실적 QA 에 대한 로컬-클라우드 라우팅을 배포하는 실무자들에게 로그확률을 기본 시작점으로 삼아야 하며, GSA v3를 저지연 전처리 필터로 사용해야 한다고 결론지으며, 생성 전 라우팅이 엄격히 필요한 안정적이고 알려진 분포를 가진 시나리오에서만 지도 학습 훈련을 예약해야 한다고 명시합니다.