Query-Level Uncertainty in Large Language Models

이 논문은 생성 토큰 없이도 모델의 지식 한계를 사전에 파악하여 효율적인 적응형 추론을 가능하게 하는 새로운 학습 없는 '내부 신뢰도 (Internal Confidence)' 기법을 제안하고, 이를 통해 RAG 및 모델 캐스캐이딩 환경에서 추론 비용을 줄이면서도 성능을 유지함을 실증합니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 자신의 한계를 언제, 어떻게 알 수 있을까?"**라는 질문에 대한 답을 제시합니다.

마치 우리가 "이 문제는 내가 풀 수 있을까?"라고 스스로에게 물어보는 것처럼, AI 도 자신의 지식 범위를 정확히 파악할 수 있어야 합니다. 이 논문은 그 방법을 **'내부 신뢰도 (Internal Confidence)'**라는 새로운 기술로 제안합니다.

이 내용을 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 문제: "답을 먼저 말하고, 나중에 후회하는 AI"

지금까지의 AI 는 보통 질문을 받으면 일단 답을 길게 작성한 뒤, "아, 내가 이걸 몰랐구나"라고 깨닫거나, 아니면 엉뚱한 소리를 지어내는 (할루시네이션) 경우가 많았습니다.

• 기존 방식 (Answer-Level Uncertainty): 요리사가 요리를 다 해놓고 "음... 이 요리 재료가 없는데?"라고 깨닫는 것과 같습니다. 이미 시간과 에너지를 다 썼습니다.
• 이 논문의 문제: "질문을 받기 전에, 내가 이 요리를 할 수 있는 재료가 있는지 먼저 확인하고 싶다."

2. 해결책: "질문만 보고도 아는 '내부 신뢰도'"

저자들은 AI 가 답을 하나도 쓰지 않은 상태에서, 질문을 입력받는 순간 AI 의 뇌 (내부 레이어) 를 스캔해서 "이거 내 지식에 있나?"를 판단하는 방법을 개발했습니다. 이를 **'내부 신뢰도 (Internal Confidence)'**라고 부릅니다.

🍳 비유: "요리사 머릿속의 체크리스트"

질문이 들어오면, AI 는 답을 말하기 전에 자신의 뇌 속 깊은 곳 (각각의 레이어와 단어) 을 빠르게 훑어봅니다.

• "이 질문의 핵심 단어들이 내 지식 창고에 있나?"
• "내 뇌의 각 부분이 이 질문에 대해 얼마나 자신감 있게 반응하나?"

이 과정을 통해 **"YES(할 수 있음)"**와 "NO(못함)" 중 어느 쪽에 더 가깝게 반응하는지 숫자로 계산합니다. 이 숫자가 높으면 "내가 잘 알고 있어, 바로 답할게!"라고 하고, 낮으면 "이건 내가 모른다, 검색을 해보거나 다른 전문가에게 맡겨야겠다"라고 판단합니다.

3. 왜 이 기술이 획기적인가? (두 가지 큰 장점)

이 기술은 두 가지 면에서 놀라울 정도로 효율적입니다.

🚀 장점 1: "스마트한 비용 절감 (RAG 와 모델 연동)"

AI 가 모든 질문에 대해 무조건 정교하게 답하려 하면 비용이 많이 듭니다. 이 기술은 AI 가 **"이건 내가 쉽게 풀 수 있어"**라고 판단하면 바로 답하고, **"이건 너무 어려워"**라고 판단하면 즉시 **검색 (RAG)**을 하거나 더 똑똑한 큰 AI에게 넘겨줍니다.

• 비유: 식당에서 손님이 간단한 "물 한 잔"을 요청하면 웨이터가 바로 줍니다. 하지만 "이 복잡한 요리를 만들어줘"라고 하면, 주방장이 직접 요리하기 전에 "이건 우리 주방에 재료가 없으니 외부 배달을 시키자"라고 판단합니다.
• 결과: 불필요한 계산 비용을 30 배~600 배나 줄이면서도, 전체적인 성능은 떨어지지 않습니다.

⏱️ 장점 2: "순간포착 (생성 전 판단)"

기존 방법들은 답을 다 써야만 "내가 틀렸나?"를 알 수 있었습니다. 하지만 이 방법은 질문을 받은 0.3 초 만에 판단을 내립니다.

• 비유: 시험지를 받아보고, 문제를 풀기 전에 "이건 내가 풀 수 있는 문제인가?"를 1 초 만에 판단하고, 못 풀 것 같으면 아예 풀지 않고 넘기는 것과 같습니다.

---

📝 요약: 이 논문이 우리에게 주는 메시지

1. AI 는 자신의 무지를 알아야 한다: AI 가 "모른다"고 솔직하게 말할 수 있어야 신뢰할 수 있습니다.
2. 생성 전 판단이 핵심: 답을 쓰기 전에 "내가 이걸 알까?"를 미리 체크하는 기술이 필요합니다.
3. 훈련 불필요 (Training-Free): 이 기술은 AI 를 다시 가르칠 필요 없이, 기존 AI 의 뇌 구조를 잘만 활용하면 됩니다.

한 줄 요약:

"이 기술은 AI 가 '내가 이 문제를 풀 수 있을까?'를 답을 쓰기 전에 0.3 초 만에 판단하게 하여, 시간과 돈을 아끼면서도 더 똑똑하고 신뢰할 수 있는 AI 를 만드는 방법입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 은 자신의 지식의 한계 (Knowledge Boundary) 를 인식해야 합니다. 즉, 자신이 답할 수 있는 질문과 그렇지 않은 질문을 구분할 수 있어야 합니다. 이러한 인식은 RAG(검색 증강 생성) 호출, 심층 추론 (Slow Thinking), 모델 캐스캐이딩 (Model Cascading), 또는 답변 거절 (Abstention) 과 같은 **적응형 추론 (Adaptive Inference)**을 가능하게 하여 비용 절감과 신뢰성 향상에 필수적입니다.
• 기존 방법의 한계: 기존의 불확실성 추정 (Uncertainty Estimation) 연구는 대부분 **답변 수준 (Answer-level)**에 집중합니다. 즉, 모델이 답변을 생성한 후 그 답변의 신뢰도를 평가합니다. 이는 불필요한 토큰 생성 비용을 발생시키며, 특히 긴 답변이 필요한 경우 계산 비용이 매우 큽니다.
• 핵심 문제: 토큰 생성을 시작하기 **전 (Pre-generation)**에, 주어진 쿼리에 대해 모델이 답할 수 있는지 여부를 판단할 수 있는 효율적인 방법이 필요합니다. 이를 **쿼리 수준 불확실성 (Query-Level Uncertainty)**이라고 정의합니다.

2. 제안 방법: 내부 신뢰도 (Internal Confidence)

저자들은 학습이 필요 없는 (Training-free) 새로운 방법인 **Internal Confidence (IC)**를 제안합니다. 이 방법은 모델이 명시적인 답변을 생성하지 않고도 내부 상태를 통해 지식의 경계를 추정합니다.

• 기본 아이디어:

  • LLM 은 특정 쿼리에 대해 "예/아니오" 형식의 자기 평가 (Self-evaluation) 를 수행할 수 있습니다.
  • 모델에 "이 질문에 정확히 답할 수 있는가?"라는 이진 질문을 던지고, 'Yes' 토큰이 할당된 확률 $P(\text{YES})$를 신뢰도 지표로 사용합니다.
  • 이는 기존 연구 (Kadavath et al., 2022) 의 $P(\text{TRUE})$ 개념을 차용하되, 답변 생성 없이 쿼리 입력만으로 수행합니다.

• 기술적 세부 사항:

  1. 계층 및 토큰별 확률 계산: 단순히 마지막 레이어의 마지막 토큰에서의 $P(\text{YES})$만 사용하는 것이 아니라, 모델의 모든 레이어 ($l$) 와 모든 토큰 ($n$) 위치에서 $P(\text{YES} | h^{(l)}_n)$을 계산합니다.
  2. 의사 결정 중심 (Decision Center): 실험 결과, 쿼리의 마지막 토큰과 마지막 레이어 (Top-right) 에서의 확률이 가장 높은 경향을 보이지만, 최적의 분리 지점은 모델과 태스크에 따라 다를 수 있음을 발견했습니다.
  3. 감쇠 인코딩 (Attenuated Encoding) 을 활용한 가중 평균:
     • 모든 레이어와 토큰의 신호를 단순히 평균하는 것이 아니라, **의사 결정 중심 (Decision Center)**을 기준으로 주변 신호에 가중치를 부여하여 집계합니다.
     • 가중치는 거리 ($|i-j|$) 에 따라 지수적으로 감소하는 감쇠 함수 (Equation 4) 를 사용하여 계산됩니다.
     • 수식: $IC(h) = \sum_{n=1}^{N} \sum_{l=1}^{L} w^{(l)}_n P(\text{YES} | h^{(l)}_n)$
     • 이 방식은 인접한 레이어와 토큰의 정보를 통합하여 더 정교한 신뢰도 점수를 생성하며, 추가 학습 데이터 없이도 일반화 성능을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 쿼리 수준 불확실성 개념 정립: 답변 생성 전, 모델이 쿼리를 해결할 수 있는지 여부를 판단하는 새로운 패러다임을 제시했습니다.
2. Training-free 및 Generation-free 방법론: 추가적인 미세 조정 (Fine-tuning) 이나 답변 생성 없이, 단일 순전파 (Single Forward Pass) 만으로 불확실성을 추정하는 효율적인 알고리즘을 개발했습니다.
3. 적응형 추론 지원: 제안된 방법을 통해 RAG 호출 여부 결정, 모델 캐스캐이딩 (작은 모델 vs 큰 모델), 심층 추론 트리거 등을 지능적으로 제어할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 사실적 질문 답변 (TriviaQA, SciQ) 및 수학적 추론 (GSM8K) 태스크에서 다양한 모델 (Phi-3.8B, Llama-8B, Qwen-14B) 을 대상으로 실험을 수행했습니다.

• 성능 (정확도):

  • 제안된 Internal Confidence는 기존 답변 기반 불확실성 추정 방법 (Perplexity, Semantic Entropy, P(TRUE) 등) 보다 AUROC와 PRR(Prediction Rejection Ratio) 지표에서 일관되게 우수한 성능을 보였습니다.
  • 특히 Qwen-14B 모델에서 평균 AUROC 67.1 을 기록하며 가장 높은 성능을 달성했습니다.
  • 단순 평균 (Naive Avg) 을 사용한 변형보다 감쇠 인코딩을 적용한 IC 가 더 우수한校准 (Calibration) 성능을 보였습니다.

• 효율성 (속도):

  • 압도적인 속도 향상: Internal Confidence 는 평균 0.3 초의 실행 시간을 소요하는 반면, 기존 답변 기반 방법들 (예: SAR, Semantic Entropy) 은 10 초에서 180 초 이상 소요되었습니다.
  • 속도 향상 비율: 기존 방법 대비 30 배에서 600 배 이상 빠른 속도를 기록했습니다.
  • 답변 길이에 따른 실행 시간 증가가 없으며, 답변이 길어질수록 기존 방법 대비 상대적인 속도 이점이 커집니다.

• 적용 시나리오 (Adaptive Inference):

  • 효율적 RAG: Internal Confidence 점수가 임계값보다 낮을 때만 RAG 를 호출하여, 불필요한 검색 비용을 줄이면서도 전체 정확도를 유지하는 "최적점 (Optimal Point)"을 발견했습니다.
  • 모델 캐스캐이딩: 작은 모델 (Phi-3.8B) 이 자신감 있게 답할 수 있는 질문은 스스로 해결하고, 그렇지 않은 경우에만 큰 모델 (Llama-8B) 로 위임하는 방식으로 비용을 절감하면서도 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 비용 효율성: LLM 의 추론 비용을 크게 절감하면서도 높은 신뢰도를 유지할 수 있는 실용적인 솔루션을 제공합니다. 이는 에이전트 (Agent) 워크플로우와 같은 고비용 시나리오에서 특히 중요합니다.
• 신뢰성 및 안전성: 모델이 자신의 지식 한계를 정확히 인지하여 허위 정보 (Hallucination) 를 생성하거나 위험한 답변을 하는 것을 방지할 수 있게 합니다.
• 일반성: 학습 데이터나 특정 도메인에 의존하지 않고 다양한 모델 아키텍처와 태스크에 적용 가능한 범용적인 베이스라인을 제시했습니다.

요약하자면, 이 논문은 LLM 이 답변을 생성하기 전에 "내가 이 질문에 답할 수 있는가?"를 내부 상태를 통해 빠르고 정확하게 판단하는 Internal Confidence를 제안함으로써, AI 시스템의 효율성과 신뢰성을 동시에 향상시키는 중요한 이정표를 제시합니다.