Rethinking Uncertainty Estimation in LLMs: A Principled Single-Sequence Measure

이 논문은 다중 시퀀스 생성에 의존하는 기존 방법의 비효율성을 지적하고, 그레디언트 디코딩으로 얻은 단일 시퀀스의 음의 로그 가능도 (G-NLL) 를 이론적으로 정립된 불확실성 추정 지표로 제안하여 계산 효율성과 성능을 동시에 개선함을 보여줍니다.

핵심

1. 문제: "정답을 모르겠는데, 어떻게 확신을 가질까?"

거대 언어 모델 (LLM) 은 질문에 답할 때, 마치 수천 명의 전문가들이 모여 토론하는 것처럼 작동합니다. 하지만 이 모델은 때로는 엉뚱한 소리 (할루시네이션) 를 하기도 합니다. 그래서 우리는 "이 모델이 지금 답을 얼마나 확신하는지"를 측정하는 불확실성 (Uncertainty) 지수가 필요합니다.

기존의 방식 (비효율적인 방법):
지금까지의 연구들은 **"여러 번 물어보고 비교하는 방식"**을 썼습니다.

비유: 식당에서 요리사가 요리를 할 때, "이 요리를 100 번 만들어서 100 가지 버전의 맛을 다 맛보고, 그중에서 가장 맛있는 것을 골라내야만 '이 요리는 확실하다'고 말할 수 있다"고 생각한 것입니다.

• 단점: 100 번이나 요리를 만들어보는 것은 시간도, 돈도, 계산 능력도 너무 많이 듭니다. 현실적으로 100 번은 못 해보고 10 번 정도만 해보면 되는데, 그래도 여전히 비싸고 느립니다.

2. 새로운 발견: "가장 확실한 한 번만 보면 된다"

이 논문의 저자들은 수학적 이론 (적절한 점수 규칙, Proper Scoring Rules) 을 분석하다가 놀라운 사실을 발견했습니다.

핵심 통찰: "여러 번 맛볼 필요 없이, 요리사가 가장 자신 있게 내놓는 '최고의 한 접시'의 맛만 보면 그 요리의 신뢰도를 충분히 알 수 있다."

기존에는 "여러 가지 가능성 (확률 분포) 을 모두 고려해야 한다"고 생각했지만, 이론적으로 "가장 확률이 높은 한 가지 결과 (Most Likely Sequence)"의 불확실성만 계산해도 충분하다는 것을 증명했습니다.

3. 제안된 방법: G-NLL (한 번에 끝내는 스마트한 방법)

이론적으로 "가장 확률이 높은 결과"를 찾으려면 여전히 계산이 복잡할 수 있습니다. 그래서 저자들은 G-NLL이라는 아주 간단하고 빠른 방법을 제안했습니다.

비유:

• 기존 방법 (샘플링): 요리사가 "아마도 이걸로 만들지, 아니면 저걸로 만들지..." 하며 10 번이나 시도를 해보고 평균을 내는 것.
• G-NLL 방법: 요리사가 가장 자신 있는 손놀림으로 한 번에 가장 맛있는 요리를 바로 만들어내는 것 (Greedy Decoding).

G-NLL 은 이 "한 번의 최고 요리"가 얼마나 확실한지 (불확실성) 를 계산합니다.

• 장점: 10 번을 할 필요가 없어서 속도가 10 배 빠르고, 컴퓨터 자원도 훨씬 적게 듭니다.
• 성능: 놀랍게도, 10 번을 해본 기존 방법들보다 정확도도 더 높았습니다.

4. 왜 이것이 중요한가?

지금까지 LLM 의 신뢰성을 확인하려면 무거운 컴퓨터를 여러 대 돌려야만 했습니다. 하지만 이 논문의 방법 (G-NLL) 은:

1. 단순함: 복잡한 수학적 계산 없이, 모델이 가장 자연스럽게 내뱉는 한 문장만 분석하면 됩니다.
2. 효율성: 비용을 크게 줄여주어, 실제 서비스 (예: 챗봇, 의료 상담, 법률 조언 등) 에서 실시간으로 신뢰도를 체크할 수 있게 합니다.
3. 이론적 근거: 단순히 "임의로 한 번 해봤는데 잘되네"가 아니라, 수학적으로 "왜 한 번으로 충분한지"를 증명했습니다.

5. 요약

이 논문은 "불확실성을 재려면 여러 번 시도해봐야 한다"는 기존의 고정관념을 깨뜨렸습니다.

**"여러 번의 시도로 평균을 내는 대신, 모델이 가장 자신 있게 내놓는 '최고의 한 번'을 신뢰하고 그 자체로 불확실성을 측정하면, 더 빠르고 더 정확하게 결과를 알 수 있다"**는 것입니다.

이는 마치 100 번의 시음 테스트를 거치는 대신, 셰프가 가장 자신 있게 내놓는 '메인 요리' 한 접시의 맛을 보고 "이 요리는 확실하다"고 판단하는 것과 같습니다. 이제 우리는 더 가볍고 빠르게 AI 의 말을 믿을지, 의심할지 결정할 수 있게 되었습니다.

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 실제 응용 분야에서 널리 사용됨에 따라, 생성된 텍스트의 신뢰성을 평가하기 위한 **불확실성 추정 (Uncertainty Estimation)**이 필수적입니다. 그러나 기존의 주요 불확실성 추정 방법들은 다음과 같은 한계가 있습니다:

• 계산 비용의 과다: 기존 방법들 (예: 예측 엔트로피, 의미 엔트로피 등) 은 모델의 출력 분포를 근사하기 위해 여러 개의 출력 시퀀스를 샘플링하고 분석해야 합니다. 이는 LLM 의 매개변수 수가 방대하여 대규모 규모에서 실행하기에는 계산적으로 매우 비효율적이고 실용적이지 않습니다.
• 샘플링의 불확실성: 샘플링된 시퀀스 간의 차이가 항상 불확실성을 의미하는 것은 아닙니다 (어휘적 차이는 있을 수 있으나 의미는 유사할 수 있음).
• 이론적 근거의 부재: 단일 시퀀스 기반의 불확실성 측정치 (예: MSP, 최대 시퀀스 확률) 는 기존 연구에서 경험적 베이스라인으로만 사용되었을 뿐, 적절한 **이론적 정당화 (Theoretical Justification)**가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 적절한 스코어링 규칙 (Proper Scoring Rules) 프레임워크를 기반으로 새로운 이론적 접근을 제시합니다.

A. 이론적 기반: 제로 - 원 스코어 (Zero-One Score)

기존의 불확실성 추정 대부분은 **로그 스코어 (Logarithmic Score, $-\log p(y)$)**에 기반하여 전체 출력 시퀀스 분포의 엔트로피를 계산합니다. 반면, 저자들은 **제로 - 원 스코어 (Zero-One Score)**를 도입하여 불확실성을 정의합니다.

• 제로 - 원 스코어: 가장 확률이 높은 출력 시퀀스 ($y^*$) 에만 초점을 맞춥니다.
• 결과: 이 스코어를 적용할 때, 알레토릭 불확실성 (Aleatoric Uncertainty, 모델 고유의 무작위성) 은 **가장 확률이 높은 출력 시퀀스의 음의 로그 가능도 (Negative Log-Likelihood, NLL)**와 동일해집니다. 이를 **MSP (Maximum Sequence Probability)**라고 합니다.
• 핵심 통찰: 로그 스코어 기반 방법은 전체 분포를 샘플링해야 하지만, 제로 - 원 스코어 기반 방법은 가장 확률이 높은 단일 시퀀스만 찾으면 됩니다.

B. 제안된 방법: G-NLL (Greedy Decoding-based NLL)

가장 확률이 높은 시퀀스 ($y^*$) 를 정확히 찾는 것은 여전히 계산적으로 어렵습니다 (전체 탐색 공간이 너무 큼). 따라서 저자들은 이를 효율적으로 근사하는 방법을 제안합니다.

• G-NLL 정의: Greedy Decoding (그리디 디코딩) 을 사용하여 생성된 단일 시퀀스의 NLL 을 계산합니다.
  $$\text{G-NLL} := -\sum_{t=1}^{T} \log \left( \max_{y_t \in V} p(y_t | x, y_{<t}, w) \right)$$
• 이점:
  • 단일 시퀀스: 추가적인 샘플링 없이 모델이 생성한 하나의 시퀀스만으로 계산 가능합니다.
  • 비결정론적 제거: 그리디 디코딩은 결정론적이므로 하이퍼파라미터 (샘플링 온도 등) 가 필요 없습니다.
  • 이론적 엄밀성: 적절한 스코어링 규칙에 기반하여 이론적으로 정당화되었습니다.

3. 주요 기여 (Key Contributions)

1. 이론적 정당화: NLG(자연어 생성) 에서의 불확실성 측정을 위해 **가장 확률이 높은 시퀀스의 음의 로그 가능도 (MSP)**가 적절한 스코어링 규칙 (제로 - 원 스코어) 에 기반한 원칙적인 단일 시퀀스 측정치임을 최초로 증명했습니다.
2. 샘플 복잡도 분석: 엔트로피 ($H(p)$) 를 추정하는 것보다 최대 로그 가능도 ($M(p)$) 를 추정하는 것이 LLM 환경에서 샘플 복잡도 (Sample Complexity) 측면에서 훨씬 유리함을 이론적으로 분석했습니다. 즉, 그리디 디코딩과 같은 탐색 전략이 최적의 시퀀스를 찾는 데 더 효율적입니다.
3. G-NLL 제안 및 검증: MSP 를 효율적으로 근사하는 G-NLL을 제안하고, 다양한 모델 아키텍처, 크기, 학습 단계, 작업 및 데이터셋에서 기존 최첨단 (SOTA) 방법들을 능가하는 성능을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

저자들은 TriviaQA, SVAMP, NQ-Open 등 3 개의 데이터셋과 Llama-3.1, Falcon Mamba 등 6 개의 다양한 LLM 을 사용하여 실험을 수행했습니다.

• 성능 (AUROC): G-NLL 은 예측 정답의 정확성과 불확실성 추정치 간의 상관관계를 측정하는 AUROC 지표에서 전체 평균 0.721을 기록하며, 기존 방법들 (PE, SE, D-SE 등) 보다 우수한 성능을 보였습니다.
  • 특히 짧은 구 (Short Phrase) 생성 작업에서 그 성능 차이가 두드러졌습니다.
  • 18 개 시나리오 중 13 개에서 G-NLL 이 가장 높은 성능을 기록했습니다.
• 계산 효율성: G-NLL 은 **단일 시퀀스 (그리디 디코딩)**만 사용하므로, 10 개의 시퀀스를 샘플링하여 평균을 내는 기존 방법들에 비해 계산 비용이 극도로 낮습니다.
• 근사 방법 비교: Beam Search 를 사용하여 더 많은 시퀀스를 탐색해도 G-NLL(그리디 디코딩) 의 성능과 큰 차이가 없었으며, 오히려 계산 비용만 증가했습니다. 이는 그리디 디코딩이 가장 확률이 높은 시퀀스를 매우 잘 근사한다는 것을 의미합니다.
• 길이 정규화 (Length Normalization): 기존 방법들에서 흔히 사용되던 길이 정규화는 G-NLL 에서는 오히려 성능을 저하시켰습니다. 이는 희귀한 토큰 (낮은 확률) 의 정보를 희석시키기 때문입니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 불확실성 추정 분야에서 다음과 같은 중요한 전환점을 제시합니다:

• 계산 효율성과 이론적 엄밀성의 조화: 복잡한 샘플링과 클러스터링 없이도, 단일 시퀀스 기반의 측정치가 이론적으로 타당하고 실용적으로 더 효율적임을 증명했습니다.
• 실용적 배포 가능성: G-NLL 은 추가적인 계산 오버헤드 없이 LLM API 를 통해 쉽게 구현할 수 있어, 실시간 애플리케이션에서의 신뢰성 있는 불확실성 추정을 가능하게 합니다.
• 미래 연구의 방향: 기존에 단순한 베이스라인으로 취급되던 단일 시퀀스 측정법이 사실은 강력한 대안이 될 수 있음을 보여주었으며, 향후 의미적 정보 (Semantic Information) 를 통합한 확장 연구의 기초를 마련했습니다.

요약하자면, 이 연구는 **"불확실성 추정을 위해 많은 시퀀스를 샘플링할 필요가 없으며, 가장 확률이 높은 단일 시퀀스 (그리디 디코딩) 의 로그 확률만으로도 이론적으로 엄밀하고 실용적으로 우수한 불확실성 측정이 가능하다"**는 것을 증명했습니다.