💬 NLP

Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

이 논문은 추가 모델이나 반복 샘플링 없이 단일 생성만으로 대규모 언어 모델의 불확실성을 효율적으로 정량화하는 새로운 방법인 '의미 토큰 클러스터링 (STC)'을 제안하고, 기존 최첨단 방법과 유사한 성능을 유지하면서 계산 오버헤드를 크게 줄인다는 것을 실험을 통해 입증합니다.

원저자: Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

게시일 2026-03-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대 언어 모델 (LLM) 이 뻔뻔하게 거짓말을 할 때, 우리가 어떻게 그걸 빠르게 알아차릴 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 방법들은 너무 느리거나 비싸서 실용적이지 않았는데, 이 논문은 "단 한 번의 답변으로, 별도의 추가 프로그램 없이도" 신뢰도를 판단하는 새로운 방법인 **STC(의미 토큰 클러스터링)**를 제안했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

🎤 비유: "지식인 회의실"과 "신뢰도 체크"

생각해 보세요. 거대 언어 모델 (LLM) 은 수만 명의 전문가가 모여 있는 거대한 회의실입니다. 이 회의실에서 질문을 던지면, 전문가들이 각자 자신의 지식을 바탕으로 답변을 내놓습니다.

1. 문제점: "뻔뚱한" 전문가들

지금까지의 LLM 은 자신이 틀린 답변을 할 때도 100% 확신에 차서 "정답입니다!"라고 외치는 경향이 있습니다. 마치 틀린 답을 아는 척하는 뻔뚱한 학생처럼 말이죠. 그래서 우리가 "이게 진짜 맞을까?"라고 의심하기가 어렵습니다.

2. 기존 방법의 한계: "여러 번 물어보는 번거로움"

기존에 이 문제를 해결하려던 방법들은 대략 다음과 같았습니다.

방법 A (샘플링): "정말 맞니? 다시 10 번만 말해봐."라고 해서 10 번의 답변을 모두 받아보고, 그중 9 번이 비슷하면 믿고, 5 번이 다르면 의심하는 방식.
- 단점: 10 번이나 물어봐야 하니 시간이 너무 오래 걸리고 컴퓨터가 과열됩니다.
방법 B (외부 감시관): "이 답변이 맞는지 확인해 줄 다른 AI(감시관) 를 불러와라."
- 단점: 감시관 (다른 모델) 을 고용하는 비용이 너무 비싸고 복잡합니다.

3. 이 논문의 해결책 (STC): "의미의 동맹" 찾기

이 논문은 **"답변을 여러 번 만들지 말고, 한 번만 만들어도 내부의 '의미'를 보면 알 수 있다"**고 말합니다.

핵심 아이디어: "동일한 의미의 단어들은 한 무리 (클러스터) 로 묶자!"

상황: 모델이 "TV"라고 답변을 할 때, 내부적으로는 "TV", "television", "tv", "텔레비전" 등 의미가 똑같은 단어들이 여러 개 존재할 수 있습니다.
기존의 실수: 모델이 "TV"라는 단어를 선택했을 때, 그 확률만 보면 "아, 이 단어가 나왔구나"라고만 생각합니다. 하지만 "television"이나 "tv"도 같은 의미라면, 사실 모델은 이 세 가지 모두를 합친 확률로 답변을 내린 셈입니다.
STC 의 방법:
1. 미리 준비 (오프라인): 컴퓨터가 켜지기 전에, "TV", "television", "tv"처럼 의미가 비슷한 단어들을 미리 한 상자에 묶어둡니다 (클러스터링).
2. 실시간 확인 (인퍼런스): 질문을 받으면, 모델이 답변을 하나만 만들어냅니다. 이때 모델이 "TV"라고 말했을 때, 우리는 "아, 이 단어가 속한 상자 (클러스터) 안에 있는 모든 단어들의 확률을 다 합쳐보자"라고 계산합니다.
3. 결과: 만약 모델이 "TV"라고 말했는데, 그 상자에 있는 다른 단어들 ("television" 등) 에도 확률이 분산되어 있다면, 모델은 정답을 확신하지 못하고 여러 가능성을 고민 중이라는 뜻입니다. 반대로, 한 단어에 확률이 쏠려 있다면 정답을 확신하고 있는 것입니다.

🚀 왜 이 방법이 특별한가요?

초고속 (한 번만 실행): 10 번을 물어보지 않아도 됩니다. 한 번만 답변을 만들어도 내부의 의미 구조를 분석해서 신뢰도를 재는 마법을 부립니다.
비용 절감 (감시관 불필요): 다른 AI 를 부를 필요도 없습니다. 모델이 가진 **자신의 지식 (내부 표현)**만으로도 충분합니다.
정확도: 실험 결과, 이 방법은 여러 번 물어보는 복잡한 방법들만큼이나 정확하면서도, 계산 비용은 98% 이상 줄였습니다.

📝 요약: 한 줄로 정리하면?

"거대 언어 모델이 뻔뚱하게 거짓말을 할 때, 여러 번 물어보거나 다른 사람을 부르지 말고, 모델이 말한 단어의 '의미 친구들'을 한데 모아 확률을 계산하면, 훨씬 빠르고 정확하게 그 신뢰도를 알 수 있다!"

이 기술은 의료, 법률, 과학처럼 실수가 치명적인 분야에서 AI 가 "이건 확실하지 않아요"라고 스스로 경고하거나, 인간이 "이건 의심해봐야겠다"라고 판단하는 데 큰 도움을 줄 것입니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 다양한 작업에서 뛰어난 성능을 보이지만, 생성된 출력의 사실성 (truthfulness) 을 보장하지 못하며, 특히 과신 (overconfidence) 경향이 있어 신뢰성 있는 오류 탐지를 어렵게 만듭니다.
기존의 불확실성 정량화 (Uncertainty Quantification, UQ) 방법들은 다음과 같은 한계가 있었습니다:

반복 샘플링 (Repeated Sampling): Semantic Entropy 와 같은 방법들은 여러 번의 생성을 통해 의미적 분산을 측정해야 하므로 계산 비용이 매우 큽니다.
보조 모델 의존 (Auxiliary Models): 외부 자연어 추론 (NLI) 모델 등을 사용하여 의미 관계를 평가하는 방법들은 추가적인 추론 오버헤드를 발생시킵니다.
내부 시맨틱 구조 활용 부재: LLM 이 내재하고 있는 풍부한 의미 정보를 충분히 활용하지 못합니다.

따라서, **단일 생성 (Single Generation)**으로만 불확실성을 정량화하면서도 외부 모델 없이 높은 정확도를 유지하고 계산 효율성을 극대화하는 방법이 필요합니다.

2. 방법론 (Methodology: Semantic Token Clustering, STC)

저자들은 **Semantic Token Clustering (STC)**이라는 새로운 방법을 제안합니다. 이 방법은 LLM 의 내부 표현 (내부 임베딩) 을 활용하여 단일 생성 단계에서 불확실성을 추정합니다.

핵심 단계

토큰 임베딩 클러스터링 (Token Embedding Clustering):
- LLM 의 어휘 (Vocabulary) 에 있는 모든 토큰의 임베딩 (입력 및 출력 임베딩 연결) 을 기반으로 비지도 학습 (Agglomerative Clustering) 을 수행합니다.
- 이 과정은 오프라인 (Pre-computation) 단계에서 한 번만 수행되며, 추론 시에는 이미 클러스터가 준비된 상태입니다.
- 예: "television", "TV", "tv" 등이 동일한 의미 클러스터로 그룹화됩니다.
접두사 매칭 (Prefix Matching):
- 토큰화 과정에서 의미 단위가 잘게 쪼개질 수 있으므로, 생성된 후속 토큰들과의 접두사 관계를 추가로 고려합니다.
- 예: "television"이 하나의 토큰이거나 "tele", "vision"으로 나뉘더라도, "television", "tele", "televis" 등은 모두 의미적으로 일치하는 것으로 간주하여 클러스터에 포함시킵니다.
불확실성 점수 계산:
- 각 디코딩 단계에서 모델이 선택한 토큰의 확률뿐만 아니라, 해당 토큰이 속한 **시맨틱 클러스터 내의 모든 토큰들의 확률 합 (Probability Mass)**을 집계합니다.
- 최종 불확실성 점수 $S(x, y)$ 는 생성된 시퀀스 전체에 걸쳐 클러스터 확률들의 곱을 1 에서 뺀 값으로 계산됩니다.
- 수식: $S(x, y) = 1 - \prod_{i=1}^{n} \hat{p}_c(y_i | x, y_{<i})$
- 여기서 $\hat{p}_c$ 는 해당 시맨틱 클러스터에 속하는 모든 토큰의 확률 합입니다.

3. 주요 기여 (Key Contributions)

내부 표현 활용: 외부 모델이나 추가 샘플링 없이 LLM 의 내부 시맨틱 구조 (임베딩) 를 직접 활용하여 불확실성을 정량화합니다.
효율성 (Computational Efficiency):
- 단일 생성: 여러 번의 생성이 필요하지 않아 추론 시간이 획기적으로 단축됩니다.
- 오프라인 클러스터링: 가장 계산 집약적인 클러스터링 단계는 사전에 수행되므로, 실제 추론 시 CPU 만으로도 실행 가능하며 GPU 가 필요하지 않을 수 있습니다.
- 기존 최첨단 방법 (예: CCP) 대비 추론 시간 오버헤드를 평균 98% 감소시켰습니다.
간편한 구현 (Self-contained): 추가적인 파인튜닝, 지도 학습 데이터 수집, 외부 모델이 필요 없으며, 모든 오픈 소스 LLM (White-box) 에 즉시 적용 가능합니다.

4. 실험 결과 (Results)

저자들은 Llama-2/3, Mistral, Qwen2.5 등 다양한 모델과 TriviaQA, Natural Questions, WebQuestions 등 3 개의 데이터셋에서 실험을 수행했습니다.

성능 (AUROC): 제안된 STC 방법은 Semantic Entropy, EigenScore, CCP 등 기존 최첨단 (SOTA) 방법들과 비교해 동등하거나 더 높은 성능 (AUROC) 을 달성했습니다.
효율성:
- 성능 - 오버헤드 트레이드오프: 성능은 최상위권 유지하면서 계산 오버헤드는 가장 낮은 수준을 기록했습니다.
- 실행 시간: 다른 방법들이 수백 초의 오버헤드를 보인 반면, STC 는 수 초 내외로 매우 빠릅니다. (예: NQ 데이터셋에서 Llama-3-8B 기준, 기존 방법들은 1000 초 이상 소요되나 STC 는 약 5.7 초 소요).
Ablation Study:
- 임베딩 클러스터링과 접두사 매칭을 모두 제거하면 성능이 크게 저하됨을 확인했습니다.
- 두 기법은 상호 보완적이며 (임베딩은 의미 유사성, 접두사는 표면적 일관성), 둘을 결합했을 때 최적의 성능을 발휘합니다.

5. 의의 및 한계 (Significance & Limitations)

의의:
- 고비용의 반복 샘플링이나 외부 모델 의존 없이도 LLM 의 신뢰성을 실시간으로 평가할 수 있는 실용적이고 확장 가능한 솔루션을 제시했습니다.
- 리소스가 제한된 환경이나 저지연 (Low-latency) 요구사항이 있는 실제 애플리케이션 (의료, 법률 등) 에 불확실성 정량화를 적용할 수 있는 길을 열었습니다.
한계:
- 모델 접근성: 토큰 로짓 (logits) 과 임베딩에 접근해야 하므로, 폐쇄형 (Closed-source) 모델에는 직접 적용이 어렵습니다.
- 맥락 무관성: 현재 정적 토큰 임베딩을 사용하므로, 다의어 (Polysemy) 문제와 같은 맥락 의존적 오차가 발생할 수 있습니다. (예: 문맥에 따라 의미가 다른 단어가 같은 클러스터에 포함될 가능성).
- 보정 (Calibration): 불확실성 점수의 보정 (Calibration) 은 명시적으로 다루지 않았으나, 필요시 사후 보정이 가능하다고 언급했습니다.

결론

이 논문은 대규모 언어 모델의 "할루시네이션"이나 오류를 탐지하기 위해 기존에 필요했던 높은 계산 비용을 획기적으로 줄이면서도, LLM 내부의 시맨틱 지식을 효과적으로 활용하여 높은 정확도의 불확실성 정량화를 가능하게 하는 **Semantic Token Clustering (STC)**을 제안했습니다. 이는 효율성과 성능을 동시에 잡은 중요한 진전으로 평가됩니다.