💬 NLP

SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

이 논문은 DETR 스타일의 디코더를 채택하여 의미론적으로 일관된 텍스트 스팬을 동시에 탐지하고 이를 베타 분포의 혼합(Mixture of Beta distribution)을 통해 불확실성을 정량화함으로써, 토큰 및 시퀀스 수준의 불확실성 추정의 한계를 해결하고 여러 거대 언어 모델에 걸쳐 우수한 오류 국소화 및 효율성을 달성하는 경량 프레임워크인 SPANUQ를 소개한다.

원저자: Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하지만 가끔 환각 현상(hallucination)을 일으키는 AI에게 "마리 퀴리는 누구인가요?"와 같은 질문을 던진다고 상상해 보십시오. AI는 자신감 넘치는 긴 답변을 내놓습니다. 하지만 그 답변 어딘가에 실수가 포함되어 있습니다 (예를 들어, 1903년 대신 1901년에 노벨상을 받았다고 말하는 경우).

현재의 AI 안전 도구들의 문제는 그 실수가 정확히 어디에 있는지 찾아내는 데 서투르다는 점입니다. 이 논문은 AI의 답변에 대한 고성적 "팩트 체크 하이라이터(형광펜)" 역할을 하는 SPANUQ라는 새로운 도구를 소개합니다.

다음은 이 도구가 어떻게 작동하며 왜 다른지에 대한 간단한 분석입니다.

1. 문제점: 너무 모호하거나 너무 소란스러움

AI의 답변을 확인하는 과정을 학생의 에세이를 채점하는 것에 비유해 보겠습니다.

기존 방식 (토큰 수준 - Token-Level): 문장의 모든 단어 아래에 빨간 줄을 긋는 선생님을 상상해 보십시오. "그", "는", "이"와 같은 단어 하나하나에 점수를 매깁니다. 이는 너무 소란스럽습니다(noisy). 어떤 구체적인 아이디어가 틀렸는지는 알려주지 못하기 때문입니다.
또 다른 기존 방식 (시퀀스 수준 - Sequence-Level): 에세이 전체를 보고 "C"와 같은 하나의 성적을 주는 선생님을 상상해 보십시오. 이는 에세이에 문제가 있다는 것은 알려주지만, 어느 단락이나 어느 문장이 문제인지는 알려주지 않습니다. 어디가 틀렸는지 알 수 없으니 고칠 수도 없습니다.

2. 해결책: "하이라이터" 접근 방식 (스팬 수준 - Span-Level)

저자들은 의미의 자연스러운 단위가 단일 단어도 아니고, 그렇다고 문단 전체도 아니라는 점을 깨달았습니다. 그것은 바로 **"스팬(Span)"**입니다.

**스팬(Span)**이란 하나의 완전한 아이디어를 담고 있는 텍스트 덩어리입니다 (예: "폴란드 출신 물리학자" 또는 "1901년에 노벨상을 받았다").
SPANUQ는 이러한 특정 덩어리들을 찾아내어 각 덩어리에 고유한 "신뢰도 점수"를 부여하도록 설계되었습니다.
결과: 에세이 전체에 하나의 성적을 매기는 대신, SPANUQ는 "폴란드 출신 물리학자"(초록색/신뢰) "노벨상을 받았다"(초록색/신뢰), 그리고 "1901년"(빨간색/매우 불확실)을 하이라이트합니다. 이를 통해 당신이 정확히 어디를 살펴봐야 할지 알려줍니다.

3. 작동 원리: "가벼운 탐정"

보통 AI의 오류를 찾으려면, 동일한 질문을 AI에게 20번 정도 던지고 모든 답변을 비교하여 어디서 의견이 갈리는지 확인해야 합니다. 이는 느리고 비용이 많이 듭니다 (마치 한 사건을 해결하기 위해 20명의 탐정을 고용하는 것과 같습니다).

SPANUQ는 다릅니다:

탐정: 이것은 아주 작고 가벼운 추가 기능입니다 (도움을 주는 거대한 AI 모델에 비해 약 2,500만 개의 파라미터만을 가진 매우 작은 규모입니다).
비결: AI가 생각하는 동안 그 "뇌파"(숨겨진 상태, hidden states)를 관찰합니다. 이 도구는 불확실성을 나타내는 미묘한 패턴을 인식하도록 훈련되었으며, 효과적으로 20번의 느린 확인 과정을 단 한 번의 즉각적인 훑어보기로 "증류(distilling)"해냅니다.
속도: 기존 방식보다 10배에서 20배 더 빠릅니다. 왜냐하면 AI 모델을 단 한 번만 실행하면 되기 때문입니다.

4. "훈련 학교" (SPANUQ-BENCH)

이 탐정을 가르치기 위해 저자들은 SPANUQ-BENCH라는 거대한 훈련 학교를 구축했습니다.

그들은 20,000개의 질문과 답변을 생성했습니다.
"골드 스탠다드(Gold Standard)" 방식을 사용하여 (AI에게 20번 질문하고 위키피디아와 대조하여) 텍스트의 어느 부분이 틀렸고 얼마나 틀렸는지를 알려주는 "정답지"를 만들었습니다.
이 탐정을 293,000개의 구체적인 텍스트 덩어리(chunks)로 훈련시켰습니다.

5. 결과: 왜 승리하는가?

SPANUQ를 다른 방법들과 테스트했을 때 다음과 같은 결과가 나왔습니다:

정확도: 틀린 덩어리를 찾아내는 능력이 훨씬 뛰어났습니다 (약 0.94/1.0의 점수 달성).
위치 식별(Localization): 가장 좋은 "휴리스틱(경험적 규칙)" 방법들보다 오류를 39% 더 잘 찾아냈습니다.
다재다능함: 작은 모델부터 매우 큰 모델에 이르기까지 다양한 크기의 AI 모델에서 잘 작동했습니다.

핵심 요약

이 논문은 SPANUQ가 AI의 답변을 즉각적으로 살펴보고, 이를 의미 있는 아이디어 단위로 나누며, 어떤 아이디어가 불안정한지 그리고 얼마나 불안정한지를 알려주는 첫 번째 도구라고 주장합니다. 또한, AI를 여러 번 실행할 필요 없이 실시간 애플리케이션에서도 사용할 수 있을 만큼 빠릅니다.

주의 사항: 저자들은 이 도구가 불확실성을 포착하는 데는 뛰어나지만, AI가 진실을 말하고 있다는 것을 보장하지는 않는다고 경고합니다. 단지 "이 특정 부분이 위험해 보이니, 다시 한번 확인해 보세요"라고 알려줄 뿐입니다. 이것은 인간을 대체하는 도구가 아니라, 인간의 판단을 돕기 위한 도구입니다.

기술 요약: SPANUQ – 대규모 언어 모델 생성을 위한 스팬 수준 불확실성 정량화

1. 문제 정의

대규모 언어 모델(LLM)의 불확실성 추정에 관한 현재의 접근 방식들은 의미론적 일관성과 오류 국지화(error localization) 사이의 균형을 맞추는 데 실패하며, 최적이 아닌 수준의 입도(granularity)에서 작동하고 있다.

토큰 수준 방법론(예: 예측 엔트로피, 토큰 프로브)은 개별 토큰에 점수를 부여한다. 이들은 종종 의미론적으로 불완전하다. 기능어(function words)는 무의미한 점수를 받게 되며, 단일 토큰은 검증 가능한 사실을 구성하기 어렵다.
시퀀스 수준 방법론(예: 의미론적 엔트로피, 다중 샘플 일관성)은 전체 응답에 대해 단일 점수를 생성한다. 이들은 유의미한 의미론적 불확실성을 포착할 수는 있지만, 생성된 내용 중 구체적으로 어느 부분이 신뢰할 수 없는지 국지화할 수 없으며, 종종 정확한 주장과 틀린 주장을 실행 불가능한 중간 지점으로 평균화해 버린다.

저자들은 **스팬 수준 불확실성 추정(Span-Level Uncertainty Estimation, SLUE)**을 새로운 과업으로 공식화한다. 여기서 "스팬(span)"은 단일하고 일관된 의미 단위(예: 하나의 원자적 사실 또는 주장)를 전달하는 연속적인 텍text 세그먼트로 정의되며, 이는 독립적으로 불확실성을 평가할 수 있어야 한다. 목표는 단일 순전파(forward pass)를 통해 이러한 가변 길이의 스팬들을 탐지하고 각 스팬에 연속적인 불확실성 점수를 할당하는 것이다.

2. 방법론: SPANUQ

본 논문은 값비싼 다중 샘플 추론으로부터 얻은 불확실성 지식을 고정된 LLM 은닉 상태(hidden states)에 대한 단일 순전파로 증류하는 경량 프로브(~25M 파라미터)인 SPANUQ를 소개한다.

아키텍처

SPANUQ는 다섯 가지 핵심 구성 요소로 이루어져 있다:

다층 융합(Multi-Layer Fusion): 선택된 레이어(일반적으로 사실적 지식이 정점에 달하는 중간-후기 레이어)의 은닉 상태를 평균 풀링(mean pooling)을 통해 융합한다.
토큰 인코더(Token Encoder): 2계층 트랜스포머 인코더가 융합된 상태를 문맥화하여 콘텐츠 풀(content pool)을 형성한다.
DETR 스타일 스팬 디코더(DETR-Style Span Decoder): DETR에서 영감을 받은 이 모델은 학습 가능한 스팬 쿼리(span queries) 세트를 사용하여 토큰 시퀀스에 어텐션을 수행한다. 이를 통해 전통적인 BIO 태깅의 한계인 중첩된 스팬의 병렬 탐지를 가능하게 한다.
스팬 특징 강화(Span Feature Enrichment): 미분 가능한 소프트 경계 마스크(soft boundary mask)가 예측된 스팬 영역으로부터 콘텐츠 특징을 추출하고, 이를 게이트 잔차 연결(gated residual connection)을 통해 쿼리 임베딩과 융합한다. 이는 불확실성 점수 산출기가 스팬의 의미론적 내용에 직접 접근할 수 있도록 보장한다.
예측 헤드(Prediction Heads):
- 회귀(Regression): 정규화된 시작 및 종료 경계를 예측한다.
- 유효성 분류(Validity Classification): 실제 스팬과 사용되지 않은 쿼리 슬롯을 구분한다.
- 베타 혼합 모델(Mixture of Beta, MoB): 불확실성을 3개의 성분을 가진 베타 분포의 혼합으로 모델링한다. 이는 불확실성의 양봉적(bimodal) 특성(스팬은 매우 확신하거나 매우 불확실함)을 포착하고 U자형 분포를 허용한다.

훈련 및 정교화

2단계 훈련: 모델은 먼저 신뢰할 수 있는 스팬 경계를 설정하기 위한 웜업(warmup) 단계를 거친 후, 모든 구성 요소를 최적화하는 공동(joint) 단계를 거친다.
손실 함수: 훈련 목적 함수는 스팬 회귀(L1 + Generalized IoU), 유효성 분류, 그리고 불확실성 추정을 결합한다. 불확실성 손실에는 베타 NLL(Negative Log-Likelihood)과 스팬 간 불확실성의 서수적 구조(ordinal structure)를 보존하기 위한 대조 랭킹 손실(contrastive ranking loss)이 포함된다.
불확실성 조건부 반복 정교화(Uncertainty-Conditioned Iterative Refinement, UCIR): 추론 시, 초기 추정치가 디코더로 다시 입력되어 정교화 단계를 거친다. 이 "두 번째 확인" 과정은 모델이 자신의 초기 예측을 바탕으로 체계적인 편향을 수정할 수 있게 하며, 오버헤드는 15% 미만으로 최소화된다.

3. 벤치마크: SPANUQ-BENCH

SLUE를 평가하기 위해 저자들은 최초의 스팬 수준 불확실성 벤치마크인 SPANUQ-BENCH를 구축했다.

규모: 5개 도메인(Long-form QA, TriviaQA, ELI5, Biography, FELM)에 걸친 20,000개의 프롬프트와 약 293,000개의 주석 처리된 스팬을 포함한다.
레이블링 전략: 그라운드 트루스 소프트 레이블( $u^* \in [0, 1]$ )은 다중 샘플 증류를 통해 도출된다. 각 프롬프트에 대해 20개의 다양한 응답을 샘플링하고, 이를 원자적 주장으로 분해한 뒤 위키피디아와 대조하여 검증한다. 스팬에 대한 불확실성 레이블은 해당 주장이 지원되지 않는 샘플의 비율이다.
평가: 벤치마크는 판별력(AUROC), 회귀 정확도(MAE), 랭킹 품질(Spearman 상관계수)을 테스트한다.

4. 주요 결과

실험은 4B에서 30B 파라미터에 이르는 Qwen3 시리즈 및 Mistral-7B를 포함한 5가지 LLM 백본(밀집(dense) 및 MoE 아키텍처 모두 포함)을 대상으로 수행되었다.

스팬 수준 성능: SPANUQ는 모든 모델에서 일관되게 최고의 스팬 수준 불확실성 품질을 달s성했다.
- AUROC: 0.908 – 0.944 (가장 강력한 프로브 베이스라인보다 약 5.8포인트, 샘플링 기반 방법보다 13포인트 이상 상회).
- MAE: 0.110 – 0.129.
- 효율성: 단일 순전파만을 요구하므로 샘플링 기반 방법(예: SelfCheckGPT, Semantic Entropy)보다 10~20배 더 빠르다.
스팬 탐지: DETR 기반 디텍터는 F1 점수 0.910을 달성하여, 휴리스틱 베이스라인(Sliding Window)을 39.4% 상회했다. 이는 중첩된 스팬을 성공적으로 처리하며, 반면 BIO 태거는 비중첩 제약으로 인해 크게 실패했다(F1 = 0.079).
시퀀스 수준 분해 가능성: 저자들은 시퀀스 수준의 불확실성이 스팬 수준 구성 요소로 부분적으로 분해될 수 있음을 관찰했다. 학습된 중요도 가중치 스팬 합성(importance-weighted span composition)은 시퀀스 수준 상관계수( $\rho_{seq}$ ) 0.839를 달성했으며, 이는 스팬 수준 추정이 시퀀스 수준 추정을 특수 사례로서 포괄함을 시사한다.
절제 연구(Ablation) 결과:
- 베타 혼합 모델(MoB): 다중 모드 불확실성을 포착하는 데 결정적이며, 단일 베타 분포와 비교했을 때 ECE를 62% 감소시켰다.
- UCIR: 랭킹 품질( $\rho_{span}$ )에서 두 번째로 큰 이득을 제공하며, 체계적인 오류를 효과적으로 수정한다.
- 회귀 vs 포인터: 경계 예측을 위한 연속 회귀가 크로스 어텐션 포인터 메커니즘보다 AUROC 측면에서 3.4% 더 우수한 성능을 보인다.

5. 의의 및 주장

본 논문은 SPANUQ가 검증 가능한 주장의 "자연스러운 입도"에서 작동함으로써 토큰 수준과 시퀀스 수준 불확실성 추정 사이의 간극을 메운다고 주장한다.

해석 가능성 및 실행 가능성: 시퀀스 수준의 점수와 달리, SPANUQ는 특정 주장에 대한 해석 가능하고 국지화된 불확실성 점수를 제공한다 (예: 마리 퀴리에 관한 문장에서 "1901"을 불확실한 것으로 식별하는 동시에 "폴란드 물리학자"는 확정하는 것).
일반화: 프레임워크는 백본을 재학습하지 않고도 다양한 모델 제품군, 규모, 아키텍처(dense vs MoE)에 걸쳐 일반화된다.
실제 배포: 다중 샘플 불확실성을 단일 순전파로 증류함으로써, SPANUQ는 특정 환각(hallucination)을 식별하는 것이 중요한 고위험 분야(의료, 법률, 연구 등)에서 계산적으로 실행 가능한 솔루션을 제공한다.

저자들은 한계점도 언급했다: SPANUQ는 은닉 상태에 대한 화이트박스 접근 권한을 필요로 하며, 계산 집약적인 일회성 레이블 구축 파이프라인에 의존하고, 현재 영어의 사실적 불확실성에 집중하고 있다. 이들은 SPANUQ가 은닉 상태 패턴으로부터 인식론적 불확실성(epistemic uncertainty)을 추정하지만, 사실적 정확성을 보장하는 것은 아니며 인간의 판단을 대체하는 것이 아니라 보완해야 함을 강조한다.