기술적 요약: LLM 의 불확실성 정량화는 단순한 비지도 클러스터링이다

1. 문제 제기

본 논문은 대규모 언어 모델 (LLM) 을 위한 불확실성 정량화 (UQ) 분야가 근본적인 범주 오류를 겪고 있다고 주장한다. UQ 는 의료, 법률과 같은 고위험 분야에서 LLM 을 배포할 때의 주요 안전장치로 널리 간주되지만, 주류 방법론들은 기계적으로 비지도 클러스터링 알고리즘과 동형 (isomorphic) 이다.

핵심 문제는 이러한 방법론들이 모델 생성물의 외부 사실적 정확성이 아닌 내부 일관성을 정량화한다는 점이다. 결과적으로 모델이 높은 확신으로 사실적으로 틀리면서도 안정적이고 자기 일관적인 답변을 생성하는 '확신 있는 환각 (confident hallucinations)'을 탐지하지 못한다. 이는 현재 지표가 확신을 가지고 틀린 모델과 확신을 가지고 옳은 모델을 구분하지 못하기 때문에, 기만적인 안전감을 조성한다.

2. 방법론적 분석: 클러스터링 메커니즘

저자들은 지배적인 UQ 방법론들이 비지도 클러스터링의 세 가지 변형으로 수렴함을 기계적으로 분해하여 보여준다.

• 의미론적 엔트로피 (명시적 클러스터링): 의미론적 엔트로피 (SE) 와 그 변형들 (SAE, SEN, KLE) 과 같은 방법론들은 자연어 추론 (NLI) 모델을 사용하여 생성된 텍스트의 연속 공간을 이산적인 '답변 클래스'로 이산화한다. 그리고 이러한 클러스터들에 대해 엔트로피를 계산한다. 기계적으로 볼 때 이는 NLI 모델이 클러스터 소속을 정의하고 엔트로피가 클러스터 순도를 측정하는 클러스터링 알고리즘이다. 이는 데이터 포인트들의 분리도를 측정할 뿐, 그 의미론적 진실을 측정하는 것은 아니다.
• 그래프 기반 정량화 (암시적 클러스터링): 그래프 구조를 활용하는 방법론들 (예: 스타 그래프, 그래프 불확실성, 라플라시안의 스펙트럼 분석) 은 샘플링된 응답들로부터 유사성 그래프를 구성한다. 불확실성 점수는 연결 구성 요소나 의미론적 모드 (semantic modes) 의 수를 추정하는 스펙트럼 속성 (고유값) 에서 도출된다. 이는 응답 집합이 사실적 타당성과 무관하게 일관된 의미론적 그룹으로 분열되는 정도를 반영하는 스펙트럼 클러스터링의 직접적인 구현체로 식별된다.
• 구술된 신념 (잠재적 확신 클러스터링): $P(\text{true})$와 같은 방법론들은 모델이 자신의 출력의 정확성을 스스로 평가하도록 요구한다. 저자들은 이것이 모델의 잠재 공간에 대한 소프트 클러스터링으로 기능한다고 주장한다. 높은 확신은 생성된 답변이 모델의 내부 '신념 클러스터'의 중심기하학적으로 가깝게 위치함을 나타내는 반면, 낮은 확신은 이를 이상치로 표시한다. 모델은 진실을 판단하는 것이 아니라, 자신의 매개변수적 확신 중심으로부터의 출력의 기하학적 거리를 계산하는 것이다.

3. 식별된 주요 병리 현상

비지도 클러스터링에 대한 의존성은 안전성을 훼손하는 세 가지 치명적인 실패를 초래한다.

1. 초매개변수 민감성 위기: UQ 점수는 초매개변수 (예: 샘플링 온도, NLI 임계값, 샘플 수) 에 취약한 민감성을 보인다. $K$나 거리 척도의 선택이 결과를 바꾸는 클러스터링 알고리즘과 유사하게, UQ 점수는 이러한 설정에 따라 극적으로 변동한다. 이는 최적의 매개변수가 알려져 있지 않으며 종종 하류 작업의 제약에 의해 결정되기 때문에 배포를 unsafe 하게 만든다. 이는 매개변수 과적합에 기반한 안전의 환상을 초래한다.
2. 내부 평가의 함정: 현재의 평가 규범은 자기 일관성과 정확성을 혼동한다. AUROC 와 같은 지표는 안정적인 생성물을 식별하는 방법론들을 보상한다. 그러나 확신 있는 환각의 경우, 모델은 일관되게 틀린 것이다. 높은 일관성은 단지 사실적인 상태가 아닌 안정된 상태로의 수렴을 나타낼 뿐이다.
3. **진실의 부재 ('판사 문제'):'진정한 불확실성'에 대한 직접적인 기준 (ground truth) 은 존재하지 않는다. 평가는 불확실성과 답변 정확성 간의 상관관계를 나타내는 대리 지표에 의존한다. 그러나 개방형 작업에 대한 객관적인 정확성 라벨을 얻는 것 자체가 불안정하며, 종종 다른 LLM 을 판사로 의존한다. 이는 불안정한 자 (판사) 로 시스템을 검증하는 순환적 루프를 만들어 안전 보장을 무효화한다.

4. 주요 기여 및 제안된 로드맵

본 논문은 비지도 휴리스틱에서 지도된 보장으로의 패러다임 전환을 옹호한다. 이는 세 가지 기둥으로 구성된 로드맵을 제안한다.

A. 평가: 평균 성능에서 최악의 경우 견고성으로

• 테일 리스크 평가: 전역 AUROC 와 같은 집계 지표에서 최악의 경우 견고성으로 초점을 이동한다. 저자들은 UQ 를 능동적 경고 시스템 (거부 메커니즘) 으로 취급할 것을 제안한다. 평가는 단순한 쉬운 정답/오답 쌍을 구분하는 것이 아니라, 치명적인 확신 있는 환각을 포착하도록 보장하기 위해 엄격하게 낮은 거짓 양성률 (FPR) 에서의 참 양성률 (TPR) 을 측정해야 한다.
• 민감성 보고: **안정성 곡선 아래 면적 (AUSC)**을 도입한다. 저자들이 p-hacking 에 비유하는 광범위한 초매개변수 튜닝 후의 최고 성능을 보고하는 대신, 연구자들은 분포적 견고성을 입증하기 위해 초매개변수 (예: 온도) 의 연속적인 스윕 전반에 걸친 성능 프로파일을 보고해야 한다.

B. 메커니즘: 사후 휴리스틱에서 내재적 보장으로

• 준거 예측 (Conformal Prediction, CP): 원시 확신 점수를 넘어선다. UQ 방법론을 준거 예측 프레임워크 내에서 비준거 점수 (nonconformity scores) 로 사용한다. 이는 예측 집합이 보장된 커버리지를 갖도록 강제함으로써 불확실성 추정이 현실과 마주하게 한다. 모델이 확신 있게 환각을 일으킨다면, 커버리지를 유지하기 위해 예측 집합의 크기가 폭발적으로 증가해야 하므로, 이는 내부 일관성이 결여된 진실 인식 지표를 제공한다.
• 내재적 불확실성 정렬: 표준 지시 튜닝에서 훈련 후 (Post-Training, 예: RLHF) 를 통한 불확실성 정렬로 전환한다. 모델은 '나는 확신한다...' 대 '가능하다...'와 같이 확신 수준을 명시적으로 표현하도록 명시적으로 훈련되어야 하며, 잠재적 기하학적 산물이 아닌 명시적 유효성 주장에 내부 표현을 고정해야 한다.

C. 근거: 객관적 진실 확립

• 의무 단위 테스트: 정량화 방법론은 개방형 생성에 적용되기 전에 검증 가능한 환경 (예: 코드 실행, 고정 상수를 가진 수학적 추론) 에서 골드 스탠다드 단위 테스트를 통과해야 한다. 이는 방법론이 결정론적 설정에서 진리와 허구를 구분할 수 있음을 보장한다.
• 원자적 사실 검증: 주관적인 LLM 기반 판사를 원자적 사실 검증으로 대체한다. 복잡한 내러티브는 원자적 주장으로 분해되어 검색 엔진, 구조화된 지식 베이스, Lean4 와 같은 형식적 정리 증명기와 같은 외부 권위와 대조하여 검증되어야 한다. 이는 모델 대 모델 평가의 순환적 의존성을 끊는다.

5. 중요성과 주장

본 논문은 현재 UQ 연구의 궤적이 내부 구조를 위해 설계된 도구를 사용하여 외부 현실의 문제를 해결하려 시도하기 때문에 근본적으로 결함이 있다고 주장한다.

• 기만적인 안전: 이 작업의 주요 중요성은 현재 UQ 방법론들이 '기만적인 안전감'을 조성한다는 경고이다. 이러한 방법론들은 명백한 오류는 필터링할 수 있지만, 가장 위험한 실패인 안정적이고 확신 있는 환각은 탐지하지 못한다.
• 패러다임 전환의 필요성: 저자들은 커뮤니티가 더 나은 비지도 휴리스틱을 추구하는 것을 포기해야 한다고 주장한다. 검증의 근거를 객관적 진실에 두고 지도된 보장으로 이동하지 않는 한, 중요한 분야의 LLM 은 여전히 신뢰할 수 없게 남을 것이다.
• 분야의 재정의: UQ 를 비지도 클러스터링 문제로 식별함으로써, 본 논문은 해당 분야의 한계를 조정해야 할 공학적 과제가 아닌, 평가, 메커니즘, 그리고 근거의 근본적 변화를 요구하는 구조적 병리로 재정의한다.

본 논문은 AI 시스템이 고위험 분야에서 신뢰할 수 있게 작동하기 위해서는 모델의 확신이 단순한 내부 일관성의 측정이 아닌 사실적 정확성의 신뢰할 수 있는 대리 지표로 기능해야 한다고 결론짓는다.