🤖 machine learning

"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

이 논문은 모델의 출력으로부터 언어적 표식에 대한 최적의 확률 매핑을 직접 학습하여 반복적인 샘플링에 의존하지 않고도 체계적인 신뢰도 격차를 드러내는 최적화 기반 알고리즘인 METHODNAME을 도입함으로써, 인간과 거대 언어 모델 간의 언어적 불확실성 정량화에서의 괴리를 조사한다.

원저자: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

게시일 2026-10-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

우리는 말을 할 때 종종 확신을 줄이곤 합니다. 우리는 무언가가 "가능성이 높다", "가능하다", 또는 "거의 확실하다"라고 말하며, 이러한 단어들을 사용하여 우리가 실제로 얼마나 알고 있는지를 나타냅니다. 이러한 의구 doubt(의구심)를 표현하는 능력은 메타인지의 한 형태이며, 우리 지식의 경계를 인정하는 정신적 점검입니다. 이는 인간 의사소통의 핵심적인 부분으로, 우리가 답을 가지고 있지 않음에도 불구하고도 가진 것처럼 가장하지 않고 불확실성을 헤쳐 나갈 수 있게 해줍니다. 인공지능, 특히 거대 언어 모델의 세계에서 이러한 능력은 중요한 안전 기능이 되고 있습니다. 이러한 모델들은 때때로 자신감 넘치는 어조로 들리지만 사실과 다른 정보를 생성할 수 있는데, 이를 '환각(hallucination)' 현상이라고 합니다. 의료나 법률과 같은 민감한 분야에서 이 시스템들을 신뢰하기 위해서는, 모델이 언제 확신하지 못하는지를 우리가 알 필요가 있습니다. 문제는 AI가 불확실성을 표현하기 위해 사용하는 단어들이 인간 청자에게 전달하는 의미와 기계 자체에 전달하는 의미가 동일한지 파악하는 데 있습니다.

한 연구팀은 거대 언어 모델이 표현하는 언어적 불확실성이 인간의 이해와 일치하는지 조사하기 위해 연구를 시작했습니다. 그들은 먼저 사람들이 "매우 가능성이 높다"나 "불확실하다"와 같은 구절을 어떻게 해석하는지에 대한 방대한 자료를 수집했습니다. 수십 년간의 심리학 및 의사결정 과학 연구를 바탕으로, 그들은 이러한 일반적인 구절들을 특정 수치적 확률에 매핑하는 참조 가이드를 작성했습니다. 예를 들어, 인간의 마음속에서 "매우 가능성이 높다"라는 구절은 높은 정도의 확신에 대응하는 반면, "가능하다"는 중간 지점에 위치합니다. 연구진은 이후 몇몇 첨단 언어 모델들을 테스트하며, 질문에 답하고 동일한 자연어 구절을 사용하여 자신의 확신 정도를 설명하도록 요청했습니다. 그들은 모델의 답변을 인간의 참조 가이드와 비교하여, 기계가 사용자들과 같은 언어로 말하고 있는지 확인했습니다.

결과는 상당한 괴리를 드러냈습니다. 모델들은 그 단어들을 사용할 수는 있었지만, 인간과는 다른 수준의 확실성을 해당 단어들에 부여했습니다. 예를 들어, 인간이 "매우 가능성이 높다"라는 말을 들으면 높은 확률로 해석하지만, 연구에 사용된 모델들은 실제로는 꽤 불확실한 상황을 설명할 때 이 구절을 사용하는 경우가 많았습니다. 반대로, 모델들은 인간이 단순한 추측이라고 간주하는 구절에 대해 높은 수준의 확신을 표현하기도 했습니다. 이러한 불일치는 단순히 모델의 출력을 읽고 그 언어적 신호가 모델의 내부 상태를 반영한다고 가정하는 것이 오해를 불러일으킬 수 있음을 의미합니다. 이 연구는 불확실성 단어에 대한 인간이 만든 사전을 사용하는 것만으로는 기계의 확신 정도를 정확하게 측정하기에 충분하지 않다는 것을 보여주었습니다. 즉, 모델들은 그 단어들이 무엇을 의미하는지에 대해 자신들만의 독특한 내부 논리를 가지고 있었습니다.

이 격차를 메우기 위해 연구진은 VOCAL이라는 새로운 방법을 개발했습니다. 모델에게 인간의 정의를 따르도록 강요하는 대신, 이 방식은 모델 자신의 행동으로부터 불확실성 단어의 구체적인 의미를 학습합니다. 이 시스템은 모델의 수천 가지 응답을 분석하여, 모델이 정답을 말할 때와 오답을 말할 때 각각 어떤 구절을 사용하는지 기록합니다. 그런 다음, 모델 특유의 언어적 습관을 정확한 확률 점수로 번역하는 맞춤형 지도를 구축합니다. 이 과정에는 데이터를 매끄럽게 만드는 수학적 최적화가 포함되어, 설령 모델이 드물게 사용하는 구절이라 할지라도 유사한 느낌의 구절은 유사한 점수를 받도록 보장합니다. 기계에 맞춰 해석을 조정함으로써, 이 방법은 모델이 언제 확신하지 못하는지를 감지하는 훨씬 더 신뢰할 수 있는 방법을 만들어냅니다.

실험 결과, 이 맞춤형 접근 방식이 기계에 인간의 표준을 강요하려는 시도보다 훨씬 더 효과적임이 입증되었습니다. 복잡한 수학 문제와 의료 질문을 포함한 다양한 데이터셋을 대상으로 한 테스트에서, 이 새로운 방법은 인간의 참조 가이드만을 사용하는 것보다 모델의 답변이 정답인지 오답인지를 예측하는 데 훨씬 더 정확했습니다. 어떤 경우에는 그 개선 폭이 매우 커서, 무작위 추측보다 겨우 나은 수준이었던 방법을 신뢰할 수 있게 오류를 찾아내는 수준으로 바꾸어 놓았습니다. 연구진은 이 기술이 모델이 여러 개의 답변을 생성하고 서로 비교하도록 하는 훨씬 더 비용이 많이 드는 방법들과 대등한 성능 수준을 달성할 수 있으면서도, 추가적인 시간이나 컴퓨팅 자원을 소모하지 않는다는 것을 발견했습니다.

이 연구는 거대 언어 모델이 인간의 언어 패턴을 흉내 낼 수는 있지만, 불확실성에 대한 그들의 내부적 이해는 우리와 근본적으로 다르다는 결론을 내립니다. "매우 가능성이 높다"와 같은 구절은 인간에게와 같은 무게감을 기계에게는 갖지 않습니다. 이러한 시스템을 진정으로 신뢰할 수 있게 만들기 위해서, 우리는 단순히 모델에게 인간처럼 말하라고 요구하고 그것이 우리와 같은 의미를 담고 있기를 기대해서는 안 됩니다. 대신, 우리는 그들의 특정한 불확실성 방언을 읽는 법을 배워야 합니다. 모델의 고유한 언어 신호를 명확한 확신의 신호로 번역하는 맞춤형 지도를 만듦으로써, 우리는 정답과 자신감 있는 환각을 더 잘 구별할 수 있으며, 이를 통해 기술을 실생활에서 더욱 안전하고 신뢰할 수 있게 만들 수 있습니다.

기술 요약: "매우 가능성이 높음(Very Likely)"은 "불확실함(Uncertain)"을 의미하는가? LLM이 언어적 불확실성 정량화에서 인간과 괴리되는 방식

문제 정의

대규모 언어 모델(LLM)이 놀라운 성공을 거두고 있지만, 특히 환각(hallucination) 현상과 관련하여 모델의 응답을 언제 신뢰할 것인가를 결정하는 데 있어 근본적인 과제가 남아 있다. 기존의 불확실성 정량화(Uncertainty Quantification, UQ) 방법은 일반적으로 샘플링 기반(예: Semantic Entropy, 앙상블 분산)과 로짓 기반(예: Predictive Entropy, Perplexity)의 두 가지 범주로 나뉜다. 그러나 이러한 접근 방식은 상당한 한계를 지닌다. 샘플링 방식은 계산 비용이 많이 들고 지연 시간을 유발하며, 로짓 기반 방식은 어휘적 민감성(lexical sensitivity) 문제를 겪거나 인간의 추론에 담긴 미묘한 뉘앙스를 포착하지 못하는 경우가 많다.

인간은 자연스럽게 언어적 표지(예: "가능한", "유력한", "거의 확실한")를 사용하여 불확실성을 표현한다. 최근 연구들이 언어화된 UQ를 탐구해 왔으나, 중요한 간극이 존재한다: LLM은 이러한 언어적 표지를 해석하고 활용하는 방식에서 인간과 괴리를 보인다. 현재의 방법들은 언어적 구절을 수치적 확률로 매핑하기 위해 심리학 문헌에서 유래한 룩업 테이블(lookup table)에 의존하는 경우가 많다. 저자들은 이러한 인간 유래 매핑이 LLM의 내부 불확실성 상태를 정확하게 반영하지 못하며, 이로 인해 신뢰할 수 없는 정량화로 이어진다고 주장한다.

방법론

1. 인간 언어적 불확실성 벤치마크 (UM-Lookup)

저자들은 먼저 대규모 **언어적 불확실성 표지 룩업 테이블(Verbal Uncertainty Marker Lookup Table, UM-Lookup)**을 구축하였다. 이 자원은 심리학 및 의사결정 과학의 기초 연구들(예: Lichtenstein & Newman, 1967; Beyth-Marom, 1982; Vogel et al., 2022)의 데이터를 집계한 것이다.

구축: 이 테이블은 115개의 고유한 언어적 불확실성 표현을 각 구절당 평균 336개의 인간 평가를 바탕으로 수치적 확률 점수에 매핑한다.
집계: LLM이 여러 표지를 포함한 응답을 생성할 때, 이 방법( $Q_{VU-H}$ )은 추출된 표지들의 수치적 점수를 평균하여 최종 불확실성 추정치를 산출한다.
초기 평가: 저자들은 다양한 모델(GPT-4o, DeepSeek-V3.1)과 데이터셋(GSM8K, MedQA, SciQ)에 대해 $Q_{VU-H}$ 를 표준 베이스라인(Predictive Entropy, Semantic Entropy)과 비교 평가하였다. $Q_{VU-H}$ 는 일부 사례에서 무시할 수 없는 성능을 보여주기도 했으나, 샘플링 기반 방식보다 자주 성능이 뒤처졌으며, 일부 사례(예: GSM8K에 대한 GPT-4o)에서는 무작위 추측(random chance)보다 낮은 성능을 보이기도 했다. 이는 인간의 언어적 직관과 LLM의 내부 확신 사이에 근본적인 불일치가 존재함을 확인시켜 주었다.

2. VOCAL: 최적화된 언어적 불확실성 정량화

이러한 불일치를 해결하기 위해, 저자들은 언어적 표지와 수치적 불확실성 수준 사이의 모델별 매핑을 학습하는 새로운 최적화 기반 알고리즘인 VOCAL을 제안한다.

목표: VOCAL은 각 언어적 표지( $u_i$ )에 대한 수치적 점수( $c_i$ )를 학습하여, 집계된 불확실성 점수( $q_y$ )가 모델의 실제 정확도를 충실히 반영하도록 한다. 목표는 오답 생성에는 높은 불확실성 점수를, 정답 생성에는 낮은 점수를 할당하는 것이다.
최적화 공식: 문제는 다음과 같은 이진 교차 엔트로피(Binary Cross-Entropy, BCE) 손실을 최소화하는 것으로 정식화된다:
$\mathcal{L}(c) = \min_{c} \mathbb{E}_{(x,y)} \left[ -z \log c_y - (1-z) \log(1-c_y) \right]$
여기서 $z$ 는 정답 여부 지표(정답이면 1, 오답이면 0)이며, $c_y$ 는 생성물 $y$ 에 포함된 표지들의 학습된 점수로부터 도출된 집계된 불확실성이다.
의미론적 평활화(Semantic Smoothing): 데이터 희소성 문제(예: "희박한 가능성"과 같이 학습 예시가 적은 희귀한 표지)를 처리하기 위해, VOCAL은 **그래프 라플라시안 정규화 항(Graph Laplacian Regularizer)**을 포함한다. 이는 3-gram Jaccard 유사도로 측정된 의미론적으로 유사한 표지들 사이의 큰 차이에 페널티를 부여함으로써 평활성을 강제한다. 전체 목적 함수는 $\mathcal{L}(c) + \gamma \mathcal{L}_{lap}(c)$ 이다.
효율성: 샘플링 기반 방식과 달리, VOCAL은 단 한 번의 모델 응답만으로 불확실성 점수를 생성하므로 다중 생성에 따른 계산 오버헤드를 피할 수 있다.

주요 기여

인간 언어적 불확실성 룩업 테이블: 저자들은 심리학 문헌에 근거하여 수치적 확률로 매핑된 115개의 언어적 표지를 담은 큐레이션된 자원을 제시한다. 이는 인간-LLM 간의 메타인지적 모니터링 격차를 분석하기 위한 기초 벤치마크 역할을 한다.
VOCAL 알고리즘: 저자들은 파라미터 업데이트나 파인튜닝 없이도 특정 LLM에 맞춤화된 언어적 불확실성 매핑을 제공하는 경량화된 최적화 기반 방법인 VOCAL을 소개한다. 이는 경험적 정확도를 바탕으로 각 표지가 전달해야 할 최적의 확률 질량을 학습한다.
포괄적 경험적 분석: 본 연구는 LLM이 인간과 어떻게 다른지에 대한 심층적인 분석을 제공한다. 예를 들어, 본 논문은 인간은 "매가 가능성이 높음(very likely)"을 높은 확신(~~0.85)으로 평가하는 반면, GPT-4o는 이를 자신의 내부 상태에서 훨씬 낮은 확신(~~0.35)과 연관 짓는다는 점을 입증한다.

결과

인간 룩업 대비 우수성: VOCAL은 인간 소스의 UM-Lookup( $Q_{VU-H}$ )보다 일관되게 우수한 성능을 보인다. GSM8K 데이터셋에서 VOCAL은 GPT-4o의 AUROC를 인간 룩업을 사용했을 때의 0.41에서 약 0.60으로 향상시켰다.
단일 샘플 베이스라인과의 비교: VOCAL은 G-NLL 및 Perplexity(PPL)와 같은 단일 샘플 UQ 방식보다 유의미하게 높은 성능을 보인다. 6개 평가 설정 중 5개에서 VOCAL은 가장 높은 AUROC를 달성했다. 예를 들어, GSM-Hard 데이터셋의 DeepSeek-V3.1에 대해 VOCAL은 0.715의 AUROC를 달성하여, G-NLL의 0.520을 상회했다.
다중 샘플 방식과의 경쟁력: 단 하나의 응답만을 사용함에도 불구하고, VOCAL은 비용이 많이 드는 다중 샘플 방식(예: Semantic Entropy, Semantic Density)과 대등한 성능을 보인다. 여러 사례(예: Qwen2.5-72B를 사용한 SciQ)에서 VOCAL은 샘플링 기반 베이스라인을 능가하며 최고 AUROC(0.717)를 기록했다.
교정(Calibration): VOCAL은 강력한 교정 특성을 보여준다. 사후 교정 방법인 Isotonic Regression(IR)과 결합했을 때, 평균 기대 교정 오차(Expected Calibration Error, ECE) 0.0281을 달성하여 다른 베이스라인들을 앞질렀다.
전이 가능성(Transferability): 실험 결과, 언어적 불확실성 지표는 대체로 LLM 간에 전이 가능하지만(한 모델에서 학습하고 다른 모델에서 테스트할 때 AUROC가 0.60~0.72 범위를 유지), VOCAL을 통한 모델별 튜닝이 더 우수한 결과를 낸다는 것을 보여준다.

의의 및 주장

본 논문은 언어적 불확실성 표현은 모델 의존적이며, 고정된 인간 정의 테이블에 의존하는 것은 신뢰할 수 있는 UQ를 위해 불충분하다고 주장한다. 이 연구의 의의는 다음과 같다:

인간-LLM 간극 해소: "매우 가능성이 높음"이 인간에게와는 다르게 LLM에게는 다른 의미를 갖는다는 점을 밝혀냄으로써, 현재의 신뢰 메커니즘에 존재하는 결정적인 단절을 드러냈다.
효율성 및 실용성: VOCAL은 강력한 정확도-효율성 트레이드오프를 제공한다. 다중 샘플 의미론적 일관성 파이프라인의 지연 시간과 비용 없이도 최첨단 수준의 불확실성 식별력을 제공하므로 실제 배포에 더 실용적이다.
메타인지적 통찰: 연구 결과는 LLM이 언어적으로 불확실성을 표현할 수는 있지만, 이러한 표현을 확신 수준으로 매핑하는 내부 방식은 인간의 인지와 구별된다는 점을 시사한다. VOCAL은 이러한 표현을 모델의 실제 신뢰도와 정렬하는 메커니애리즘을 제공하여, 더욱 신뢰할 수 있는 AI 상호작용을 지원한다.

저자들은 LLM의 불확실성을 언어적 표현에 기반하여 정립하되, 이를 특정 모델에 적절히 교정한다면 더욱 신뢰할 수 있고 책임 있는 생성형 AI를 향한 실행 가능한 경로가 될 것이라고 결론짓는다.