💬 NLP

Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

본 논문은 어텐션 맵, 토큰 확률, 그리고 재귀적으로 계산된 불확실성 점수를 기반으로 회귀 모델을 학습시켜 Large Language Model 의 불확실성을 정량화하는 새로운 방법을 제안함으로써, 여러 데이터셋과 모델에 걸쳐 환각을 효과적으로 탐지하고 선택적 생성을 개선합니다.

원저자: Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

게시일 2026-04-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하고 말을 빠르게 하는 로봇이 당신에게 이야기를 들려주고 있습니다. 이 로봇은 문장을 만들어내는 데 뛰어나지만, 때로는 실제로 틀린 내용에 대해 자신감을 갖기도 합니다 (이를 '할루시네이션'이라고 부릅니다).

문제는 로봇이 자신이 거짓말하고 있다는 것을 모른다는 점입니다. 로봇은 그냥 말을 이어갈 뿐이며, 만약 이야기 초반에 실수를 범하면 그 실수를 바탕으로 나머지 이야기를 이어가면서 오히려 더 자신감 있게 됩니다. 이는 첫 번째 사람이 잘못된 사실을 속삭이고 나머지 사람들이 그 사실을 점점 더 자신 있게 반복하는 '전화 게임'과 같습니다.

문제: 로봇의 맹점
로봇이 거짓말을 하고 있는지 확인하는 기존 방법들은 로봇이 말하는 각 단어에 대한 '신뢰도 점수'를 주로 살펴봅니다. 하지만 이는 까다롭습니다. 로봇이 "하늘은 초록색이다"라고 말한다면, 그것은 자신의 논리를 따를 뿐이므로 다음 단어인 "잔디"에 대해 여전히 매우 자신감을 느낄 수 있습니다. 로봇은 전체 문장이 거짓 위에 세워졌다는 사실을 깨닫지 못합니다.

이 논문의 저자들은 이를 '조건적 의존성 (conditional dependency)' 문제라고 부릅니다. 로봇의 다음 단어에 대한 신뢰도는 완전히 이전 단어에 달려 있는데, 심지어 그 이전 단어가 실수였음에도 불구하고 그렇습니다.

해결책: TAD (학습 가능한 어텐션 기반 의존성)
연구진들은 TAD라는 새로운 도구를 개발했습니다. TAD 를 로봇 옆에 앉아 한 단어씩 쓰면서 지켜보는 초지능 편집자로 생각하세요.

다음은 몇 가지 간단한 비유를 통해 편집자가 작동하는 방식입니다:

시선 (Attention): 로봇이 말할 때, 다음에 무엇을 말할지 결정하기 위해 이전 단어들을 '본다'고 할 수 있습니다. 연구진들은 로봇이 진실을 말할 때 그 '시선' (어텐션) 이 안정적이고 집중되어 있음을 발견했습니다. 하지만 로봇이 할루시네이션을 시작하면 시선이 흔들리거나 혼란스러워집니다. TAD 는 이 시선을 면밀히 관찰합니다.
연쇄 반응 (Recurrence): 편집자는 현재 단어만 보지 않습니다. 이전 단어들의 불확실성을 기억합니다. 로봇이 1 번 단어를 실수했다면, 편집자는 로봇이 그다음 단어들 (2 번, 3 번, 4 번) 에 대해 자신감 있게 말하더라도 이를 의심스러운 것으로 표시합니다. 이는 수학 문제의 첫 번째 단계를 틀렸다면, 학생이 답을 얼마나 깔끔하게 썼는지와 상관없이 최종 답이 틀릴 가능성이 높다는 것을 아는 선생님처럼 행동하는 것과 같습니다.
2 단계 훈련: 이 편집자를 가르치기 위해 연구진들은 2 단계 과정을 사용했습니다.
- 1 단계: 편집자에게 로봇의 원시 신뢰도만을 사용하여 실수를 찾아내는 법을 가르쳤습니다.
- 2 단계: 편집자가 1 단계에서 얻은 자신의 '직감'을 활용하여 더 잘 학습하도록 했습니다. 이는 스포츠를 연습하는 것과 같습니다. 먼저 기본 동작을 배운 다음, 자신의 이전 동작에 반응해야 하는 실제 경기에서 연습하는 것입니다.

테스트 방법
연구진들은 이 편집자를 뉴스 기사 요약부터 까다로운 상식 퀴즈 답변에 이르기까지 10 가지 다른 유형의 작업에 적용하여 테스트했으며, 세 가지 다른 버전의 로봇 (LLaMA, Gemma, Qwen) 을 사용했습니다.

결과: TAD 는 그들이 시도한 다른 어떤 방법보다 로봇의 거짓말을 잡아내는 데 훨씬 뛰어났습니다. 특히 긴 이야기가 엉망이 될 때를 포착하는 데 매우 효과적이었습니다.
효율성: 정답을 다섯 번이나 '생각'하게 하는 다른 방법들 (이는 느리고 비용이 많이 듭니다) 과 달리, TAD 는 매우 빠릅니다. 로봇의 사고 과정에 약 5% 의 추가 시간만 더할 뿐입니다. 이는 로봇에게 전체 이야기를 다시 쓰게 하는 대신 빠르게 한 번 더 확인하는 것과 같습니다.

결론
이 논문은 컴퓨터 모델이 로봇이 자신의 이전 단어들을 어떻게 바라보는지에 주의를 기울이도록 가르치고, 문장 초반에 저지른 실수를 기억함으로써 AI 를 위한 훨씬 더 나은 '거짓말 탐지기'를 구축할 수 있다고 주장합니다. 이는 속도를 너무 늦추지 않으면서도 특히 긴 답변의 경우 AI 를 더 안전하고 신뢰할 수 있게 만듭니다.

이 논문이 주장하지 않는 것

이 도구가 모든 상황의 모든 AI 유형에서 작동한다고 주장하지 않습니다 (특정 모델과 작업에 대해 테스트되었습니다).
이것이 의료 도구나 법적 판사라고 주장하지 않습니다.
AI 가 다시는 실수를 하지 않을 것이라고 주장하지 않습니다. 다만 이 도구가 실수를 발견하는 데 더 뛰어나서 이를 걸러낼 수 있다고 주장할 뿐입니다.

다음은 논문 "Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 환각 (hallucinations) 과 저품질 출력을 생성하기 쉽습니다. 불확실성 정량화 (UQ) 는 생성된 텍스트에 신뢰 점수를 부여함으로써 이러한 오류를 탐지하는 핵심 메커니즘입니다. 그러나 기존 UQ 방법들은 **조건적 의존성 (conditional dependency)**이라는 근본적인 한계에 직면해 있습니다.

핵심 문제: LLM 은 자동회귀적 (token-by-token) 으로 텍스트를 생성합니다. 현재 토큰 $y_i$ 의 확률은 모든 이전 토큰 $y_{<i}$ 에 조건부로 결정됩니다. 만약 초기 토큰이 환각 (오류) 일 경우, 모델은 이를 후속 단계의 기준 사실 (ground truth) 로 간주합니다. 결과적으로 모델은 전체 시퀀스가 결함이 있음에도 불구하고 후속 토큰을 높은 신뢰도로 생성합니다.
격차 (Gap): 표준 UQ 방법은 즉각적인 조건부 확률 $p(y_i | y_{<i})$ 를 기반으로 불확실성을 계산합니다. 이는 이전 단계의 불확실성을 전파하지 못합니다. 첫 번째 토큰이 틀렸더라도 잘못된 컨텍스트가 주어졌을 때 모델이 다음 토큰에 대해 확신을 가진다면, 전체 시퀀스는 "안전"하다고 간주되어 탐지되지 않은 환각이 발생합니다.
현재의 한계: 이러한 의존성을 모델링하려는 이전 시도들은 휴리스틱 (예: 이전 최대 어텐션에 기반한 점수 패널티) 에 의존하거나, 일관성을 확인하기 위해 여러 출력을 생성하는 계산 비용이 많이 드는 샘플링을 필요로 합니다.

2. 방법론: 학습 가능한 어텐션 기반 의존성 (TAD)

저자들은 생성 단계 간의 복잡한 의존성을 모델링하여 토큰의 "무조건적 (unconditional)" 불확실성을 학습하는 지도 학습 기반 데이터 중심 접근법인 TAD를 제안합니다.

A. 핵심 개념

LLM 의 원시 조건부 확률에만 의존하는 대신, TAD 는 토큰 $y_i$ 의 **무조건적 신뢰도 (unconditional confidence)**를 추정하는 회귀 함수 $C(\cdot)$ 를 학습합니다. 이 함수는 다음 요소들을 통합합니다:

현재 단계 확률: LLM 이 제공하는 토큰 확률 $p(y_i | y_{<i})$ .
어텐션 맵 (Attention Maps): 현재 토큰에서 이전 토큰으로의 어텐션 가중치로, 모델의 내부 집중 및 의존성 구조를 인코딩합니다.
재귀적 불확실성: 이전 토큰들의 추정된 무조건적 신뢰도 점수 ( $C_{<i}$ ).

수식은 다음과 같습니다:
$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$

B. 훈련 절차 (2 단계)

목표 변수 (무조건적 신뢰도) 가 모델 자체의 출력 (재귀) 에 의존하므로, 저자들은 2 단계 훈련 절차를 사용합니다:

1 단계: 현재 토큰 확률과 어텐션 가중치만을 사용하여 회귀 모델을 훈련합니다. 첫 번째 토큰의 목표 변수는 생성된 시퀀스와 기준 사실 (ground truth) 간의 의미적 유사성입니다. 후속 토큰의 경우 목표 변수는 여전히 기준 사실 유사성이지만, 모델은 즉각적인 특징을 기반으로 예측하는 법을 학습합니다.
2 단계: 1 단계 모델의 예측치를 특징으로 사용하여 모델을 재훈련합니다. 구체적으로, 1 단계 모델이 예측한 이전 단계들의 "재귀적으로 계산된 불확실성 점수"를 2 단계 모델에 입력합니다. 이를 통해 모델이 시퀀스 전반에 걸쳐 불확실성을 전파하는 방법을 학습할 수 있습니다.

C. 특징 공학

목표 변수: 훈련을 위한 기준 사실은 전체 생성 시퀀스와 참조 답변 간의 의미적 유사성 (COMET, AlignScore, 또는 정확도 등의 지표 사용) 에서 도출됩니다.
입력: 각 토큰 $y_i$ 에 대해 특징 벡터에는 $N$ 개의 이전 토큰에 대한 어텐션 가중치, 해당 토큰들의 조건부 확률, 그리고 해당 이전 토큰들의 추정된 무조건적 신뢰도가 포함됩니다.

D. 추론

추론 중 TAD 는 토큰을 순차적으로 처리합니다. 첫 번째 토큰의 경우 원시 확률을 사용하며, 후속 토큰의 경우 학습된 함수 $C$ 를 사용하여 무조건적 신뢰도를 재귀적으로 계산합니다. 이러한 토큰 수준의 점수들을 평균 또는 로그 - 합 (log-sum) 을 통해 집계하여 시퀀스 수준의 불확실성 점수를 생성합니다.

3. 주요 기여

새로운 지도 학습 접근법: TAD 는 어텐션 맵과 재귀적 불확실성 점수를 기반으로 훈련된 지도 회귀 모델을 사용하여 생성 단계 간의 조건적 의존성을 명시적으로 학습한 최초의 방법입니다.
재귀적 특징 통합: 재귀적으로 계산된 불확실성 점수를 통합하는 것이 정확한 UQ 에 필수적이며, 초기 오류의 "위험"을 전체 시퀀스로 효과적으로 전파한다는 것을 논문은 입증했습니다.
2 단계 훈련: 이전 불확실성 예측에 기반한 불확실성 예측이라는 순환적 의존성을 처리하기 위해 저자들은 특정 훈련 프로토콜을 도입하여 과적합을 방지하고 수렴을 개선했습니다.
효율성: 여러 순전파를 필요로 하는 샘플링 기반 방법 (예: Semantic Entropy) 과 달리, TAD 는 단일 순전파 위에 경량 선형 회귀 또는 MLP 를 사용하여 표준 추론 대비 약 5% 의 최소한의 계산 오버헤드만 추가합니다.

4. 실험 결과

저자들은 10 개의 데이터셋(요약, 기계 번역, 다양한 QA 작업 포함) 과 3 개의 LLM(LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B) 에서 TAD 를 평가했습니다.

성능: TAD 는 모든 모델과 데이터셋에서 최고의 전체 성능을 달성했습니다.
- 최첨단 비지도 방법 (예: Perplexity, Semantic Entropy) 과 지도 학습 베이스라인 (예: LookBackLens, SATRMD, Sheeps) 을 크게 능가했습니다.
- TruthfulQA 데이터셋에서 TAD 는 두 번째로 좋은 베이스라인보다 예측 거부 비율 (PRR) 을 0.045 향상시켰습니다.
- MedQUAD에서는 2 위 베이스라인보다 0.077 PRR 로 더 높은 성능을 보였습니다.
애블레이션 연구 (Ablation Studies):
- 특징: 어텐션 가중치나 재귀적 특징을 제거하면 성능이 크게 저하되어 두 요소 모두 중요함을 확인했습니다.
- 훈련: 2 단계 훈련 절차가 필수적인 것으로 나타났으며, 단일 단계 접근법은 필요한 의존성을 포착하지 못했습니다.
- 레이어: 중간 레이어의 어텐션 가중치가 가장 유익한 것으로 발견되었으나, 첫 번째와 마지막 레이어도 기여했습니다.
일반화: TAD 는 유망한 도메인 외 (OOD) 일반화를 보여주었습니다. QA 로 훈련되어 요약/번역으로 테스트될 때 대부분의 지도 학습 방법이 실패한 반면, TAD 는 견고한 성능을 유지하며 보이지 않는 QA 도메인에서 베이스라인을 능가했습니다.
효율성: TAD 는 5% 의 런타임 오버헤드만 도입한 반면, Semantic Entropy 와 같은 샘플링 기반 방법은 400~600% 의 오버헤드를 발생시켰습니다.

5. 중요성 및 결론

이 논문은 LLM 안전성에서 중요한 맹점을 다루고 있습니다. 즉, 초기 환각으로 인한 연쇄 오류를 탐지하지 못하는 표준 불확실성 지표의 한계입니다.

실용적 영향: TAD 는 저품질 출력을 거부하는 **선택적 생성 (selective generation)**을 위한 계산 효율적이고 플러그 - 앤 - 플레이 솔루션을 제공합니다. 이는 샘플링 기반 검증의 prohibitive 한 비용 없이 고위험 응용 분야에서 LLM 의 안전한 배포를 가능하게 합니다.
이론적 통찰: 이 연구는 어텐션 맵이 생성 단계의 조건적 의존성에 관한 풍부한 정보를 포함하고 있으며, 이러한 의존성을 학습하여 "무조건적" 진실성을 추정할 수 있음을 검증합니다.
향후 방향: 저자들은 검색 증강 생성 (RAG) 으로 TAD 를 확장하여 검색된 증거의 신뢰성을 평가하고, 지식 집약적 LLM 응용 프로그램의 신뢰성을 더욱 강화할 것을 제안합니다.

요약하자면, TAD는 정적 토큰 수준 확률 점검에서 "생각의 사슬 (chain of thought)"과 오류 전파 가능성을 이해하는 동적, 컨텍스트 인식 불확실성 추정으로 이동함으로써 LLM 을 더 신뢰할 수 있게 만드는 중요한 진전을 의미합니다.