🤖 machine learning

Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs

이 논문은 환각을 인코딩하는 선형적으로 분리 가능한 진실성 신호가 4비트 양자화된 오픈 소스 LLM의 중간 레이어 은닉 상태에 강력하게 존재함을 입증하며, 이는 단순한 선형 프로브를 사용하여 완벽에 가까운 AUROC 점수로 탐지를 가능하게 하는 반면, 샘플링 기반 방식은 동일한 평가 프로토콜 하에서 현저히 낮은 성능을 보임을 보여준다.

원저자: Aizierjiang Aiersilan

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aizierjiang Aiersilan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하지만 약간은 믿을 수 없는 로봇 비서가 있다고 상상해 보세요. 때로는 진실을 말하지만, 때로는 그럴듯하게 들리지만 완전히 틀린 사실을 지어내기도 합니다(이를 '환각(hallucination)'이라고 부릅니다).

이 논문은 마치 탐정 보고서와 같습니다. 어떻게 하면 로봇이 거짓말을 하는지 알아낼 수 있을까요? 그리고 그 거짓말은 로봇의 "두뇌" 어디에 숨어 있을까요?

연구진은 이 실험을 세 가지 인기 있는 오픈 소스 로봇 두뇌(Llama, Mistral, Qwen)를 대상으로 진행했습니다. 이 두뇌들은 일반 가정용 컴퓨터에서도 돌아갈 수 있도록 크기가 줄어든 상태였습니다(고화질 영화를 화질 저하를 최소화하면서 작은 파일로 압축하는 것과 같은 '4비트 양자화(4-bit quantization)' 기술을 사용했습니다).

연구 결과는 다음과 같으며, 이해하기 쉽게 설명해 드립니다:

1. "진실 탐지기"는 단순한 선입니다

연구진은 로봇의 거짓말을 잡아내기 위해 두 가지 주요 방법을 시도했습니다.

"도박사" 접근법 (샘플링): 로봇에게 같은 질문을 10번 던집니다. 만약 10개의 서로 다른 답변을 내놓는다면, 로봇이 혼란스러워하거나 거짓말을 하고 있을 가능성이 있습니다. 반대로 매번 같은 답변을 한다면, 진실을 말하고 있을 가능성이 있습니다.
"엑스레이" 접근법 (프로빙): 로봇이 생각하는 동안 직접 그 내부를 들여다봅니다. 구체적으로, 그들은 "숨겨진 상태(hidden states)"(두뇌 층 사이의 전기 신호)를 관찰하여 "진실" 또는 "거짓"을 나타내는 패턴이 있는지 확인했습니다.

결과: "엑스레이" 접근법이 압도적인 승자였습니다. 두뇌 중간에 있는 단 **하나의 특정 층(layer)**을 살펴봄으로써, 매우 단순한 수학 도구(선형 프로브)를 통해 90%에서 100%의 정확도로 로봇이 거짓말을 하는지 판별할 수 있었습니다.

"도박사" 접근법(10번 질문하기)은 이 특정 테스트에서 거의 쓸모가 없었으며, 동전 던지기(정확도 약 50%)보다 나은 성과를 보여주지 못했습니다.

2. 두뇌 어디에 거짓말이 숨어 있는가?

연구진은 "진실의 신호"가 모든 곳에 존재하는 것이 아님을 발견했습니다. 이는 마치 초고층 빌딩의 특정 방에 진실이 벽에 적혀 있는 것과 같습니다.

Llama와 Mistral 로봇(32층 규모)의 경우, 진실은 13층에서 18층 사이에서 가장 잘 보입니다.
Qwen 로봇(28층 규모)의 경우, 진실은 19층에서 25층 사이에서 가장 잘 보입니다.

이 특정 "층"에서 로봇의 두뇌를 확인하면, 거의 즉시 로봇이 정직한지 알 수 있습니다.

3. 왜 "도박사" 접근법은 실패했는가?

"왜 로봇에게 10번 질문하는 것이 효과가 없었을까?"라는 의문이 생길 수 있습니다.
논문은 이 차이를 명확히 설명합니다:

**프로브(엑스레이)**는 특정 답변(예: "프랑스의 수도는 파리이다")을 입력받고, "당신의 두뇌가 이 문장을 진실로 인식하는가?"라고 물었습니다. 즉, 그 특정 문장에 대한 로봇의 내부 반응을 살핀 것입니다.
**도박사(샘플링)**는 단순히 질문을 던지고 "10가지 다른 이야기를 써라"라고 명령했습니다. 이는 질문에 대해 로봇이 얼마나 혼란스러워하는지를 측정한 것이지, 특정 답변이 진실인지 아닌지를 측정한 것이 아니었습니다.

테스트 설정 자체가 특정 답변을 확인하도록 되어 있었기 때문에, "도박사"는 엉뚱한 곳을 보고 있었던 것입니다. 이는 문서를 작성한 사람에게 문서를 10번 다시 써보라고 요청함으로써 문서 안의 특정 오타를 찾으려는 것과 같습니다. (그저 문서를 한 번 제대로 읽기만 하면 되는데 말이죠.)

4. "단순한 선" vs "복잡한 기계"

연구진은 더 똑똑한 도구를 찾기 위해 매우 복잡한 수학 도구(MLP)를 사용해 보았습니다.
놀라운 점: 복잡한 도구는 단순한 도구보다 딱히 더 나은 성능을 보여주지 못했습니다. 로봇의 두뇌 속에 있는 "진실"은 사실 매우 직관적입니다. 그것은 거의 '직선'에 가깝습니다. 이를 찾기 위해 슈퍼컴퓨터가 필요하지 않습니다. 단순한 자 하나만 있으면 충분합니다.

5. "주의력(Attention)"의 단서

또 다른 유용한 기술이 있었는데, 이는 로봇이 특정 텍스트(예: 위키피디아 문서)를 읽고 있을 때만 유효했습니다.
연구진은 로봇의 "주의력"(무엇에 집중하고 있는지)을 첫 번째 단계에서 살펴보았습니다.

로봇이 텍스트를 바탕으로 진실을 말하고 있다면, 그 주의력은 집중되어 있고 차분했습니다.
만약 환각을 일으키고 있다면, 주의력이 흩어져 있고 혼란스러웠습니다.
이 방법은 추가적인 수학 계산이나 시간 없이도 매우 강력한 단서(최대 94%의 정확도)를 제공했습니다.

핵심 요약

작게 압축된 AI 로봇이 사실에 대해 거짓말을 하는 것을 잡고 싶다면:

하지 마세요: 같은 질문을 10번 반복해서 묻는 것 (시간만 낭비하며, 여기서는 효과가 없습니다).
하세요: 중간 층(약 15번째 또는 20번째 층)에서 로봇의 두뇌 내부를 들여다보세요.
매우 단순하고 빠른 수학적 검사를 통해 거의 완벽한 정확도로 거짓말을 찾아낼 수 있습니다.

이 논문은 이러한 유형의 테스트에서는 로봇의 내부를 들여다보는 것이 똑같은 말을 반복하게 만드는 것보다 훨씬 빠르고 정확하다고 결론짓습니다.

기술 요약: 양자화된 LLM의 중간 레이어 은닉 상태에서 환각은 선형적으로 디코딩 가능하다

문제 정의
환각(hallucination)—유창하지만 사실적 근거가 없는 생성—은 대규모 언어 모델(LLM)의 실제 배포 환경에서 치명적인 실패 모드로 남아 있다. 이러한 오류를 추론 시점에 탐지하는 것은 실질적인 필요성이다. 기존의 탐지 방식은 일반적으로 다음 두 가지 범주로 나뉜다:

샘플링 기반 방법: 프롬프트에 대해 여러 개의 확률적 지속(stochastic continuations)을 생성하고, 어휘적, 의미적 또는 내부 상태의 불일치(예: Self-Consistency, Semantic Entropy, INSIDE)를 기준으로 환각을 판별한다. 이 방법들은 프롬프트당 $K \ge 5$ 번의 추가 순전파(forward pass)가 필요하므로 계산 비용이 많이 든다.
표현 기반 방법: 모델의 중간 은닉 상태로부터 진실성을 직접 디코딩하기 위해 작은 분류기(probe)를 학습시킨다. 이는 단 한 번의 순전파만 필요하지만, 특히 실무자들이 사용하는 자원 제한적인 양자화 환경에서 샘십 기반 방법과 동일한 모델을 대상으로 직접적인 비교가 이루어지는 경우가 드물다.

방법론
저자들은 4비트 NF4 양자화를 사용하여 단일 소비자용 GPU(8 GB VRAM)에서 엔드 투 엔드로 실행되도록 설계된 통합 평가 프레임워크를 제안한다.

모델: 세 가지 인스트럭션 튜닝된 7B–8B 모델이 평가되었다: Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct.
데이터셋: 근사한 50:50의 클래스 균형을 보장하기 위해, 동일한 프롬프트에 대해 진실된 답변(label=1)과 환각된 답변(label=0) 쌍을 제공하는 네 가지 벤치마크를 사용했다:
- TruthfulQA: 그럴듯하지만 틀린 오답(distractor)이 포함된 객관식 질문.
- HaluEval-QA: 명시적인 증거 구절이 포함된 지식 조건부 질의응답(QA).
- FEVER: 지원되거나 반박된 것으로 라벨링된 위키피디아 기반 주장.
- Synthetic: 세상의 사실에 대한 참/거짓 문장 쌍.
탐지 프로토콜: 후보 답변을 모델이 생성하게 하는 대신 모델에 직접 제공하는 쌍 라벨 프로토콜(paired-label protocol) 하에서 네 가지 방법을 평가하였다:
1. 선형 및 MLP 프로브 (SAPLMA 스타일): 진실성을 예측하기 위해 레이어별 은닉 상태(last-token pooling)에서 학습된 분류기.
2. INSIDE EigenScore: $K=10$ 개의 확률적 완성본에 대한 은닉 상태 공분산의 로그 행렬식(log-determinant)을 측정하는 샘플링 기반 방법.
3. Self-Consistency: 정확 일치 다수결(exact-match plurality) 및 문장 임베딩 유사도를 통해 $K=5$ 개 완성본 간의 합의를 측정.
4. Attention Entropy: 특정 트랜스포머 블록에서의 마지막 토큰 어텐션 분포의 샤논 엔트로피(Shannon entropy)를 요약.

주요 결과
본 연구는 이러한 탐지기들의 성능과 성격에 관한 세 가지 주요 발견을 제시한다:

쌍 라벨 설정에서 프로브의 우월성: 단일 중간 네트워크 레이어에 대한 선형 프로브는 모든 모델과 데이터셋에서 0.904에서 1.000 사이의 AUROC 점수를 달성했다. 반면, 샘플링 기반 방법(INSIDE 및 Self-Consistency)은 우연 수준의 성능을 보였으며, AUROC 점수가 0.541을 넘지 못했다.
진실성 신호의 선형성: 신호는 대략적으로 선형적이다. MLP 프로브가 선형 프로브보다 AUROC를 0.01 이상 높이는 경우가 거의 없다는 것은, 진실성 방향이 은닉 상태 표현 내의 선형 부분 공간(linear subspace)임을 시사한다.
일관된 피크 프로빙 레이어: "진실성 신호"는 모델 제품군 전반에 걸쳐 일관된 레이어 대역에서 정점을 찍는다:
- Llama & Mistral (32 레이어): 블록 13–18.
- Qwen (28 레이어): 블록 19–25.
  모델 제품군에 관계없이 자연어 벤치마크에서는 피크가 일관되게 네트워크의 후반부에 위치한다.
보완적 신호로서의 Attention Entropy: 지식 기반 설정(HaluEval-QA)에서, 첫 번째 트랜스포머 블록의 어텐션 엔트로피는 추가적인 추론 비용 없이 강력한 신호(AUROC 0.866–0.941)를 제공한다. 이 신호는 명시적인 증거 구절이 없는 데이터셋에는 일반화되지 않는다.
양자화 강건성: 높은 탐지 성능은 4비트 NF4 양자화 하에서도 유지되며, HaluEval-QA에서 최고 AUROC 0.998, Synthetic 벤치마크에서 1.000에 도달했다.

의의 및 주장
본 논문은 관찰된 샘플링 기반 방법의 약점이 이러한 기술들의 본질적인 한계가 아니라, 평가 프로토콜과 접근되는 정보 사이의 구조적 불일치(structural mismatch) 때문이라고 주장한다:

불일치: 쌍 라벨 프로토콜에서 프로브는 제공된 답변에 대한 모델의 내부 표현을 관찰하여, 모델이 해당 답변을 진실된 것으로 내부적으로 구분하는지 탐지할 수 있다. 반대로, 샘플링 방법은 프롬프트 자체에 대한 모델의 생성적 불확실성을 측정하며, 이는 특정하게 미리 제공된 후보 답변의 진실성과는 약한 상관관계를 갖는다.
실질적 시사점: 단일 배포된 모델 내에서의 화이트박스(white-box) 탐지를 위해, 프로빙 은닉 상태를 사용하는 것이 샘플링 기반 접근 방식보다 더 효과적이고 비용이 훨씬 적게 든다(단일 순전파).
배포: 결과는 소비자용 하드웨어에서 역양자화(de-quantization)나 다중 생성의 오버헤드 없이 양자화된 모델과 함께 선형 프로브를 배포할 수 있음을 시사한다.

저자들은 샘플링 방법이 "생성 후 판단(generate-then-judge)" 설정에서는 효과를 회복할 수 있지만, 중간 레이어 은닉 상태에서 환각 신호가 선형적으로 디코딩 가능하다는 점이 양자화된 인스트럭션 튜닝 LLM의 사실적 오류를 탐지하는 매우 효율적인 대안을 제공한다고 결론짓는다.