🤖 AI

Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models

본 논문은 뇌과학에서 영감을 받은 예측 코딩(Predictive Coding)과 정보 병목(Information Bottleneck) 신호를 활용하여, 기존 방식 대비 데이터 요구량과 추론 지연 시간을 대폭 줄이면서도 거대 언어 모델의 최첨단 환각 탐지를 달성하는 경량화되고 해석 가능한 하이브리드 탐지 프레임워크를 소개한다.

원저자: Manish Bhatt

게시일 2026-01-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Manish Bhatt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 박학다식한 로봇 비서가 있다고 상상해 보세요. 당신은 질문을 던지고 로봇에게 읽을 특정 문서를 건네줍니다. 로봇은 대답을 하지만, 가끔은 말을 지어내기도 합니다. 매우 자신감 있게 들리고 마치 다 알고 있는 것처럼 말하지만, 사실은 틀린 내용을 말하는 것이죠. 이것을 **"환각(Hallucination)"**이라고 부릅니다.

현재 이러한 거짓말을 잡아내는 것은 어렵습니다. 기존의 방법들은 너무 느리거나(예를 들어, 로봇에게 답을 열 번 다르게 써보게 하여 내용이 바뀌는지 확인하는 방식), 너무 비쌉니다(예를 들어, 첫 번째 로봇의 결과물을 심판하기 위해 거대하고 초지능적인 로봇을 고용하는 방식).

이 논문은 이러한 거짓말을 잡아내는 더 빠르고 저렴한 새로운 방법인 Pcib를 소개합니다. 이것은 거대한 심판을 고용하는 것이 아니라, 로봇의 뇌 안에 특화된 거짓말 탐지기를 설치하는 것이라고 생각하면 됩니다.

작동 원리는 다음과 같습니다.

1. 두 가지 핵심 아이디어 (이유)

저자들은 인간의 뇌가 작동하는 방식에서 빌려온 두 가지 아이디어를 사용하여 이 탐지기를 만들었습니다.

예측 코딩 (The "Surprise" Test - "놀람" 테스트):
당신이 이야기를 읽고 있다고 상상해 보세요. 만약 이야기에 "하늘은 초록색이다"라고 적혀 있다면, 당신의 뇌는 *"잠깐, 이건 놀라운데! 내가 아는 것과 맞지 않아"*라고 반응할 것입니다.
- 테스트: Pcib 시스템은 로봇에게 묻습니다: "만약 내가 문서를 주지 않는다면, 당신은 뭐라고 말했을까요?"
- 거짓말: 만약 로봇이 문서를 주었을 때나 주지 않았을 때나 똑같이 틀린 답을 내놓는다면, 이는 로봇이 사실을 무시하고 이미 자신이 '알고 있다'고 생각하는 것에 기반해 추측하고 있다는 뜻입니다. 이것이 바로 환각입니다.
- 진실: 만약 로봇이 문서를 읽은 후에 답변을 완전히 바꾼다면, 이는 로봇이 당신의 말을 실제로 경청했다는 것을 의미합니다.
정보 병목 현상 (The "Stress" Test - "스트레스" 테스트):
당신에게 튼튼한 벽돌(사실)과 카드 집(지어낸 이야기)이 있다고 상상해 보세요. 테이블을 흔들면(노이즈를 추가하거나 문구를 약간 바꾸면), 카드 집은 무너지지만 벽돌은 그대로 자리를 지킵니다.
- 테스트: 시스템은 로봇의 답변을 가져와서 문구를 약간 바꾸거나 단어를 변경합니다.
- 거짓말: 만약 로봇이 갑자기 "아, 이게 사실이 아닐 수도 있겠네요"라고 말하거나, 단어가 조금 바뀌었을 때 혼란스러워한다면, 그 아이디어는 취약했던 것입니다. 즉, 환각입니다.
- 진실: 만약 단어가 바뀌어도 로봇이 자신감을 유지하고 일관성을 보인다면, 그것은 실제 사실일 가능성이 높습니다.

2. 세 가지 "슈퍼 차지" (강화 요소)

저자들은 위의 기본 테스트들이 좋긴 하지만, 더 나아질 수 있다는 것을 발견했습니다. 그들은 탐지기를 더 날카롭게 만들기 위해 세 가지 "슈퍼 차지"를 추가했습니다.

중요한 것에 집중하기 (Entity-Focused Uptake - 개체 중심 수용):
로봇은 이름, 날짜, 숫자 같은 구체적인 세부 사항에 대해서는 거짓말을 하면서도, 평범한 단어들은 제대로 말하곤 합니다. 이제 시스템은 지루한 단어들은 무시하고 오직 중요한 이름과 숫자에 대해서만 "놀람" 테스트를 수행합니다.
앵커 확인하기 (Context Adherence - 문맥 준수):
때때로 로봇은 문서를 완전히 무시하고 기억에 의존해 말하곤 합니다. 이 새로운 신호는 다음과 같이 확인합니다: "로봇이 당신이 준 문서를 실제로 사용했는가, 아니면 그냥 몽상을 하고 있는가?"
"너무 과한 자신감" 알람 (Falsifiability Score - 반증 가능성 점수):
만약 로봇이 어떤 것이 "확실히" 사실이라고 말하면서 논리가 빈약하다면, 이는 위험 신호입니다. 이 신호는 "분명히" 또는 "확실히"와 같은 단어가 약한 논리와 결합될 때 이를 포착하여 과도하게 자신만만한 거짓말쟁이를 잡아냅니다.

3. 큰 반전 (효과가 없었던 것)

연구진은 **"합리화(Rationalization)"**라는 인기 있는 기법을 시도했습니다. 이는 로봇에게 "왜 그렇게 생각하는지 설명해 봐"라고 요청하여, 만약 로봇이 거짓말을 하고 있다면 설명 과정에서 혼란을 느껴 실수를 하길 기대하는 방식입니다.

결과: 효과가 없었습니다.
비유: 이미 거짓말을 하기로 결심한 사기꾼을 상상해 보세요. 당신이 "왜 거짓말을 하나요?"라고 물으면, 사기꾼은 당황하지 않고 오히려 자신의 거짓말을 뒷받침할 매우 설득력 있고 논리적인 이야기를 지어낼 것입니다. 로봇도 마찬가지입니다. 로봇은 가짜 사실을 뒷받침하기 위해 완벽하게 들리는 설명을 만들어냅니다. 이를 "아첨(Sycophancy)"(사용자의 잘못된 생각에 동조하며 거짓말을 정당화하는 것)이라고 합니다.

4. 결과: 빠르고, 저렴하며, 똑똑함

저자들은 자신들의 시스템(Pcib)을 현재 최고의 방법들과 비교 테스트했습니다. 결과는 다음과 같습니다.

믿을 수 없을 정도로 효율적입니다: 새로운 시스템은 거대한 로봇 심판보다 1,000배 더 빠릅니다. 5초가 아닌 5밀리초(눈 깜빡임보다 짧은 시간) 만에 처리합니다.
학습이 적게 필요합니다: 거짓말을 찾아내는 법을 배우기 위해, 새 시스템은 단 200개의 예시만 필요했습니다. 거대한 경쟁 모델들은 15,000개의 예시가 필요했습니다. 이는 75배나 적은 데이터 양입니다!
설명 가능합니다: 거대한 로봇이 "이것은 거짓말입니다"라고 말할 때, 당신은 그 이유를 알 수 없습니다. 하지만 Pcib가 "이것은 거짓말입니다"라고 말할 때는 정확히 어떤 부분이 실패했는지 알려줄 수 있습니다: "문서를 무시했습니다" 또는 "문구를 바꾸자 마음을 바꿨습니다"와 같이 말이죠.
성능이 입증되었습니다: 이 시스템은 거대하고 비싼 모델만큼이나 거의 비슷하게 거짓말을 잡아냈으며, 아주 작은 컴퓨터 칩에서도 실행됩니다.

요약

이 논문은 거짓말을 잡기 위해 더 크고 비싼 로봇을 만드는 대신, 로봇이 어떻게 생각하는지를 이해하는 더 똑똑하고 작은 도구를 만들어야 한다고 주장합니다. "놀람"과 "안정성"에 기반한 간단한 규칙을 사용함으로써, 우리는 슈퍼컴퓨터 없이도 빠르고, 저렴하며, 명확하게 환각을 잡아낼 수 있습니다. 유일하게 효과가 없었던 것은 로봇에게 자신의 거짓말을 설명하게 하는 것이었는데, 왜냐하면 거짓말쟁이는 변명을 만들어내는 데 능숙하기 때문입니다.

기술 요약: Pcib – 환각 탐지를 위한 예측 코딩 및 정보 병목 현상

문제 정의

고위험 도메인에서의 대규모 언어 모델(LLM) 배포는 "환각(hallucinations)"—그럴듯하지만 사실과 부합하지 않는 생성물—로 인해 저해됩니다. 현재의 탐지 방법들은 성능과 효율성 사이에서 트레이드오프(trade-off) 문제에 직면해 있습니다:

샘플링 기반 방법론 (예: SelfCheckGPT)은 브루트 포스(brute-force) 방식의 생성 통계에 의존하며, 이는 오류의 근본 원인을 은폐하고 높은 계산 비용을 발생시킵니다.
함의 기반 방법론 (예: RARR)은 값비싼 외부 검색 루프나 검색 엔진을 필요로 하여 상당한 지연 시간을 유발합니다.
LLM-as-a-Judge 접근법은 종종 거대 파라미터 수(70B+)를 가진 불투명한 블랙박스 모델에 의존하며, 방대한 학습 데이터를 요구하므로 자원이 제한되거나 실시간 운영이 필요한 프로덕션 환경에는 적합하지 않습니다.

따라서 외부의 정답(ground-truth) 오라클에 의존하지 않으면서도, 계산 효율적이고 해석 가능하며 환각을 식별할 수 있는 탐지 프레임워크가 절실히 필요합니다.

방법론: Pcib 프레임워크

저자들은 뇌과학에서 영감을 얻은 신호 설계와 지도 학습 기반의 머신러닝을 결합한 하이브리드 탐지 프레임워크인 Pcib를 제안합니다. Pcib는 탐지를 단순한 블랙박스 분류로 취급하는 대신, **예측 코딩(Predictive Coding)**과 정보 병목(Information Bottleneck, IB) 원리에 근거한 해석 가능한 진단 신호로 분해합니다.

1. 이론적 토대

예측 코딩 (Predictive Coding): 지능은 예측 오차(surprisal)를 최소화한다는 이론입니다. LLM에서 환각은 모델이 제공된 문맥(context)보다는 사전 학습된 사전 지식(priors)에 의존할 때 발생합니다.
정보 병목 (Information Bottleneck): 강건한 표현(representation)은 입력값에서 관련 있는 정보만을 남기고 압축한다는 이론입니다. 저자들은 사실적 지식은 "강건한(robust)" 압축(변형에 불변함)인 반면, 환각은 의미론적 노이즈에 의해 저하되는 "취약한(fragile)" 압축이라고 가설을 세웠습니다.

2. 신호 추출

프레임워크는 질문(Q), 문맥(C), 답변(A)의 삼조합 $(Q, C, A)$ 로부터 네 가지 기본 신호를 포함하는 특징 벡터를 추출합니다:

흡수율 (Uptake, $U$ ): 문맥이 조건화된 모델의 출력 분포와 질문만 있을 때의 분포 사이의 차이( $D_{KL}(P(A|Q,C) \parallel P(A|Q))$ )를 측정합니다. 높은 흡수율은 답변이 문맥 의존적(사실적)임을 나타내며, 낮은 흡수율은 사전 지식에 대한 의존(환각)을 시사합니다.
스트레스 (Stress, $S$ ): 의미론적 안정성을 측정합니다. 주장을 패러프레이징(paraphrasing)하고 함의 확률의 젠슨-섀넌 발산(Jensen-Shannon divergence)을 계산함으로써, 미세한 문구 변화가 모델의 진리값 판단을 흔드는지 감지합니다.
충돌 (Conflict, $C$ ): 자연어 추론(NLI) 모델을 사용하여 변형된 주장이 원래의 답변과 모순되는지 확인함으로써 논리적 일관성을 측정합니다.
합리화 (Rationalization, $R$ ): 하나의 주장을 설명하기 위해 생성된 여러 추론 궤적(reasoning traces) 간의 의미론적 중첩도를 측정합니다.

3. SOTA 신호 강화

특정 실패 모드를 해결하기 위해 세 가지 이론적 동기에 기반한 강화 기법이 도입되었습니다:

엔티티 중심 흡수율 (Entity-Focused Uptake): 환각이 불용어(stopwords)보다는 엔티티(entities), 숫자, 기술 용어와 같은 고가치 토큰에 집중된다는 점을 고려하여, 흡와율 신호에 엔티티 밀도를 가중치로 부여합니다.
문맥 준수 (Context Adherence): 스트레스의 역수와 문맥 길이를 결합하여 근거의 강도를 대리 측정함으로써, 답변이 증거에 기반한 것인지 아니면 파라미터 메모리에서 생성된 것인지를 구분합니다.
반증 가능성 점수 (Falsifiability Score): 충돌 신호와 언어적 확신(단정적 표현 vs 모호한 표현) 분석을 결합하여, 확신에 차 있으면서도 모순되는 주장을 탐지합니다.

4. 집계 및 분류

생성된 신호들은 증거를 "최약점(weakest link)" 문제로 취급하는 조화 평균(harmonic mean)을 사용하여 **증거 충분성 지수(Evidence Sufficiency Index, ESI)**로 합성됩니다. 이 특징들은 다양한 지도 학습 분류기(Random Forest, SVM, Gradient Boosting, 신경망 및 메타 앙상블)에 입력되어 환각 가능성을 예측합니다.

주요 기여

해석 가능한 신호 분해: 환각 탐지를 단순한 이진 블랙박스 출력이 아닌, 네 가지 별도의 진단(Uptake, Stress, Conflict, Rationalization)의 집합으로 공식화했습니다.
하이브리드 이론 가이드 프레임워크: 인지 뇌과학(예측 코딩, IB)에서 유래한 신호가 지도 학습의 강력한 특징으로서 최소한의 데이터로도 우수한 성능을 달성함을 입증했습니다.
합리화에 대한 부정적 결과: 추론의 일관성을 확인하는 것(Rationalization)이 환각 탐지에 효과적이지 않다는 경험적 증거를 제시하여, 사고 사슬(Chain-of-Thought, CoT) 검증이 신뢰할 수 있다는 가설에 도전했습니다.

실험 결과

프레임워크는 HaluBench( $n=200$ )의 균형 잡힌 서브셋에서 평가되었습니다.

성능 향상:
- 이론 가이드 비지도 베이스라인은 0.8017 AUROC를 달성했습니다.
- BASE 지도 학습 모델 (5개 기본 신호 사용)은 0.8274 AUROC에 도달했습니다.
- IMPROVED 지도 학습 모델 (3가지 강화 기법 포함)은 0.8669 AUROC를 달성하여, BASE 변형 대비 +4.95%의 이득을 보였습니다.
- IMPROVED 특징을 사용한 Random Forest가 가장 우수한 성능을 보였습니다.
효율성 및 확장성:
- 데이터 효율성: Pcib는 SOTA 모델인 Lynx가 15,000개의 샘플을 필요로 한 것에 비해, 단 200개의 훈련 샘플만으로 경쟁력 있는 성능을 달성했습니다 (75배 감소).
- 추론 속도: Pcib는 쿼리당 5ms로 작동하며, 이는 70B 파라미터 LLM 판사(judge)가 소요하는 5초보다 1000배 빠릅니다.
- 비용: 경량 모델(<1M 파라미터)은 상용 LLM 판사 대비 100배의 비용 절감 효과를 제공합니다.
SOTA와의 비교:
- Pcib의 최적 모델(0.8669 AUROC)은 RAGAS Faithfulness(정확도 66.9%)와 같은 휴리스틱 베이스라인을 능가합니다.
- Lynx(70B)가 87.4%의 정확도를 달성하지만, Pcib는 훨씬 낮은 계산 오버헤드로 완전히 해석 가능한 대안을 제공합니다.

의의 및 주장

본 논문은 신호 구조에 인코딩된 도메인 지식이 단순히 LLM 판사의 규모를 키우는 것보다 더 우수한 데이터 효율성을 제공한다고 주장합니다. 인지 뇌과학 원리를 활용함으로써, Pcib는 경량화되고 설명 가능한 모델이 최첨단 성능을 달erm할 수 있음을 보여줍니다.

저자들이 강조한 핵심 사항은 다음과 같습니다:

해석 가능성: 블랙박스 판사와 달리, Pcib는 분해 가능한 진단 도구를 제공하여 사용자가 왜 특정 생성이 플래그(flag)되었는지(예: 낮은 문맥 준수 vs 높은 스트레스) 이해할 수 있게 합니다.
프로덕션 실행 가능성: 속도, 저비용, 높은 정확도의 조합은 Pcib를 RAG 시스템의 1차 필터링 단계에 적합하게 만들며, 고가의 LLM 판사는 예외적인 케이스를 위해 남겨둘 수 있게 합니다.
"아첨(Sycophancy)" 효과: 합리화(Rationalization) 신호의 실패는 LLMM이 잘못된 전제에 대해서도 일관되고 논리적인 추론을 생성할 수 있음을 시사하며, 이는 환각에 대한 자기 검증을 위해 CoT에 의존하는 기존의 경향에 도전합니다.

결론적으로, 본 연구는 이론적 통찰과 머신러닝의 통합이 더욱 견고하고 효율적이며 투명한 AI 안전 메커즘을 구축하는 경로를 제시한다고 밝히고 있습니다.