💬 NLP

CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

본 논문은 검색 증강 생성(Retrieval-Augmented Generation)에서 모델의 내부 표현을 검색된 문서가 있는 경우와 없는 경우로 비교하여 근거가 없는 콘텐츠를 식별하는 동시에, 정보 전파(information propagation)와 구간 일관성 평활화(span-consistent smoothing)를 활용하여 환각의 미세한 국소화를 달성하는 토큰 수준의 환각 탐지 방법인 CORTEX를 제안한다.

원저자: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 똑똑하고 박학다식한 비서(AI)가 질문에 답하려고 노력하고 있다고 상상해 보세요. 답변의 정확성을 보장하기 위해, 당신은 비서가 글을 쓰는 동안 참고할 수 있도록 일련의 참고 서적(검색된 문서)을 건네줍니다.

때때로 비서는 책에 충실하게 엄격히 따라 아주 훌륭한 일을 해냅니다. 하지만 어떤 경우에는 책이 바로 옆에 있음에도 불구하고, 실수로 사실을 지어내거나 세부 사항을 뒤섞기도 합니다. 이것을 "환각(hallucination)"이라고 부릅니다.

문제는, 길고 상세한 답변을 작성할 때 AI가 책에 있는 사실의 90%는 제대로 맞히더라도, 단 한두 문장에서 실수를 저지를 수 있다는 점입니다. 현재 대부분의 도구들은 보고서 전체를 마지막에 한 번에 검사하는 보안 요원과 같습니다. 만약 보고서가 대체로 괜찮아 보인다면, 그들은 "괜찮아 보이네요!"라고 말하며 중간에 숨겨진 아주 작은 거짓말을 놓칠 수 있습니다.

이 논문은 AI가 무엇을 지어내고 있는지 정확히 찾아내기 위해 답변을 **단어 단위(또는 토큰 단위)**로 조사하는 "현미경" 역할을 하도록 설계된 새로운 도구인 CORTEX를 소개합니다.

CORTEX가 어떻게 작동하는지 세 가지 간단한 비유를 통해 설명하겠습니다.

1. "있을 때와 없을 때" 테스트 (비교 내부 표현)

당신이 학생이 실제로 교과서를 읽고 있는지, 아니면 그냥 추측하고 있는 것인지 알아내려 한다고 상상해 보세요.

기존 방식: 당신은 학생의 답변을 보고 그들이 책을 읽었는지 추측하려고 합니다.
CORTEX 방식: 당신은 학생에게 같은 질문을 두 번 던집니다.
1. 첫 번째: 그들에게 교과서를 읽게 합니다.
2. 두 번째: 교과서를 치운 뒤 기억에 의존해서 답하라고 합니다.

CORTEX는 이 두 가지 시나리오 동안 AI의 "뇌 활동(내부적인 생각)"을 비교합니다.

만약 AI가 책에서 찾은 사실에 대해 말하고 있다면, 책이 존재할 때 AI의 "뇌"는 크게 변화합니다. 이는 마치 학생이 텍스트에서 답을 찾아냈을 때 눈을 반짝이는 것과 같습니다.
만 만약 AI가 무언가를 지어내고 있다면(환각), 책이 있든 없든 AI의 "뇌"는 거의 동일하게 보입니다. 왜냐하면 그것은 단지 자신의 기억에서 끌어온 것이기 때문입니다.

이 두 상태를 비교함으로써, CORTEX는 책 때문에 변한 단어(좋은 것)와 지어낸 것이라 그대로 유지된 단어(나쁜 것)를 정확히 구별해낼 수 있습니다.

2. "사고의 흐름" 탐정 (문맥적 잔차)

때때로 AI는 답변 초반에 책에서 사실을 읽고, 그 사실을 이용해 문장의 나머지 부분을 구성할 만큼 똑똑합니다.

문제점: 만약 당신이 나중에 나오는 문장만 본다면, 그곳에 책이 직접 언급되어 있지 않기 때문에 AI가 더 이상 책을 사용하지 않는 것처럼 보일 수 있습니다. 이로 인해 탐지 도구가 해당 문장이 실제로는 앞선 사실에 기반하고 있음에도 불구하고 거짓이라고 착각할 수 있습니다.
CORTEX의 해결책: CORTEX는 흔적을 쫓는 탐정처럼 행동합니다. CORTEX는 "아, 이 문장은 AI가 방금 두 문장 전에 읽었던 사실에 의존하고 있구나"라는 것을 깨닫습니다. CORTEX는 이러한 "간접적인 영향"을 제거하여 혼란을 방지합니다. 이를 통해 AI가 단순히 진실한 이야기를 이어가는 것뿐인데도 거짓이라고 잘못 비난하는 일을 방지합니다.

3. "노이즈 필터" (레이블 지속성 평활화)

당신이 잡음이 많은 라디오 방송을 듣고 있다고 상상해 보세요. 때때로 잡음 때문에 문장 전체는 사실임에도 불구하고 단 하나의 단어가 거짓처럼 들릴 수 있습니다.

문제점: 가공되지 않은 탐지 도구들은 매우 불안정할 수 있습니다. 어떤 단어는 거짓이라고 표시했다가, 다음 단어는 진실이라고 했다가, 그다음 단어는 다시 거짓이라고 하는 식으로, 어지럽고 흩어진 패턴을 만들 수 있습니다. 하지만 실제로 AI가 거짓말을 할 때는 단 하나의 고립된 단어가 아니라 문구 전체나 문장 전체를 두고 거짓말을 하는 경우가 많습니다.
CORTEX의 해결책: CORTEX는 "평활화(smoothing)" 필터를 적용합니다. CORTEX는 만약 한 단어가 거짓이라면, 그 옆에 있는 단어들도 아마 같은 거짓말의 일부일 것이라고 가정합니다. CORT起来 점들을 연결하여, 흩어진 "아마도 거짓인 것들"의 덩어리를 명확하고 단단한 "확실한 거짓말"의 블록으로 바꿉니 다. 이를 통해 최종 결과물을 사람이 훨씬 더 읽기 쉽고 이해하기 쉽게 만듭니다.

결과

저자들은 두 가지 서로 다른 질문 세트와 세 가지 서로 다른 AI 모델을 대상으로 CORTEX를 테스트했습니다. 그 결과는 다음과 같습니다:

CORTEX는 다른 방법들에 비해 지어낸 단어를 찾아내는 데 훨씬 뛰어납니다.
CORTEX는 내부를 볼 수 없는 "API" 모델(블랙박스 모델)인 경우에도, 다른 공개된 AI 모델을 배후에서 탐정 역할을 수행하게 함으로써 작동할 수 있습니다.
시스템의 모든 부분(비교, 사고의 흐름 체크, 평활화)이 탐지의 정확도를 높이는 데 기여했습니다.

요약하자면, CORTEX는 AI의 답변이 좋은지 나쁜지 단순히 추측하는 것이 아니라, AI가 정확히 어느 부분에서 내용을 지어내고 있는지를 짚어냄으로써 우리가 AI의 답변을 더 신뢰할 수 있도록 돕는 도구입니다.

기술 요약: CORTEX

문제 정의

검색 증강 생성(RAG)은 외부 참조 자료에 LLM의 출력을 근거하도록 하는 데 널리 사용되지만, 참조 자료가 제공되더라도 모델이 환각(hallucination)된 콘텐츠를 생성하는 경우가 빈번합니다. 기존의 환각 탐지 방법들은 두 가지 주요 한계점에 직면해 있습니다:

입도(Granularity): 대부분의 접근 방식은 전체 응답을 하나의 단위로 평가하는 "답변 레벨"에서 작동합니다. 이는 충실한 내용과 환각된 내용이 공존할 수 있는 장문 형태의 RAG 출력에는 불충분합니다.
방법론: 기존의 많은 방법은 자기 일관성(self-consistency, 여러 번의 생성을 요구함)이나 프롬프트 기반 팩트 체크(추가적인 추론과 프롬프트 엔지니어링을 요구함)에 의존하며, 이는 높은 계산 비용을 발생시킵니다. 또한, 많은 표현 기반 탐지기들은 참조가 있을 때와 없을 때 모델의 상태가 어떻게 변하는지를 비교하기보다는 단일 내부 상태를 고립시켜 분석합니다.

본 논문은 혼합된 출력 내에서 근거가 없는 콘텐츠를 국소화할 수 있고, 오픈 웨이트(open-weight) 및 클로즈드 웨이트(closed-weight, API 기반) LLM 모두에 적용 가능한 실용적인 사후(post-hoc) 프레임워크로서 토큰 레벨의 탐지 방법의 필요성을 제안합니다.

방법론: CORTEX

CORTEX(Comparative Observed Reference-based Token-level EXpressions)는 RAG를 위해 특별히 설계된 사후 환각 탐지 프레임워크입니다. 이 방법은 오픈 웨이트 LLM( $M_{open}$ )을 분석 모델로 사용하여, 클로즈드 웨이트 LLM( $M_{close}$ )에 의해 생성되었을 수 있는 답변의 내부 표현을 조사합니다.

이 프레임워크는 세 가지 핵심 구성 요소로 작동합니다:

1. 참조 유도 델타 표현 (Reference-Induced Delta Representation)

CORTEX는 동일한 답변에 대해 두 가지 조건 하에서의 쌍을 이룬 대조적 관점을 구축합니다:

참조 조건 입력: $x_{ref} = \text{질문} \parallel \text{참조 자료} \parallel \text{답변}$
참조 없는 입력: $x_{no-ref} = \text{질음} \parallel \text{답변}$

이 두 입력을 $M_{open}$ 을 통해 처리함으로써, 방법론은 각 답변 토큰 $t_i$ 에 대한 토큰 레벨 내부 표현( $h_i$ )을 추출합니다. 그리고 참조가 제공될 때 토큰의 상태 변화를 나타내는 델타 표현( $\Delta h_i$ )을 계산합니다:
$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$
직관적으로, 충실한 토큰은 참조에 근거할 때 일관된 표현 변화를 보이는 반면, 환각된 토큰은 약하거나 일관되지 않은 변화를 보입니다.

2. 어텐션 기반 문맥 잔차 (Attention-Based Contextual Residual)

장문 생성에서 참조의 영향은 간접적으로 전파될 수 있습니다. 토큰 $t_i$ 는 직접적인 참조 연결이 아니라, 근거가 확보된 이전 토큰들( $t_{<i}$ )에 의해 근거가 마련될 수 있습니다. $\Delta h_i$ 에만 의존하면 이러한 간접적으로 근거가 확보된 토큰들을 환각으로 오분류할 수 있습니다.

이를 해결하기 위해, CORTEX는 문맥 잔차( $c_i$ )를 계산합니다. 이는 참조 조건 입력으로부터의 어텐션 가중치( $\alpha_{ij}^{ref}$ )를 사용하여 이전 토큰들을 통해 매개된 참조의 영향을 추정합니다:
$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$
$c_i = \Delta h_i - \bar{\Delta h}_i$
잔차 $c_i$ 는 문맥으로부터 전파된 영향을 고려한 후 남는 토큰 고유의 변화를 분리하여, 참조에 간접적으로 근거한 토큰에 대한 오탐(false positives)을 줄입니다.

3. 토큰 레벨 분류 및 스무딩 (Token-Level Classification and Smoothing)

특징값 $[\Delta h_i; c_i]$ 는 다층 퍼셉트론(MLP) 분류기에 입력되어 가공되지 않은 환각 점수 $s_i$ 를 생성합니다.

환각 레이블이 고립된 토큰이 아닌 연속된 구간(span)으로 나타나는 경향(인간의 주석 패턴)과 일치시키기 위해, CORTEX는 사후 처리 단계로 **레이블 지속성 스무딩(Label-Persistence Smoothing)**을 적용합니다. 이는 쌍별 지속성 항( $\rho$ )과 $s_i$ 에서 도출된 토큰 레벨 신뢰도를 사용하여 인접한 토큰 간에 환각 레이블이 지속되는 경향을 모델링합니다. 최종 스무딩된 점수는 전방-후방 알고리즘(forward-backward algorithm)을 통해 계산되며, 이를 통해 로컬 노이즈를 줄이면서 토큰 레벨의 정밀도를 유지합니다.

주요 기여

최초의 토큰 레벨 RAG 탐지기: 저자들의 지식 범위 내에서, CORTEX는 RAG를 위해 특별히 설계된 최초의 토کن 레벨 환각 탐지 방법으로, 근거가 없는 콘텐츠의 미세한 국소화를 가능하게 합니다.
실용적인 사후(Post-Hoc) 프레임워크: 이 방법은 생성기의 파라미터를 수정할 필요가 없습니다. 특징 추출을 위해 별도의 오픈 웨이트 모델을 사용함으로써, API 기반의 클로즈드 웨이트 모델을 포함한 임의의 LLM 출력을 분석할 수 있습니다.
비교 표현 접근 방식: 단일 내부 상태를 분석하는 기존 연구와 달리, CORTEX는 참조 조건부와 참조 없는 내부 표현 간의 대비를 활용하여 참조 유도 신호를 분리합니다.
문맥 및 구간 인식 설계: 문맥 잔차( $c$ )의 도입은 간접적 근거 확보 문제를 해결하며, 레이블 지속성 스무딩은 예측을 구간 기반 주석 구조와 일치시킵니다.

실험 결과

저자들은 두 가지 벤치마크(RAGTruth 및 HalluRAG)에서 세 가지 LLM(Llama-3.1-8B, Qwen3-8B, Mistral-7B)을 사용하여 CORTEX를 평가했습니다.

토큰 레벨 성능: CORTEX는 평균 정밀도(AP) 및 AUROC 측면에서 5개의 베이스라인(NLL, SAPLMA, LLM-Check, ICR Probe, RAGLens 포함)을 크게 상회했습니다. RAGTruth에서 CORTEX는 Qwen 기준 0.5940의 AP를 달성했으며, 이는 차순위 모델인 RAGLens의 0.4575보다 높은 수치입니다.
답변 레벨 성능: 토큰 레벨 탐지를 위해 훈련되었음에도 불구하고, CORTEX는 (최대 토큰 점수를 답변 점수로 사용하여) 경쟁력 있는 답변 레벨 성능을 보여주었으며, 이는 토큰 레벨 신호가 전역적 신뢰성 평가에도 효과적임을 입증합니다.
절제 연구(Ablation Studies): 문맥 잔차( $c$ )나 스무딩 단계를 제거했을 때 성능 저하가 발생하였으며, 이는 두 구성 요소가 견고한 탐지를 위해 모두 필요함을 확인시켜 줍니다. 스무딩 단계는 베이스라인 방법들에 적용했을 때도 폭넓게 유익한 것으로 나타났습니다.

의의 및 주장

본 논문은 내부 표현을 비교하는 것이 환각 탐지를 위한 신호로서 효과적임을 CORTEX가 입증한다고 주장합니다.

실용성: 생성기와 분석기를 분리함으로써, CORTEX는 생성기가 블랙박스 API인 배포된 시스템에서 신뢰성 평가를 위한 실행 가능한 솔루션을 제공합니다.
입도(Granularity): 답변 레벨 탐지의 한계를 해결하여, 특정 토큰으로 환각을 국소화할 수 있는 메커니즘을 제공하며, 이를 통해 원하는 모든 수준(단어, 문장, 단락)으로 집계할 수 있습니다.
범위: 저자들은 CORTEX가 **참조에 근거한 생성(reference-grounded generation)**을 위해 설계되었음을 명시합니다. 이는 제공된 참조에 의해 뒷받s되지 않는 콘텐츠를 탐지하는 데 초점을 맞추며, 이는 통제된 애플리케이션(예: 기업용 고객 지원)에는 매우 중요하지만, 개방형 시나리오에서는 유용한 파라미터 지식(parametric knowledge)을 환각으로 표시할 수도 있습니다. 본 논문은 제공된 문맥과 독립적인 일반적인 사실 관계의 오류를 탐지한다고 주장하지 않습니다.

저자들은 이러한 비교적 내부 표현 신호가 생성기 튜닝을 위한 보상 모델링(reward modeling)과 같은 향후 환각 완화 전략의 기초가 될 수 있다고 결론짓습니다.