💬 NLP

Look Before You Leap: Factual Decoding with Internal Attribution Signals

이 논문은 사실적-돌출적(factual-salient) 레이어 스팬에서 유도된 내부 모델 신호를 활용하여 추론 과정 중 환각에 취약한 궤적을 탐지하고 페널티를 부여함으로써, 최소한의 지연 시간 오버헤드로 사실성을 크게 향상시키는 디코딩 프레임워크인 DescaPE를 소개한다.

원저자: Hayeong Ryu, JungMin Yun, Byeonggeuk Lim, Sunhee Jo, YoungBin Kim

게시일 2026-09-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hayeong Ryu, JungMin Yun, Byeonggeuk Lim, Sunhee Jo, YoungBin Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 이야기를 쓰고, 질문에 답하며, 복잡한 아이디어를 요약할 수 있는 강력한 텍스트 엔진입니다. 이들은 문장에서 다음 단어를 하나씩 예측함으로써 작동하며, 마치 도미노가 차례대로 쓰러지는 연쇄 반응처럼 응답을 구축해 나갑니다. 그러나 이 동일한 과정에는 숨겨진 위험이 따릅니다. 만약 모델이 초기에 작은 사실적 오류를 범한다면, 그 실수는 눈덩이처럼 불어날 수 있습니다. 자신의 이전 단어들과 일관성을 유지하려는 모델은 그 오류를 고수하며, 자신감 넘치지만 완전히 허구인 서사를 엮어낼 수 있습니다. '환각(hallucination)'이라고 알려진 이 현상은 인공지능의 가장 완고한 과제 중 하나로 남아 있습니다. 연구자들이 더 많은 데이터로 모델을 학습시키거나 외부 팩트 체크 기능을 추가하여 이를 해결하려 노력해 왔지만, 이러한 솔루션들은 종종 막대한 컴퓨팅 파워를 요구하거나 시스템을 현저히 느리게 만듭니다. 핵심적인 어려움은 일단 모델이 잘못된 경로로 접어들면, 모델의 뇌 전체를 다시 쓰거나 실수를 바로잡을 때까지 기다리지 않고서는 이를 멈추기가 매우 어렵다는 점에 있습니다.

대한민국의 중앙대학교 연구팀은 이 문제를 다루는 새로운 방법을 제안했는데, 이는 모델이 생각하는 바로 그 순간에 안전 브레이크 역할을 합니다. 그들은 이 방법을 DESCAPE라고 부릅니다. 모델이 문장을 마친 후 그것이 사실인지 확인하거나, 과도한 재학습을 통해 모델에게 진실을 강요하는 대신, 그들은 모델이 작동하는 동안 모델 내부의 기계적 구조 내부를 들여다보았습니다. 그들은 모델이 텍스트를 생성할 때, 실제 사실을 회상할 때와 무언가를 지어낼 때 다르게 활성화되는 특정 내부 레이어 층(distinct range of processing steps)이 존재한다는 것을 발견했습니다. 이 내부 신호는 진실성을 나타내는 미묘한 지표로서 작동하며, 모델이 견고한 기반 위에 있는지 아니면 허구로 표류하고 있는지를 드러내는 패턴으로 오르내립니다.

연구진은 이 신호가 모델 전체에 걸쳐 균일하지 않다는 것을 발견했습니다. 모델의 내부 프로세싱 일부를 체계적으로 차단함으로써, 그들은 정확한 정보를 검색하는 데 결정적인 역할을 하는 특정 '사실적 돌출(factual-salient)' 레이어 구간을 식별해 냈습니다. 모델이 진실한 사실을 생성할 때, 이 네트워크 섹션은 안정적이고 예측 가능한 방식으로 작동합니다. 그러나 모델이 환각을 생성하기 직전에는, 이 동일한 섹션에서 갑작스럽고 이례적인 스파이크(anomalous spike)가 발생합니다. 이는 마치 모델의 내부 나침반이 대화를 낭떠러지로 몰아가기 직전에 날카로운 경고 충격을 주는 것과 같습니다. 연구팀은 만약 이 스파이크를 실시간으로 감지할 수 있다면, 잘못된 단어가 선택되기도 전에 개입하여 모델을 진실로 되돌릴 수 있다는 점을 깨달았습니다.

이를 실용적으로 만들기 위해, 연구진은 '프로브(probe)'라고 부르는 작고 가벼운 보조 도구를 훈련시켜 이러한 경고 징후를 인식하게 했습니다. 이 프로브는 전체 텍스트를 다시 읽거나 별도의 느린 검증 과정을 실행할 필요가 없습니다. 대신, 메인 모델이 각 단어를 생성할 때 발생하는 내부 신호를 관찰합니다. 프로브가 잠재적 환각과 관련된 특유의 스파이크를 감지하면, 해당 단어 선택이 고위험군임을 표시합니다. 그러면 시스템은 가능한 다음 단어들의 점수를 조정하여, 위험한 단어의 점수는 낮추고 사실에 근거한 단어를 선택할 확률은 높입니다. 이 과정은 모델이 다음 단어를 생각하는 데 걸리는 아주 짧은 찰나의 시간 내에 즉각적으로 일어납니다.

이 접근 방식의 결과는 정밀하면서도 효율적입니다. 사실적 정확도를 측정하도록 설계된 다섯 가지 벤치마크 테스트에서, DESCAPE 방식은 환각을 성공적으로 줄이고 생성된 텍스트의 진실성을 향상시켰습니다. 긴 형태의 전기(biographies)를 다룬 특정 테스트에서 이 방법은 67.20의 점수를 기록하며 기존의 다른 기술들을 크게 앞질렀습니다. 무엇보다 중요한 점은, 이러한 개선이 속도에 거의 비용을 발생시키지 않았다는 것입니다. 이 시스템은 표준적인 보조 없는 모델 속도의 약 1.10배 정도의 아주 미세한 지연만을 추가했습니다. 이는 모델을 멈추고, 생각하고, 답변을 다시 써야 하기 때문에 프로세스를 7배 이상 느리게 만들 수 있는 다른 방법들과 극명한 대조를 이룹니다.

연구진은 또한 이 방법이 다양한 유형의 질문을 어떻게 처리하는지 조사했습니다. 상세한 서사적 답변이 기대되는 개방형 질문의 경우, 이 방법은 매우 효과적으로 작동하여 모델이 거짓된 이야기로 흘러가는 것을 방지했습니다. 짧고 구체적인 질문의 경우 결과가 다소 섞여 있었는데, 이는 주로 이 방법이 엄격한 채점 규칙이 선호하는 것보다 모델이 약간 더 길고 상세한 답변을 제공하도록 유도했기 때문입니다. 그러나 평가 기준을 단어의 정확한 일치가 아닌 올바른 정보의 존재 여부를 찾는 것으로 조정했을 때 성능이 개선되었으며, 이는 이 방법이 비록 표현 방식은 조금 다르더라도 올바른 사실을 찾아내고 있음을 시사합니다.

이 연구의 가장 매력적인 측면 중 하나는 모델이 자신이 감시당하고 있다는 사실을 알 필요가 없다는 점입니다. 프로브는 모델 자체의 아키텍처 내에 이미 존재하는 신호를 사용하여 배경에서 조용히 작동합니다. 이 방식은 사실 확인을 위해 외부 데이터베이스나 두 번째 모델에 의존하지 않습니다. 대신, 모델 자체가 진실과 거짓에 대한 뚜렷한 내부 시그니처를 가지고 있다는 사실을 활용합니다. 이 시그니처를 경청함으로써, 시스템은 실수가 발생하기 직전의 정확한 순간에 개입하여 눈덩이가 가속도를 얻기 전에 이를 멈출 수 있습니다.

연구는 또한 이 접근 방식의 한계를 탐구했습니다. 연구진은 진실을 알리는 특정 내부 레이어가 모델마다 약간씩 다르기 때문에, 이 시스템을 적용할 새로운 모델에 맞춰 보정(calibration)이 필요하다는 점을 언급했습니다. 또한, 이 방법은 모델이 지식은 가지고 있으나 잘못된 경로를 선택할 때 오류를 잡아내는 데는 탁ุ월하지만, 모델이 아예 답을 모르는 경우를 식별하는 데는 효과가 떨어진다는 점을 발견했습니다. 그런 경우, '모른다'는 신호가 '환각을 일으킨다'는 신호만큼 뚜렷하지 않기 때문에 모델은 여전히 자신감 있게 틀린 응답을 생성할 수 있습니다.

이러한 미묘한 차이에도 불구하고, 이 연구 결과는 인공지능을 더욱 신뢰할 수 있게 만드는 유망한 새로운 방향을 제시합니다. 환각을 사후에 패치해야 할 결함이 아니라, 생성 과정 자체 내에서 감지 가능한 패턴으로 취급함으로써, 연구진은 모델을 실시간으로 현실로 안내하는 것이 가능하다는 것을 보여주었습니다. 이 방법은 오류를 예방하기 위한 도구가 이미 모델 내부에 존재하며, 단지 그것을 찾아내고 조정하기만 하면 된다는 것을 증명합니다. 이 접근 방식은 거대 언어 모델이 복잡하고 창의적인 텍스트를 생성하면서도 자신의 정확성에 대해 지속적이고 조용한 점검을 유지하며, 그들이 들려주는 이야기가 진실에 뿌리를 두도록 보장하는 미래를 암시합니다.

기술 요약: DESCAPE (경로 오류 스노볼링에 대응하는 디코딩 신호 제어)

문제 정의

대규모 언어 모델(LLM)은 환각(hallucination) 현상으로 인해 어려움을 겪고 있으며, 이는 자기회귀적 생성 과정에서 초기 사실적 오류가 누적되어 발생하는 "스노볼링(snowballing)" 효과라는 중대한 과제입니다. 기존의 완화 전략들은 다음과 같은 근본적인 한계에 직면해 있습니다:

**검색 증강 생성(RAG)**은 외부 검색기의 품질에 의존하며 검색 지연 시간을 초래합니다.
지도 미세 조정(SFT) 및 **인간 피드백 기반 강화 학습(RLHF)**은 상당한 계산 자원을 요구하며 치명적 망각(catastrophic forgetting)의 위험이 있습니다.
사후 교정(Post-hoc corrections) 및 **가중치 수준의 개입(weight-level interventions)**은 일단 잘못된 궤적이 시작되면 오류의 전파를 효과적으로 선제 차단할 수 없습니다.

현재의 디코딩 시점 개입 방식은 세 가지 패러다임으로 나뉘며 각각의 단점을 가집니다:

내재적 스티어링(Intrinsic Steering): 내부 표현을 조작하지만, 환각 궤적이 시작된 이후에는 대응 수단이 제한적입니다.
외부 검증(Extrinsic Verification): 보조 모델을 사용하여 후보군을 재점수 매기지만, 분포 변화(distribution shifts)와 상당한 추론 오버헤드를 유발합니다.
자기 검증(Self-Verification): 모델 자신의 피드백에 의존하며, 이는 생성기의 기존 분포 공간에 구조적으로 묶여 있어 잘못된 확신에서 벗어날 수 없습니다.

본 논문은 모델 내부에 존재하지만 최종 출력 분포와는 분리된 독립적인 사실적 신호(factual signal)가 존재하며, 이를 통해 환각을 유발하는 토큰이 방출되기 전 선제적 개입의 창을 제공할 수 있다고 주장합니다.

방법론: DESCAPE

저자들은 모델 파라미터를 수정하거나 외부 검증기에 의존하지 않고, 추론 시점에 환각이 발생하기 쉬운 궤적을 억제하기 위해 내부 모델 신호를 활용하는 디코딩 프레임워크인 DESCAPE를 제안합니다.

1. 사실적-돌출적 레이어 구간(Factual-Salient Layer Spans) 식별

**슬라이딩 윈도우 MLP 제거(sliding-window MLP ablation)**를 통해, 저자들은 사실적 생성 중에 선택적으로 활성화되는 연속적인 다층 퍼셉트론(MLP) 레이어 구간을 식별합니다.

메커니즘: 이들은 윈도우 $[l_{start}, l_{end}]$ 를 정의하고 이 구간 내의 MLP 모듈의 출력 활성값을 제로(zero)로 만듭니다.
지표: 대상 토큰에 대해 원래 모델( $P_S$ )과 제거된 모델( $P_W$ ) 사이의 로그 확률 차이인 사실적 기여 점수(Factual Attribution Score) $\Delta(w)$ 를 계산합니다.
결과: 특정 레이어 구간(예: Llama-3.1의 12~18번 레이어)이 최대 $\Delta(w)$ 를 생성하며, 이는 해당 구간이 "사실적-돌출적 레이어 구간"임을 나타냅니다.
신호 특성:
- 도출된 신호는 사실적 토큰(개체명, 숫자 등)에 대해서는 일관되게 높게 나타나지만, 기능어(function words)에 대해서는 무시할 만한 수준입니다.
- 환각 탐지: 환각된 토큰은 사실적 토큰에 비해 이 신호에서 **비정상적인 급증(abnormal spikes)**을 유발하며, 이는 오류 전파의 신뢰할 수 있는 전조 역할을 합니다.

2. 경량 프로브(Lightweight Probe) 학습

실제 기여 신호 $\delta^{real}_t$ 를 계산하려면 이중 순방향 패스(원래 모델 및 제거된 모델)가 필요하므로 계산 비용이 많이 듭니다. 실시간 추론을 가능하게 하기 위해:

경량 프로브( $f_\phi$ )를 학습시켜 단일 순방향 패스로 $\delta^{real}_t$ 를 근사합니다.
입력: 사실적-돌출적 구간의 마지막 레이어에서 추출한 은닉 상태 $h_t$ 와 후보 토큰 임베딩 $e(v)$ 의 결합입니다.
학습: 프로브는 Databricks Dolly-15k 데이터셋의 후보 토큰들을 사용하여 **스파이크 민감형 허버 손실(spike-sensitive Huber loss)**로 학습됩니다. 이 손실 함수는 높은 양의 감독 대상(높은 스파이크)을 가진 샘플에 동적으로 가중치를 부여하여, 프로브가 환각 발생 가능성이 높은 단계를 탐지하는 데 집중하도록 합니다.

3. 신호 통합 디코딩(Signal-Integrated Decoding)

각 디코딩 단계에서, 추정된 신호 $\hat{\delta}_t(v)$ 는 빔 선택을 유도하기 위해 후보 점수 산정 메커니즘에 통합됩니다:

리스크 페널티 ( $P_{risk}$ ): $\hat{\delta}_t(v)$ 가 임계값 $\tau$ 를 초과하는(즉, 비정상적 급증을 나타내는) 토큰에 대해 페널티를 부여합니다.
$P_{risk}(v) = \alpha \cdot \max(0, \hat{\delta}_t(v) - \tau)$
사실적 보너스 ( $B_{fact}$ ): 안정적인 사실 영역 $[\tau_{fact}, \tau)$ 내에 있는 토큰에 대해 보상을 부여합니다.
$B_{fact}(v) = \gamma \cdot \mathbb{1}[\tau_{fact} \le \hat{\delta}_t(v) < \tau]$
최종 점수: 언어 모델의 로그 확률에 페널티와 보너스를 결합하여 증분 점수 $S_{inc}(v)$ 를 계산합니다:
$S_{inc}(v) = \log p(v | y_{<t}, x) - P_{risk}(v) + B_{fact}(v)$

주요 기여

사실적-돌출적 신호의 발견: 저자들은 LLM 내에서 사실적 토큰에 대해 선택적으로 높아지고 환각 발생 가능 단계에서 비정상적인 급증을 보이는 특정 연속 MLP 레이어 구간으로부터 유도된 기여 신호를 식별했습니다.
예방적 궤적 제어 (DESCAPE): 이 신호를 디코딩 시점 개입을 위한 통합된 내부 기반으로 활용하는 프레임워크를 제안합니다. 이 방식은 신호를 경량 프로브로 근사하고, 이를 후보 점수 산정에 통합하여 오류가 전파되기 전에 고위험 지속을 억제합니다.
실증적 검증: 5개의 사실성 벤치마크(TruthfulQA, FreshQA, FACTSCORE, NQ, TriviaQA)와 3개의 LLM(Llama-3.1, Mistral, Qwen2.5)에 걸친 광범위한 실험을 통해 최소한의 지연 시간 오버헤드로 사실성을 개선함을 입증했습니다.

실험 결과

사실성 개선: DESCAPE는 벤치마크 전반에서 최고 수준(SOTA) 또는 경쟁력 있는 결과를 달s성했습니다. 특히 FACTSCORE(장문 생성)에서 Llama-3.1 기준 그리디(greedy) 디코딩(44.4)보다 월등한 성능(67.20)을 보였습니다. TruthfulQA에서도 세 모델 모두에서 가장 높은 TruthInfo (TI) 점수를 기록했습니다.
효율성: 이 방법은 그리디 디코딩 대비 단 1.10배의 지연 시간 오버헤드만을 발생시킵니다. 이는 Self-Refine(7.24배)이나 다른 대조적 디코딩(contrastive decoding) 방식보다 현저히 낮습니다.
단답형 QA: 단답형 QA(NQ, TriviaQA)의 엄격한 EM/F1 지표에서는 개선이 덜 일관적입니다. 저자들은 이를 부분적으로 응답 형식의 민감도와 엄격한 어휘 매칭 때문으로 보고하며, SoftEM 지표에서는 더 나은 성능이 나타남을 언급했습니다.
프로브 품질: 경량 프로브는 실제 신호와 높은 일치도(안전 영역 75.8%, 위험 영역 69.6%)를 보이면서도, 실제 신호를 직접 사용할 때보다 지연 시간을 약 절반으로 줄였습니다.

의의 및 주장

본 논문은 **내부 기여 신호(internal attribution signals)**가 실시간 디코딩 시점 개입으로서 실용적이고 유효함을 보여준다고 주장합니다. 모델 내부에 존재하면서도 최종 출력 분포와는 분리된 신호를 식별함으로써, DESCAPE는 환각 궤적에 대한 예방적 제어를 가능하게 합니다.

저자들은 본 방식이 기존 베이스라인들과 비교했을 때 생성 품질과 계산 비용 사이에서 유리한 트레이드오프를 제공한다고 강조합니다. 저자들은 DESCAPE를 특히 **사실 추구형 생성(fact-seeking generation)**을 위해 설계되었음을 명시하며, 창의적 작업을 위한 범용 디코딩 전략보다는 사실성이 중요한 프롬프트에 선택적으로 활성화할 것을 권장합니다. 이 연구는 환각의 스노볼링 현상이 중간 레이어 활성화를 모니터링함으로써 토큰 수준에서 차단될 수 있음을 보여주며, 사후 교정이 해결할 수 없는 문제에 대한 구조적 솔루션을 제시합니다.