🤖 machine learning

Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

이 논문은 생성형 언어 모델의 환각 현상이 초기 토큰 단계에서 비대칭적 어트랙터 역학에 의해 결정되는 궤적 고정 현상임을 인과적 증거를 통해 규명하고, 환각 상태로의 진입은 단일 교란으로 쉽게 발생하지만 회복은 다층적·다단계 개입이 필요함을 밝혔습니다.

원저자: G. Aytug Akarlar

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: G. Aytug Akarlar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏔️ 핵심 비유: "산길과 함정" (Attractor Basin)

이 논문의 가장 중요한 결론은 **"AI 가 거짓말을 할 때, 그 길로 들어서는 것은 쉽지만, 다시 사실의 길로 돌아오는 것은 매우 어렵다"**는 것입니다.

마치 산속에서 길을 잃었을 때를 상상해 보세요.

사실의 길 (Correct Trajectory): 평평하고 안전한 산책로입니다.
환각의 길 (Hallucinated Trajectory): 깊고 넓은 **함정 (Attractor Basin)**처럼 생긴 골짜기입니다.

1. 시작은 똑같다 (동일한 출발점)

AI 가 질문을 받으면, 처음에는 사실과 거짓말을 할지 결정하지 않은 상태입니다. 마치 산 정상에 서 있는 것과 같습니다.

비유: 같은 출발점에서 두 사람이 길을 떠납니다. 한 사람은 안전한 산책로로, 다른 사람은 깊은 골짜기로 갈지 아직 정해지지 않았습니다.
연구 결과: AI 가 첫 번째 단어를 고르는 순간, 확률 (주사위 던지기) 에 의해 어느 한쪽으로 순간적으로 떨어집니다. 사실과 거짓말의 경계는 첫 단어 선택에서 갈라집니다.

2. 함정에 빠지는 것은 쉽지만, 빠져나오기는 어렵다 (비대칭성)

이 연구에서 가장 놀라운 발견은 '부정적인 영향'과 '긍정적인 교정'의 힘 차이입니다.

거짓말 길로 밀어 넣기 (Corruption):
- 상황: 안전한 산책로를 걷고 있는 AI 에게 "거짓말하는 상태"의 신호를 한 번만 주면?
- 결과: AI 는 **87.5%**의 확률로 바로 깊은 골짜기 (함정) 로 떨어집니다.
- 비유: 평평한 길에 있는 사람에게 한 번만 살짝 발을 걷어차면, 그는 바로 깊은 구덩이로 떨어집니다. 매우 쉽습니다.
사실의 길로 끌어올리기 (Correction):
- 상황: 이미 깊은 골짜기 (거짓말) 에 빠진 AI 에게 "사실" 신호를 한 번만 주면?
- 결과: AI 는 **33.3%**만 다시 올라옵니다. 나머지는 여전히 골짜기 안에 갇혀 있습니다.
- 비유: 깊은 구덩이에 떨어진 사람을 한 번만 손으로 당겨도 다시는 올라오지 못합니다. 구덩이가 너무 깊고 벽이 미끄러워서, 계속해서 여러 번, 여러 사람이 힘을 합쳐 끌어올려야 겨우 빠져나옵니다.

3. 왜 이런 일이 일어날까? (초기 결정)

연구진은 AI 가 질문을 받자마자 (아직 답을 말하기 전에도) 이미 어떤 '상태'에 놓여 있는지 분석했습니다.

비유: 질문을 입력하는 순간, AI 의 머릿속에는 이미 "이 질문은 사실로 답할지, 망상적으로 답할지"를 결정하는 **5 가지의 다른 '영역 (Regime)'**이 존재합니다.
특히 "사실이 아닌 전제를 가진 질문" (예: "유럽을 흐르는 아마존 강은...") 같은 경우, AI 는 사실과 거짓 사이에서 정확히 경계선 (함정 입구) 위에 서 있는 상태가 됩니다. 이때 AI 가 살짝만 흔들려도 거짓말 골짜기로 떨어지기 쉽습니다.

💡 이 연구가 우리에게 주는 교훈

지식이 없어서가 아닙니다: AI 는 사실을 알고 있습니다. 같은 질문을 다시 하면 정답을 말하기도 합니다. 문제는 지식이 없어서가 아니라, 한 번 잘못된 길로 들어서면 그 길에 '빠져서' 못 나오는 것입니다.
한 번의 수정으로는 부족합니다: AI 가 거짓말을 했을 때, "아니야, 사실은..." 하고 한 번만 지적하는 것은 깊은 함정에서 사람을 끌어올리는 것과 같습니다. 지속적이고 강력한 개입이 필요합니다.
예방이 최선입니다: AI 가 첫 단어를 고르는 순간 (골짜기로 떨어지기 직전) 에 개입하는 것이, 이미 떨어지고 나서 끌어올리는 것보다 훨씬 효과적입니다.

📝 요약

이 논문은 AI 의 거짓말을 **"지식의 부재"**가 아니라, **"깊은 함정 같은 심리적/수학적 구조"**로 설명합니다.

거짓말 길로 빠뜨리는 건: 한 번의 실수 (발차기) 로 충분합니다. (매우 쉬움)
사실 길로 되돌리는 건: 여러 번의 노력 (계속 끌어당기기) 이 필요합니다. (매우 어려움)

따라서 AI 를 더 안전하게 만들기 위해서는, 거짓말이 시작되기 전에 그 함정 입구를 막거나, 이미 빠졌다면 단순한 수정이 아닌 강력한 교정을 해야 한다는 것을 보여줍니다.

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 사실과 다른 내용을 높은 확신으로 생성하는 '할루시네이션' 현상이 빈번하게 발생합니다. 기존 연구들은 모델 내부의 은닉 상태 (hidden states) 와 할루시네이션 간의 상관관계 (correlation) 를 규명하거나, 엔트로피 기반 신호를 통해 예측하는 데 초점을 맞추었습니다.

그러나 인과성 (causality) 에 대한 핵심 질문은 여전히 해결되지 않았습니다:

모델은 언제, 어디서 할루시네이션 궤적에 결속 (commit) 하는가?
일단 잘못된 궤적에 진입한 후, 이를 인과적으로 되돌릴 수 있는가?
할루시네이션은 단순한 지식 부재가 아니라, 모델 내부 역학의 어떤 구조적 특성에 기인하는가?

2. 방법론 (Methodology)

이 연구는 Qwen2.5-1.5B(28 레이어 트랜스포머) 를 기반으로 두 가지 주요 방법론을 도입하여 할루시네이션의 역학을 분석했습니다.

A. 동일 프롬프트 분기 (Same-prompt Bifurcation)

개념: 서로 다른 프롬프트를 비교하는 대신, 동일한 프롬프트를 반복적으로 샘플링하여 (온도 $\tau=0.7$ ) 모델이 동일한 입력에서 사실적 (Correct) 인 결과와 할루시네이션 (Hallucinated) 결과를 모두 생성하는지 관찰합니다.
목적: 프롬프트 수준의 혼란 변수를 제거하고, 오직 확률적 샘플링 경로에 의해 결정되는 궤적 수준의 분기를 격리합니다.
데이터: 61 개의 프롬프트 (사실, 잘못된 전제, 허구적 존재, 유도적 질문 등 6 가지 카테고리) 를 사용했습니다.

B. 대칭적 인과적 패칭 (Symmetric Causal Patching)

기법: 분기된 프롬프트에 대해 '정답 궤적'과 '할루시네이션 궤적'의 전체 은닉 상태 캐시를 수집합니다.
실험:
1. 교정 (H→C): 할루시네이션 실행의 특정 레이어/스텝에서 정답 실행의 활성화 (activation) 로 교체. (할루시네이션을 고칠 수 있는가?)
2. 오염 (C→H): 정답 실행의 특정 레이어/스텝에서 할루시네이션 실행의 활성화로 교체. (정답 궤적을 망가뜨릴 수 있는가?)
통제 조건: 무작위 프롬프트 패칭, 잘못된 상태 간 패칭, 패칭 없는 베이스라인 등을 비교하여 인과 효과를 검증했습니다.

3. 주요 결과 (Key Results)

A. 즉각적인 궤적 분기 (Immediate Divergence)

KL 발산: 27 개의 분기 프롬프트 중 92% 에서 정답과 할루시네이션 궤적의 KL 발산 (KL Divergence) 이 1 번째 생성 토큰 (Step 1) 에서 급격히 발생했습니다.
Step 0 상태: 0 단계 (프롬프트 인코딩 완료 시점) 에서 두 궤적의 KL 발산은 0 으로, 초기 상태가 완전히 동일함을 확인했습니다. 이는 분기가 프롬프트가 아닌 샘플링 경로에 의해 결정됨을 의미합니다.

B. 비대칭적 어트랙터 역학 (Asymmetric Attractor Dynamics) - 핵심 발견

모델 내부 상태 공간에서 할루시네이션은 국소적으로 안정된 어트랙터 분지 (locally stable attractor basin) 로 작용하며, 진입과 탈출의 난이도가 극단적으로 다릅니다.

오염 (Corruption, C→H): 정답 궤적에 할루시네이션 활성화를 주입하면 87.5% (Layer 20 기준) 의 확률로 궤적이 망가집니다. 이는 단일 스텝의 교란만으로도 발생합니다.
교정 (Correction, H→C): 할루시네이션 궤적에 정답 활성화를 주입하여 고치는 것은 33.3% (Layer 24 기준) 에 불과합니다.
비대칭 비율: 오염 성공률 / 교정 성공률 = 2.63 배. 평균적으로 오염은 교정보다 4.3 배 더 쉽습니다.
지속적 개입 필요: 단일 스텝 패칭으로는 교정이 어렵지만, 여러 스텝에 걸친 지속적 패칭 (Window Patching) 을 수행하면 교정률이 33.3% 까지 상승합니다. 이는 할루시네이션 분지에서 탈출하려면 강력한 지속적 힘이 필요함을 시사합니다.

C. 프롬프트 인코딩 시의 레짐 (Regime) 결정

프로빙 실험: 생성 시작 전 (Step 0) 의 잔류 상태 (residual stream) 를 분석한 결과, 레이어 15 에서 프롬프트별 할루시네이션 발생률을 Pearson r = 0.776으로 예측할 수 있었습니다.
클러스터링: 비지도 학습을 통해 5 개의 '레짐 (Regime)' 그룹을 식별했습니다. 특히 '안장 (Saddle) 클러스터'는 잘못된 전제 (False premise) 프롬프트 13 개 중 12 개를 포함하며, 이는 분기 (Bifurcation) 가 일어나는 프롬프트들이 특정 인코딩 영역에 집중되어 있음을 보여줍니다.

4. 기여 및 의의 (Contributions & Significance)

할루시네이션의 역학적 재정의: 할루시네이션을 단순한 지식 부재가 아니라, 비대칭 어트랙터 역학 (Asymmetric Attractor Dynamics) 에 의한 초기 궤적 결속 현상으로 재해석했습니다.
- 진입: 확률적이고 빠름 (단일 샘플링 이벤트).
- 탈출: 조율된 다층적 개입이 필요함 (어트랙터의 안정성).
인과적 증거 제시: 상관관계를 넘어, 활성화 패칭을 통해 할루시네이션 궤적이 인과적으로 어떻게 형성되고 유지되는지 입증했습니다.
안전성 개입의 시사점:
- 기존 선형 스티어링 (Linear Steering) 이 실패하는 이유는 할루시네이션 분지 경계가 비선형 매니폴드이기 때문임을 설명합니다.
- 단일 토큰 교정보다는 지속적인 다단계 개입이나 프롬프트 인코딩 단계 (레짐 선택) 에서의 개입이 더 효과적일 수 있음을 제안합니다.

5. 결론

이 논문은 트랜스포머 모델이 동일한 입력에서도 확률적 샘플링을 통해 할루시네이션 분지로 빠질 수 있음을 보여주며, 일단 그 분지에 진입하면 모델의 내부 역학이 이를 강력하게 유지하려 한다는 사실을 규명했습니다. 이는 할루시네이션을 방지하기 위해 모델의 '지식'을 수정하는 것을 넘어, 생성 역학 (Generation Dynamics) 의 구조적 안정성을 이해하고 제어해야 함을 시사합니다.

참고: 본 연구는 Qwen2.5-1.5B 모델을 기반으로 했으며, 더 큰 모델이나 RLHF(인간 피드백 강화 학습) 가 적용된 모델에서 어트랙터 구조가 어떻게 변형될지는 향후 과제로 남겼습니다.