기술 요약: 맥락이 오해를 불러일생킬 때: LLM의 일관성 환상을 측정하는 지표로서의 서프라이절(Surprisal), 에너지(Energy) 및 어텐션 엔트로피(Attention Entropy)

문제 정의

심리언어학 연구는 인간 독자가 "일관성 환상(coherence illusions)"에 취약하다는 사실을 입증해 왔다. 이는 전제 트리거(예: "again" 또는 "too") 뒤에 오는 핵심 단어가 이전 맥락의 방해 요소(distractor)와 의미적으로 일치할 때, 비논리적인 담화가 논리적인 것처럼 보이는 현상을 말한다. 이 현상은 단서 기반 인출 이론(cue-based retrieval theories)으로 설명되는데, 유사성에 의한 간섭이 기억 속에서 부적절하지만 일치하는 항목을 인출하도록 유도하기 때문이다.

대규모 언어 모델(LLM)에서 관찰되는 "맥락적 동조(contextual entrainment)" 또는 "맥락 하이재킹(context hijacking)"—모델이 사실 관계의 정확성과 상관없이 프롬프트에 언급된 토큰에 더 높은 확률을 할당하는 현상—은 이미 관찰된 바 있으나, LLM이 인간의 담화 처리 과정에서 나타나는 특정한 일관성 환상을 재현하는지는 여전히 불분명하다. 본 논문은 네덜란드어 LLM(단일 언어 및 다국어 모델 모두)이 "again"(opnieuw)이나 "too"(ook)와 같은 전제 트리거가 포함된 텍스트를 처리할 때 인간과 유사한 일관성 환상을 보이는지 조사한다.

방법론

본 연구는 세 가지 기존 심리언어학 실험(Schmitz et al., 2025; Kloostra et al., 2026)의 자극물을 활용한다. 실험 설계는 다음과 같은 짧은 담화(통상 3개 문장)를 포함한다:

1. 맥락(Context): 타겟(target)과 방해 요소(distractor)가 설정됨.
2. 트리거(Trigger): 마지막 문장에 전제 트리거("again" 또는 "too")가 등장함.
3. 핵심 단어(Critical Word): 트리거 뒤에 오는 단어가 일관성을 결정함.

저자들은 타겟과 방해 요소가 핵심 단어와 일치하는지 여부에 따라 네 가지 조건을 정의한다:

• MAMA: 타겟 일치, 방해 요소 일치 (일관적/Coherent).
• MAMI: 타겟 일치, 방해 요소 불일치 (일관적/Coherent).
• MIMA: 타겟 불일치, 방해 요소 일치 (비논리적이지만 일관성 환상을 유발함/Incoherent but creates a coherence illusion).
• MIMI: 타겟 불일치, 방해 요소 불일치 (비논리적/Incoherent).

연구에는 10개의 모델이 사용된다: 6개의 네덜란드어 전용 모델(GPT-2 및 GPT-Neo 아키텍처 기반, GEITje-7B-ultra 포함)과 4개의 다국어 모델(EuroLLM, Aya Expanse, Qwen3, LLaMA-3.1).

저자들은 세 가지 주요 지표를 분석한다:

1. 서프라이절(Surprisal): 핵심 단어의 음의 로그 확률로, 인간의 안구 추적 데이터(고정 지속 시간) 및 수용성 판단과 비교된다.
2. 어텐션 엔트로피(Attention Entropy): 핵심 위치에서의 헤드(head) 및 레이어(layer)별로 계산되어 어텐션의 분산 정도를 측정한다. 높은 엔트로피는 간섭이 발생하거나 여러 경쟁하는 후보가 인출되고 있음을 시사한다.
3. 에너지(Energy): 연합 기억(Hopfield Networks) 문헌에서 차용한 새로운 지표로, 쿼리(트리거/핵심 단어)와 키(맥락) 사이의 "적합도(fit)"를 정량화한다. 낮은 에너지는 강한 일치를, 높은 에너지는 부적합 또는 분산된 어텐션을 나타낸다.

또한, 저자들은 헤드 절제(head ablation) 실험(특정 헤드의 값을 0으로 설정)을 수행하고, 은닉 표현(hidden representations)에 **선형 프로브(linear probes)**를 학습시켜 일관성 정보가 명시적으로 인코딩되는지 확인한다.

주요 결과

1. 서프라이절과 인간의 정렬(Human Alignment)

• 행동 패턴: 네덜란드어 전용 및 다국어 모델 모두 $MAMA < MAMI < MIMA < MIMI$의 서프라이절 순서를 보인다.
• 일관성 환상: 결정적으로, MIMA 조건(비논리적이지만 일치하는 방해 요소가 있는 경우)은 MIMI 조건(완전한 비논리적 상태)보다 유의미하게 낮은 서프라이절을 나타낸다. 이는 일치하는 방해 요소가 처리를 용이하게 하여 일관성의 환상을 만들어내는 인간의 행동을 반영한다.
• 인간과의 상관관계: 모델의 서프라이절 값(특히 GEITje 및 GPT-Neo-125M)은 핵심 영역에서의 인간 안구 추적 지표(초기 고정, 총 주시 시간, 총 고정 시간)를 유의미하게 예측한다. 이는 모델의 서프라이절이 담화 수준에서 인간의 읽기 난이도를 나타내는 신뢰할 수 있는 대리 지표임을 확인시켜 준다.

2. 어텐션 엔트로피

• 차별화: 어텐션 엔트로피는 MIMA(환상)와 MIMI(진정한 비논리) 조건을 구분한다.
• 레이어 특이성: 모델의 중간에서 후기 레이어에 있는 헤드들이 조건 간의 엔트로피 차이를 가장 크게 보인다. MIMA 조건에서는 MIMI에 비해 어텐션이 덜 분산되는데, 이는 모델이 일치하는 방해 요소를 성공적으로 인출하여 환상을 강화하고 있음을 시사한다.

3. 에너지 지표

• 정량화: 에너지 지표는 담화 일관성을 성공적으로 정량화한다.
• 결과: MIMA 조건은 타겟과 상관없이 비논리적임에도 불구하고, MIMI 조건에 비해 낮은 에너지 점수(좋은 매치로 인식됨을 의미)를 보인다. 이는 모델의 연합 기억이 방해 요소를 인출하여 상태의 "에너지"를 낮춘다는 가설과 일치한다.

4. 절제 및 프로빙

• 헤드 절제: 엔트로피 차이가 큰 상위 25개 헤드를 절제했을 때, 비환상 조건(MAMI, MAMA)의 서프라이절이 기본 비논리 조건(MIMI)보다 더 많이 영향을 받았다. 이는 해당 헤드들이 일관성을 인코딩하는 데 중요함을 시사하지만, 그 효과는 트리거 유형에 따라 달라진다.
• 선형 프로브: 은닉 상태로 학습된 선형 분류기는 일관성 조건을 예측하는 데 71.88%의 정확도를 달s한다(우연 확률: 25%). 이 분류기는 빈번하게 MAMA(일관적)를 MIMA(환상)로 혼동하는데, 이는 모델이 비논리적 환상을 완전한 비논리 상태보다 일관된 상태에 더 가깝게 표현하고 있다는 내부적 증거를 제공한다.

기여 및 의의

본 논문의 기여는 다음과 같다:

1. 경험적 증거: 인간 심리언어학에서 기록된 일관성 환상이 단일 언어 및 다국어 아키텍처 모두에서 네덜란드어 LLM에 나타남을 입증하였다.
2. 지표 통합: 서프라이절이 인간의 읽기 시간을 예측하는 담화 수준의 예측 변수임을 검증하고, 이러한 환상을 정량화하고 설명하기 위한 내부 지표로서 어텐션 엔트로피와 에너지를 도입하였다.
3. 이론적 통합: 저자들은 인간의 일관성 환상과 LLM의 맥락적 동조를 단서 기반 인출 및 유사성 기반 간섭이라는 통합된 관점에서 프레임화하였다. 이는 인지 과학과 LLM 해석 가능성 사이의 간극을 메운다.
4. 메커니즘적 통찰: 일관성 상태와 환상 상태를 구분하거나 구분하지 못하는 특정 어텐션 헤드 및 은닉 표현을 식별함으로써, 본 연구는 LLM이 담화 일관성을 해결하기 위해 사용하는 내부 메커니즘을 밝혀냈다.

한계 및 범위

저자들은 본 연구가 네덜란드어에 국한되어 있으며, 영어 중심 모델과는 다른 성능 특성을 가질 수 있는 네덜란드어 데이터로 학습된 모델에 의존하고 있음을 명시한다. 자극물은 인간 심리언어학 실험을 위해 설계되었으므로 LLM의 토큰화 또는 학습 분포와 완벽하게 일치하지 않을 수 있다. 저자들은 LLM이 인간이 오해하는 것과 동일한 방식으로 "환각(hallucinate)"을 일으킨다고 주장하는 것이 아니라, 연합 인출 메커니즘에 의해 유사한 처리 패턴을 보인다는 점을 강조한다. 본 연구는 이러한 환상의 존재와 이를 탐지하는 지표에 초점을 맞추고 있으며, 이를 제거하기 위한 구체적인 아키텍처적 해결책을 제안하는 것은 아니다.