Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 할루시네이션 (사실과 다른 정보를 생성하는 현상) 은 고위험 분야 (법률, 금융, 의료 등) 에서 심각한 문제를 야기합니다. 최근 연구 (Gao et al., 2025) 는 LLM 의 피드포워드 네트워크 (FFN) 내 **0.1% 미만의 희소 집합인 '할루시네이션 뉴런 (H-neurons)'**이 모델의 할루시네이션 발생을 신뢰성 있게 예측할 수 있음을 발견했습니다.

그러나 기존 연구는 주로 일반 상식 질문 (TriviaQA) 과 같은 단일 도메인에서 뉴런을 식별하고 검증했습니다. 이에 본 논문은 다음과 같은 핵심 질문을 제기합니다:

"한 지식 도메인에서 발견된 H-뉴런이 다른 지식 도메인 (법률, 금융, 과학 등) 으로 전이되어도 여전히 유효한가?"

만약 H-뉴런이 보편적인 '할루시네이션 신호'를 담고 있다면 교차 도메인 전이가 성공해야 하지만, 만약 도메인별 특정 신경 경로를 따른다면 전이는 실패할 것입니다.

2. 방법론 (Methodology)

실험 설계

• 모델: 3B~8B 파라미터 규모의 5 가지 오픈 가중치 모델 (Qwen2.5-3B, Nemotron-4B, Phi-3.5, Mistral-7B, Llama-3.1-8B) 을 사용.
• 도메인: 6 가지 상이한 지식 영역 (일반 QA, 법률, 금융, 과학, 도덕적 추론, 코드 취약점). 각 도메인별 1,000 개의 질문을 샘플링.
• 프롬프트 전략: 직접 답변 (Direct) 과 사고의 사슬 (Chain-of-Thought, CoT) 두 가지 조건을 모두 평가.

H-뉴런 식별 및 전이 프로토콜

1. CETT 기반 뉴런 추출: Gao et al. (2025) 의 CETT (Contribution Estimation Through Token-level Traits) 지표를 사용하여 각 FFN 뉴런의 출력 임베딩 기여도를 계산합니다.
2. 분류기 학습: 각 소스 도메인 (Source Domain) 에서 할루시네이션 레이블 (참/거짓) 에 맞춰 L1 정규화 로지스틱 회귀 분류기를 훈련시킵니다. L1 정규화를 통해 예측에 중요한 소수의 뉴런 (H-뉴런) 만 선택합니다.
3. 교차 도메인 평가: 훈련된 분류기를 다른 모든 타겟 도메인 (Target Domain) 에 대해 평가하여 **6x6 전이 행렬 (Transfer Matrix)**을 구성합니다.
4. 성능 지표: AUROC (Area Under the Receiver Operating Characteristic Curve) 를 주요 지표로 사용하며, 전이 간격 (Transfer Gap, $\Delta$) 을 계산합니다.

3. 주요 기여 (Key Contributions)

1. 교차 도메인 전이 프로토콜의 정립: 6 개 도메인과 5 개 모델을 대상으로 180 개의 훈련 - 테스트 도메인 쌍을 분석하여, 뉴런 수준의 할루시네이션 탐지기의 도메인 전이 가능성을 체계적으로 정량화한 최초의 연구입니다.
2. 도메인 특이적 할루시네이션 경로의 발견: H-뉴런이 보편적이지 않고 도메인마다 다르게 작동함을 통계적으로 입증했습니다.
3. 도메인 및 모델 요인 분석: 어떤 도메인 쌍이 부분적 전이를 보이는지 (예: 법률 - 과학), 그리고 모델 아키텍처와 규모가 도메인 특이성에 미치는 영향을 분석했습니다.

4. 주요 결과 (Results)

4.1 도메인 내 (Within-Domain) 성능

• 훈련된 도메인 내에서 H-뉴런 분류기는 높은 성능을 보였습니다 (평균 AUROC 0.783).
• 예외적으로 코드 취약점 탐지 (Devign) 도메인은 성능이 상대적으로 낮았으나 (0.585), 여전히 무작위 추측보다는 우위였습니다.

4.2 교차 도메인 전이 (Cross-Domain Transfer)

• 전반적인 전이 실패: 한 도메인에서 훈련된 분류기를 다른 도메인에 적용했을 때 성능이 급격히 하락했습니다.
  • 도메인 내 AUROC: 0.783
  • 교차 도메인 AUROC: 0.563
  • 전이 간격 ($\Delta$): 0.220 (p < 0.001, 통계적으로 유의미함).
• 이는 분류기가 새로운 도메인에서 약 28% 의 판별력을 상실함을 의미하며, 모든 5 개 모델에서 일관되게 관찰되었습니다.

4.3 도메인 쌍별 분석

• 법률 - 과학 (Legal-Science) 부분 전이: 법률과 과학 도메인 간에는 상대적으로 높은 전이 성능 (AUROC ~0.72) 을 보였습니다. 이는 두 도메인이 모두 구조화된 논리적 추론을 공유하기 때문으로 추정됩니다.
• 코드 (Code) 의 이질성: 코드 도메인은 다른 모든 텍스트 기반 도메인과 전이가 거의 불가능했습니다 (AUROC ~0.50). 코드 취약점 탐지는 자연어 추론과 근본적으로 다른 신경 경로를 사용하는 것으로 보입니다.
• 무작위 이하 (Below-Chance) 전이: 일부 경우 (예: 코드→도덕), 훈련된 분류기가 정반대의 예측을 하여 AUROC 가 0.5 미만 (최대 0.21) 이 나왔습니다. 이는 한 도메인의 할루시네이션 뉴런이 다른 도메인에서는 정답을 예측하는 뉴런으로 작용할 수 있음을 시사합니다 (반상관 관계).

4.4 CoT 및 모델 규모 영향

• CoT (Chain-of-Thought): CoT 프롬프팅은 할루시네이션 예측 뉴런의 수와 정체성을 크게 변화시켰습니다. 즉, CoT 는 신호를 단순히 강화하거나 약화시키는 것이 아니라, 다른 뉴런 군집을 동원하여 할루시네이션 패턴을 재구성합니다.
• 모델 규모: 3B~8B 범위 내에서는 모델 크기가 커질수록 도메인 특이성이 줄어든다는 명확한 경향은 관찰되지 않았습니다. 아키텍처와 학습 데이터 구성이 크기보다 더 중요한 역할을 하는 것으로 보입니다.

5. 논의 및 의의 (Significance)

기계적 해석 (Mechanistic Interpretation)

이 연구는 할루시네이션이 단일한 보편적 신경 서명을 가진 메커니즘이 아니라, **지식 유형에 따라 다른 신경 경로 (Domain-specific neural pathways)**를 통해 발생함을 시사합니다.

• 가설: H-뉴런은 특정 도메인의 지식 저장소 (Knowledge Storage) 가 손상되었을 때 활성화되거나, 해당 도메인의 추론 회로 (Reasoning Circuits) 가 오작동할 때 활성화됩니다.

실용적 함의 (Deployment Implications)

1. 범용 탐지기 부재: 일반 상식 벤치마크 (TriviaQA 등) 에서 훈련된 할루시네이션 탐지기를 법률, 금융 등 다른 분야에 그대로 적용하는 것은 불가능합니다.
2. 도메인별 보정 필요: 각 응용 분야마다 도메인별 할루시네이션 레이블을 수집하고 분류기를 재훈련해야 합니다.
3. 개입의 위험성: H-뉴런을 억제하거나 수정하는 개입 (Intervention) 은 도메인별로 타겟팅되어야 합니다. 잘못된 도메인의 뉴런을 억제하면 오히려 할루시네이션을 증가시킬 수 있습니다 (Below-chance 전이 현상).

결론

본 논문은 LLM 의 할루시네이션이 단일 메커니즘이 아님을 증명하고, 뉴런 수준의 탐지 및 완화 전략이 **도메인 특이적 (Domain-specific)**으로 설계되어야 함을 강력하게 주장합니다. 이는 고위험 분야에서 LLM 을 안전하게 배포하기 위한 새로운 방향성을 제시합니다.