Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 사실적 질문 (factual questions) 에 답할 수 있지만, 모델 내부에서 이러한 지식이 어떻게 인출되고 처리되는지에 대한 메커니즘은 명확하지 않습니다. 특히, 특정 엔티티 (예: '파리', '바락 오바마') 를 언급했을 때 모델이 해당 엔티티의 속성을 어떻게 기억하고 접근하는지, 그리고 이 과정이 모델의 어떤 층 (layer) 과 뉴런 (neuron) 에서 일어나는지가 핵심 과제입니다.

기존 연구들은 사실적 지식이 관계 (relation) 단위로 국소화될 수 있음을 보였으나, 본 논문은 **"엔티티 중심 (entity-centric)"**의 지식이 어떻게 표현되는지에 초점을 맞춥니다. 신경과학의 '할머니 세포 (grandmother cell)' 가설 (복잡한 개념을 담당하는 희소하고 선택적인 뉴런이 존재한다는 가설) 을 언어 모델에 적용하여, 특정 엔티티에 반응하는 희소한 MLP 뉴런 (Entity Cells) 이 존재하는지, 그리고 이것이 사실적 인출의 핵심 메커니즘인지 검증하고자 합니다.

2. 방법론 (Methodology)

저자들은 엔티티 셀을 국소화 (localize) 하고 인과적 개입 (causal intervention) 을 통해 검증하는 파이프라인을 제안합니다.

• 엔티티 셀 국소화 (Localization):

  • 특정 엔티티에 대한 템플릿 프롬프트 (예: "The origin of [Entity]", "The role of [Entity]") 를 사용하여 모델의 각 층 (layer) 과 MLP 뉴런의 활성화 값을 추출합니다.
  • 엔티티 토큰의 마지막 위치에서 뉴런의 다운-프로젝션 (down-projection) 활성화 값을 측정합니다.
  • **안정성 점수 (Stability Score)**를 계산하여, 다양한 프롬프트에서 일관되게 강하게 활성화되는 뉴런을 '엔티티 셀 후보'로 선정합니다. 이는 평균 활성화가 높고 변동성이 낮은 뉴런을 선호합니다.

• 인과적 개입 (Causal Interventions):

  • 부정적 제거 (Negative Ablation): 선정된 엔티티 셀의 활성화 값을 음수 계수 ($\alpha < 0$) 로 스케일링하여 부호를 반전시킵니다. 이를 통해 해당 엔티티에 대한 기억이 소실되는지 (Amnesia) 확인합니다.
  • 제어된 주입 (Controlled Injection): 엔티티가 없는 프롬프트의 플레이스홀더 토큰 위치에, 해당 엔티티 셀의 활성화 값을 주입합니다. 이를 통해 단일 뉴런의 활성화만으로 엔티티 관련 사실을 복원할 수 있는지 (Sufficiency) 검증합니다.

• 데이터 및 모델:

  • 데이터: PopQA 데이터셋에서 선별된 200 개의 인기 엔티티 (PopQA-200) 를 사용했습니다.
  • 모델: Qwen2.5-7B(Base/Instruct), Qwen3-8B, OLMo-7B, Llama-3.1-8B, Mistral-7B, OpenLLaMA-7B 등 7 개의 모델을 평가했습니다.

3. 주요 결과 (Key Results)

Finding 1: 초기 층 집중 (Early-layer Concentration)

• 국소화된 엔티티 셀은 모델의 깊은 층이 아닌 **초기 층 (Layer 0~5)**에 집중되어 있습니다.
• Qwen2.5-7B(Base) 의 경우 200 개 엔티티 중 99% 가 초기 층에서 최고 안정성 뉴런을 보였습니다. 이는 엔티티의 의미 표현이 모델의 앞부분에서 조기에 형성됨을 시사합니다.

Finding 2: 인과적 필요성 (Causal Necessity - Amnesia)

• 선정된 엔티티 셀을 부정적으로 제거 (ablation) 했을 때, 해당 엔티티에 대한 사실적 인출 능력이 현저히 저하되었습니다 (예: 오바마 관련 질문 정답률 급감).
• 반면, 제어 대상 엔티티 (예: 트럼프) 나 모델의 유창성에는 큰 영향을 주지 않았습니다.
• 200 개 엔티티 중 131 개가 신뢰할 수 있는 '엔티티 셀'로 판별되었습니다.

Finding 3: 인과적 충분성 (Causal Sufficiency - Injection)

• 플레이스홀더 위치에 올바른 엔티티 셀을 주입했을 때, 모델은 해당 엔티티에 대한 사실을 정확히 예측할 수 있었습니다 (Pass@5 정확도 63.3%).
• 단일 뉴런 충분성: 많은 경우, 단 하나의 뉴런을 활성화하는 것만으로도 엔티티 일관된 예측이 가능했습니다 (Top-1 과 Top-k 의 성능 차이가 미미함).
• 잘못된 엔티티의 셀을 주입하거나 평균 엔티티 벡터를 사용한 대조군에 비해 성능이 월등히 우수했습니다.

Finding 4: 표면 형태 강건성 (Surface-Form Robustness)

• 동일한 엔티티 셀이 철자 오류 (misspellings), 약어 (acronyms), 동의어, 그리고 다른 언어 (multilingual) 로 표현된 경우에도 동일하게 국소화되었습니다.
• 이는 해당 뉴런이 특정 토큰 문자열이 아닌 **엔티티의 정체성 (canonical identity)**을 표현하고 있음을 의미합니다.

4. 모델 간 일반화 (Generalization)

• Qwen 계열: Qwen2.5-7B(Base) 에서 가장 강력한 결과가 나왔으며, Instruction Tuning 을 거친 Qwen2.5-7B-Instruct 와 Qwen3-8B 에서도 유사한 초기 층 집중 패턴과 엔티티 셀 맵이 유지되었습니다 (Post-training robustness).
• 타 모델 계열: OLMo, Llama, Mistral 등 다른 모델 계열에서도 초기 층에 후보 셀이 존재하지만, 인과적 개입 (Ablation/Injection) 에 의한 효과가 Qwen 계열보다 약하고 일관성이 떨어졌습니다. 이는 엔티티 셀 현상이 모델 아키텍처나 학습 데이터 분포에 의존적일 수 있음을 시사합니다.

5. 기여 및 의의 (Contributions & Significance)

1. 할머니 세포 가설의 검증: 언어 모델 내에서 희소하고 안정적이며 인과적으로 조작 가능한 '엔티티 셀'의 존재를 실험적으로 증명했습니다.
2. fact retrieval 메커니즘 규명: 엔티티 기반 사실 인출이 모델 전체를 거쳐 점진적으로 축적되는 것이 아니라, 초기 층의 희소한 뉴런을 통해 **국소적으로 접근 (localized retrieval)**됨을 밝혔습니다.
3. 모델 제어 및 편집 가능성: 특정 뉴런을 활성화하거나 비활성화함으로써 모델의 사실적 행동을 정밀하게 조절할 수 있음을 보여주었습니다. 이는 모델 편집 (Model Editing) 및 해석 가능성 (Interpretability) 연구에 중요한 통찰을 제공합니다.
4. 표준화 (Canonicalization) 역할: 엔티티 셀이 다양한 표면 형태 (철자, 언어, 약어) 를 통합하여 엔티티의 고유한 정체성으로 매핑하는 역할을 수행함을 입증했습니다.

6. 결론

이 연구는 언어 모델이 복잡한 사실적 지식을 저장하고 인출하는 방식이 단순한 분산 표현을 넘어, 초기 층에 위치한 희소하고 강력한 '엔티티 셀'에 의해 매개될 수 있음을 보여주었습니다. 특히 Qwen2.5-7B 모델에서 이러한 현상이 명확하게 관찰되었으며, 이는 신경과학의 할머니 세포 가설이 인공 신경망에서도 유효한 해석적 틀이 될 수 있음을 시사합니다. 다만, 모든 엔티티와 모든 모델에서 보편적으로 적용되지는 않으므로, 모델별 특성과 데이터 의존성에 대한 추가 연구가 필요하다고 결론지었습니다.