논문 요약: Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics

이 논문은 대규모 언어 모델 (LLM) 의 신경망 해석 가능성 분야에서 중요한 개념인 **'다의성 (Polysemanticity)'**과 **'중첩 (Superposition)'**의 관계를 재조명합니다. 저자들은 기존 연구에서 다의성으로 간주되어 왔던 많은 현상이 실제로는 **어휘적 동일성 (Lexical Identity)**에 기인한 것이며, 진정한 의미의 개념 압축 (Superposition) 과 혼동되고 있음을 증명합니다.

1. 문제 제기 (Problem)

• 배경: LLM 에서 하나의 뉴런이 서로 관련 없어 보이는 여러 개념 (예: "은행"의 금융 의미와 강가 의미) 을 모두 활성화시킬 때, 이를 **다의성 (Polysemanticity)**이라고 부릅니다. 기존 이론 (Elhage et al., 2022) 에 따르면 이는 모델이 표현할 수 있는 개념의 수보다 뉴런의 수가 부족할 때 발생하는 **중첩 (Superposition)**의 결과로 해석되었습니다.
• 핵심 문제: 그러나 "금융 은행 (financial bank)"과 "강가 은행 (river bank)"을 동시에 활성화하는 뉴런이 정말로 두 개의 독립적인 개념을 압축하고 있는 것일까요? 아니면 단순히 **공유된 단어 형태 (word form, 즉 'bank'라는 단어 자체)**를 처리하기 때문일까요?
• 현재의 한계: 기존 측정 지표들은 단어 형태와 의미의 영향을 구분하지 못합니다. 이로 인해 중첩 (Superposition) 으로 인한 변수 공유가 실제보다 과대평가될 위험이 있으며, 이는 희소 오토인코더 (SAE) 나 모델 편집 (Model Editing) 같은 하위 작업에 부정적인 영향을 미칩니다.

2. 방법론 (Methodology)

저자들은 2x2 요인 분해 (2x2 Factorial Decomposition) 설계를 통해 어휘적 요인과 의미적 요인을 분리했습니다.

• 실험 조건 (4 가지):

  1. Same-Lemma (SL): 같은 단어, 같은 의미 (예: bank-금융 ↔ bank-금융) → 어휘 + 의미 공유
  2. Polysemantic (PS): 같은 단어, 다른 의미 (예: bank-금융 ↔ bank-강가) → 어휘만 공유 (핵심 조건)
  3. Synonym (SYN): 다른 단어, 같은 의미 (예: bank-금융 ↔ institution) → 의미만 공유
  4. Cross-Lemma (CL): 다른 단어, 다른 의미 (예: bank ↔ plant) → 공유 없음 (기선)

• 측정 지표:

  • $R_{lex}$ (Lexical Contribution Ratio): PS 조건과 SYN 조건 간의 중첩 정도를 비교하여 어휘적 기여도를 정량화합니다.
    $$R_{lex} = \frac{\bar{M}_{PS} - \bar{M}_{SYN}}{\bar{M}_{SL} - \bar{M}_{CL}}$$
    여기서 $R_{lex} > 0$이면 단어 형태가 의미보다 더 큰 중첩을 유발함을 의미합니다.
  • 뉴런 분류: 각 뉴런이 단어 형태 (Form) 에만 반응하는지, 아니면 의미 (Sense) 에 선택적으로 반응하는지 **Sense Selectivity Index (SSI)**를 통해 분류합니다.
  • 인과적 개입 (Causal Intervention): 의미 선택적 뉴런과 의미 무감각 (Sense-blind) 뉴런을 각각 제거 (Ablation) 하여 모델의 행동 변화 (퍼플렉시티, 지식 편집 효과 등) 를 비교합니다.

3. 주요 결과 (Key Results)

• 어휘적 중첩의 우세: 110M 에서 70B 파라미터에 이르는 9 개의 다양한 트랜스포머 모델 (GPT-2, BERT, LLaMA-2, Pythia 등) 에서 PS 조건 (같은 단어, 다른 의미) 의 뉴런 중첩이 SYN 조건 (다른 단어, 같은 의미) 보다 일관되게 높았습니다. 이는 단어 형태가 의미보다 뉴런 활성화에 더 큰 영향을 미친다는 것을 의미합니다.
• SAE 에의 영향: 희소 오토인코더 (SAE) 에서 학습된 특징 (Features) 의 18~36% 가 다의어에 대해 '의미 무감각 (Sense-blind)'하게 작동하며, 단어 형태만 감지하는 것으로 확인되었습니다. 이는 SAE 가 진정한 의미의 단의성 (Monosemantic) 특징을 추출하지 못하고 있음을 시사합니다.
• 기하학적 구조: 이 어휘적 혼란 (Confound) 은 활성화 공간의 매우 작은 부분 (약 20 차원, 전체의 1% 미만) 에 집중되어 있으며, 이를 제거하면 PS 와 SYN 간의 격차가 크게 줄어들거나 역전됩니다.
• 하위 작업 성능 향상:
  • 의미 분해 (WSD): 의미 선택적 뉴런만 사용할 때 의미 분해 정확도가 5~6%p 향상되었습니다.
  • 모델 편집 (ROME): 의미 무감각 뉴런을 필터링하고 의미 선택적 뉴런만 편집할 경우, 원하지 않는 의미 (Collateral damage) 에 미치는 부정적 영향이 통계적으로 유의미하게 감소했습니다 ($p=0.002$).

4. 주요 기여 (Key Contributions)

1. 다의성 측정의 재정의: 현재 다의성으로 간주되는 현상의 상당 부분이 실제 개념 압축이 아니라 **어휘적 동일성 (Lexical Identity)**에 기인함을 최초로 체계적으로 증명했습니다.
2. 새로운 측정 도구 ($R_{lex}$ 및 분류법): 어휘적 기여도와 의미 선택성을 정량화하는 새로운 지표와 뉴런 분류 방법론을 제시했습니다.
3. 실용적 해결책:
   • 보정 점수 (Corrective Score): 기존 다의성 점수에서 어휘적 요인을 제거하는 보정 방법을 제안했습니다.
   • Lexical Identity Subspace (LIS): 어휘적 혼란을 일으키는 기하학적 하위 공간을 식별하고 제거할 수 있음을 보였습니다.
   • 모델 편집 가이드: ROME 등의 모델 편집 시 의미 무감각 뉴런을 제외함으로써 더 정밀한 편집이 가능함을 입증했습니다.

5. 의의 및 시사점 (Significance)

• 해석 가능성 (Interpretability) 의 정확성 향상: SAE 나 뉴런 분석 시 '단어 형태'와 '개념'을 구분하지 않으면 잘못된 결론 (예: 불필요한 중첩 존재) 에 도달할 수 있음을 경고합니다.
• 모델 제어의 정밀도: 모델의 행동을 수정하거나 편집할 때, 의미 무감각 뉴런을 제외하면 원치 않는 부작용을 크게 줄일 수 있어 더 안전하고 정밀한 모델 제어가 가능해집니다.
• 미래 연구 방향: SAE 학습 시 어휘적 동일성에 대한 페널티를 도입하거나, 비지도 학습 방식으로 어휘적 하위 공간을 제거하는 방법론 개발의 필요성을 제시합니다.

결론적으로, 이 논문은 LLM 의 내부 표현을 이해하는 데 있어 '단어'와 '의미'를 구분하는 것이 필수적임을 강조하며, 기존의 중첩 이론을 보완하고 모델 해석 및 편집 기술의 정확도를 높이는 중요한 이정표가 됩니다.