Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

1. 문제 정의 (Problem)

• 다의성 (Polysemanticity) 의 도전: 신경망의 개별 뉴런이나 뉴런 그룹이 단일 개념이 아닌 여러 개의 서로 다른 특징 (feature) 을 동시에 인코딩하는 현상입니다. 이는 모델의 표현 효율성을 높이지만, 모델의 내부 작동 원리를 해석하고 (interpretability) 행동을 제어하는 것을 어렵게 만듭니다.
• 구조적 취약성: 기존 연구는 다의성이 단순히 학습의 부산물이나 무작위적 현상으로 여겨졌으나, 본 논문은 다의적 구조가 **체계적인 취약점 (systematic vulnerability)**을 만들어낸다고 주장합니다. 즉, 의미적으로 무관해 보이는 특징들이 모델의 활성화 공간에서 서로 간섭 (interference) 을 일으켜, 원하지 않는 방향으로 모델의 출력을 조작할 수 있음을 보여줍니다.
• 연구 목적: 작은 모델에서 발견된 다의적 간섭 패턴이 더 크고 복잡한 모델 (블랙박스 모델 포함) 로도 전이 (transfer) 되는지, 그리고 이를 통해 모델을 어떻게 제어할 수 있는지 규명하는 것입니다.

2. 방법론 (Methodology)

연구는 **희소 오토인코더 (Sparse Autoencoders, SAEs)**를 활용하여 모델의 활성화 공간을 고차원의 희소 특징 공간으로 변환하고, 이를 분석합니다.

• 데이터 및 모델:
  • 분석 대상: Pythia-70M, GPT-2-Small (SAE 가 모든 레이어에 대해 제공됨).
  • 검증 대상 (전이성): Llama-3.1-8B/70B-Instruct, Gemma-2-9B-Instruct (블랙박스 모델).
• 개념적 프레임워크:
  • M (Human Symbolic Manifold): 인간이 직관적으로 이해하는 의미 공간.
  • Aℓ (Model Activation Space): 모델 레이어의 뉴런으로 구성된 활성화 벡터 공간.
  • Fℓ (Sparse Feature Basis): SAE 를 통해 추출된 고차원 희소 특징.
  • 핵심 가설: M 공간에서 의미적으로 직교 (무관) 하더라도, Aℓ 공간에서는 공유된 활성화 경로를 통해 간섭을 일으킬 수 있음.
• 4 가지 개입 (Intervention) 전략:
  1. 특징 방향 개입 (Feature-direction steering): SAE 특징 벡터를 활성화 공간에 주입하여 목표 특징의 출력을 유도.
  2. 토큰 기울기 개입 (Token-gradient steering): 간섭을 일으키는 특징의 최상위 활성화 토큰에 대한 기울기 (gradient) 를 계산하여 스티어링 벡터로 사용.
  3. 프롬프트 주입 (Prompt injection): 간섭 특징을 활성화시키는 텍스트 조각을 프롬프트에 추가하여 잠재 공간에 의미 주입.
  4. 뉴런 개입 (Neuron intervention): 다의성 정도 (연결된 특징 수) 가 높은 뉴런을 마스킹하거나 증폭하여 행동 변화 측정.
• 평가 지표: 개입 전후의 다음 토큰 예측 분포 변화. **가중 코사인 유사도 (Weighted Cosine Similarity)**와 **가중 중첩 (Weighted Overlap)**을 사용하여 목표 특징과의 정렬 정도를 측정.

3. 주요 기여 및 결과 (Key Contributions & Results)

1) 의미적으로 무관하지만 간섭하는 특징을 통한 모델 조작 성공

• SAE 를 통해 추출된 특징들 중, 의미적으로 무관 (semantic dissimilarity) 하지만 활성화 공간에서 간섭 (interference) 이 발생하는 특징 쌍을 식별했습니다.
• 이러한 간섭 특징을 조작 (스티어링) 하면, 목표 특징의 출력이 유의미하게 변화함을 실험적으로 증명했습니다.
• 결과: 간섭 정도가 높을수록 목표 특징의 출력을 유도하는 효과가 강해졌습니다. 특히 토큰 기울기 (Token-gradient) 기반 개입이 SAE 특징 방향 개입보다 약 10 배 더 큰 효과를 보였습니다.

2) 모델 간 전이 가능한 다의적 구조의 발견 (Cross-Model Transferability)

• 작은 모델 (Pythia-70M, GPT-2-Small) 에서 발견된 간섭 패턴을 사용하여, 내부 접근이 불가능한 더 크고 튜닝된 모델 (Llama-3.1, Gemma-2) 을 조작했습니다.
• 결과: 작은 모델에서 학습된 간섭 특징 (토큰 기울기 또는 프롬프트) 을 큰 모델에 적용했을 때, 예측 가능한 행동 변화가 발생했습니다. 이는 다의적 구조가 모델의 크기나 아키텍처, 학습 regimes 를 초월하여 보편적으로 존재함을 시사합니다.

3) 직관에 반하는 고차원 규칙성 (Counterintuitive Regularities)

• 간섭을 일으키는 특징 쌍들을 분석한 결과, 표면적인 의미 (gloss) 는 전혀 관련이 없었으나, 모델 내부에서는 강한 연관성을 가지는 경우가 많았습니다.
• LLM 에 의한 주석 분석: GPT-5-mini 와 DeepSeek-V3 를 이용해 고차원 의미 관계 (시나리오, 인과 관계 등) 를 분석한 결과, 약 27.7% 만이 인간에게 설명 가능한 연관성을 보였습니다. 나머지 대부분은 인간의 직관으로는 이해하기 어려운 "약한 신호 (weak signals)"로, 모델이 학습한 잠재적 지식 구조를 반영할 가능성이 큽니다.

4) 뉴런 수준의 취약성 및 "슈퍼 뉴런 (Super-neurons)"

• 다의성 정도와 취약성: 하나의 뉴런이 연결된 특징의 수 (다의성 정도) 가 높을수록, 해당 뉴런을 조작했을 때 모델 출력의 변화가 더 컸습니다.
• 비대칭적 효과: 500 개 이상의 특징과 연결된 "슈퍼 뉴런"의 경우, **활성화 증폭 (amplification)**은 모델 행동을 극적으로 변화시켰으나, **마스킹 (deactivation)**은 상대적으로 미미한 효과를 보였습니다. 이는 이러한 뉴런이 의미 구조의 핵심 교차점 (critical junction) 으로 작용할 수 있음을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

• 이론적 통찰: 다의성이 단순한 학습의 부산물이 아니라, 모델 간에 공유되는 고차원적이고 안정적인 조직 구조임을 보여줍니다. 이는 "플라톤적 표현 가설 (Platonic Representation Hypothesis)"을 지지하는 증거로 볼 수 있습니다.
• 보안 및 제어 (Safety & Control):
  • 모델의 내부 구조 (SAE 등) 에 대한 접근 없이도, 외부 입력 (프롬프트) 이나 기울기 정보를 통해 모델을 조작할 수 있음을 입증했습니다.
  • 이는 LLM 의 안전성 (Safety) 측면에서 새로운 위협 (Adversarial Attacks) 을 제시하는 동시에, 모델의 행동을 정밀하게 제어 (Alignment) 할 수 있는 새로운 방법론을 제공합니다.
• 미래 연구 방향: 인간의 직관으로는 이해하기 어려운 이러한 "간섭 패턴"이 인간과 AI 의 인지 구조에서 어떻게 공유되는지, 그리고 이를 통해 모델의 잠재적 지식 구조를 어떻게 해독할 수 있는지에 대한 연구가 필요함을 강조합니다.

요약하자면, 이 논문은 LLM 의 다의적 구조가 예측 불가능한 무작위성이 아니라, 모델 간에 전이되는 체계적인 간섭 패턴을 가지며, 이를 통해 블랙박스 모델조차 조작할 수 있음을 실험적으로 증명했습니다.