기술 요약: 활성화 이상치(Activation Outliers)와 특징 사멸(Feature Death) 사이의 관계에 대하여

1. 문제 정의

희소 오토인코더(Sparse Autoencoders, SAE)는 신경망의 활성화를 해석 가능한 희소 특징(sparse features)으로 분해하여 중첩(superposition, 네트워크가 차원보다 더 많은 개념을 겹쳐서 인코딩하는 현상) 현상을 역전시키도록 설계되었습니다. 그러나 학습된 사전 딕셔너리 특징이 어떤 입력에도 활성화되지 않는 **특징 사멸(feature death)**이라는 치명적인 실패 모드가 발생합니다. 이는 딕셔너리 용량을 낭비하고, 살아남은 특징들이 이를 보상하도록 강제하여 잠재적으로 중첩 현상을 재도입하게 만듭니다.

본 논문은 SAE 성능의 상당한 불일치를 지적합니다. 동일한 SAE 설정이 GPT-2와 같은 모델에서는 사멸된 특징이 거의 제로에 가까운 반면, AlphaFold3와 같은 모델에서는 70%가 넘는 사멸된 특징을 보입니다. 기존의 회생 기법(예: AuxK, ghost gradients, resampling)은 특징 사멸을 훈련 역학(training dynamics)의 문제로 취급하여, 정체된 특징에 그래디언트 신호를 주입하려고 시도합니다. 그러나 이러한 방법들은 가장 심각한 사례에서 사멸률을 해결하지 못하며, 이는 근본 원인이 훈련 역학이 아닌 활성화의 초기화 상태(initialization state)에 있음을 시사합니다.

2. 방법론 및 이론적 프레임워크

2.1 차원 수준의 활성화 이상치 (Dimension-Level Activation Outliers)

저자들은 차원 수준의 활성화 이상치가 특징 사멸의 주요 원인이라고 제안합니다. 특정 입력에서의 스파이크인 토큰 수준의 이상치와 달리, 이는 평균 활성화 크기($\mu$)가 토큰당 표준 편차($\sigma$)에 비해 큰 차원들을 의미합니다. 이는 모든 입력에 대해 거의 일정한 오프셋을 생성합니다.

저자들은 **이상치 심각도(outlier severity)**를 다음과 같은 비율로 공식화합니다:
$$\gamma = \frac{\|\mu\|}{\|\sigma\|}$$
여기서 $\mu$는 평균 활성화 벡터이고, $\sigma$는 토큰당 표준 편차 벡터입니다.

2.2 사멸의 기하학적 메커니즘

초기 상태(제로 바이어스 시)에서 특징 $i$의 사전 활성화(pre-activation)는 $z_i = w_i \cdot x$입니다. 입력 $x$를 평균과 변동으로 분해하면 ($x = \mu + (x - \mu)$), 사전 활성화는 다음과 같이 됩니다:
$$z_i = \underbrace{w_i \cdot \mu}_{\text{일정한 이동(constant shift)}} + \underbrace{w_i \cdot (x - \mu)}_{\text{입력 의존적 신호(input-dependent signal)}}$$

$\gamma$가 높을 때, 일정한 이동이 신호를 압도합니다. 이는 초기화 단계에서 두 가지 뚜렷한 실패 모드로 이어집니다:

1. Dead-by-ReLU: 가중치가 $\mu$와 반대 방향으로 정렬된 특징($w_i \cdot \mu \ll 0$)은 영구적으로 음수의 사전 활성값을 받습니다. ReLU는 음수 값에 대해 출력이 0이므로, 이 특징들은 결코 발화(fire)하지 못하며 그래디언트를 받지 못합니다.
2. Dead-by-TopK: TopK SAE에서, 적당한 양의 이동을 가진 특징들은 ReLU를 통과할 수는 있지만, 큰 양의 이동을 가진 특징들과의 경쟁에서 패배합니다. 오직 $\mu$와 가장 잘 정렬된 $k$개의 특징만이 TopK 선택에서 승리하며, 나머지는 사멸하게 됩니다.

2.3 분석적 유도

논문은 오직 $\gamma$에 기반하여 특징 사멸 확률에 대한 폐쇄형 식(closed-form expressions)을 유도합니다:

• Dead-by-ReLU: $P(\text{dead}) = \Phi\left(\frac{-C}{\gamma}\right)$, 여기서 $\Phi$는 표준 정규 분포의 CDF이며, $C$는 평가 샘플 수에 의존합니다.
• Dead-by-TopK: $P(\text{dead}) \approx \Phi\left(\frac{t_k - C}{\gamma}\right)$, 여기서 $t_k$는 TopK 임계값에 해당하는 분위수(quantile)입니다.

이 공식들은 $\gamma$가 증가함에 따라 사멸률이 단조 증가하여, 극단적인 심각도에서 ReLU의 경우 50%, TopK의 경우 $1 - k/n$에 도달한다고 예측합니다.

2.4 실험 설정

저자들은 언어, 비전, 단백질, 유전체 모델을 아우르는 454개의 모델-레이어 조합을 통해 이 주장을 검증합니다. 그들은 다음을 수행했습니다:

• 실제 활성화에 대해 $\gamma$ 계산 (per-token LayerNorm 사용).
• 보조 손실(AuxK)을 포함하거나 포함하지 않은 SAE 훈련.
• 인과관계를 격리하기 위해 $\gamma$를 제어하는 합성 실험 수행.
• 완화 전략으로서 평균 중심화(mean-centering) (입력에서 $\mu$를 빼거나 바이어스를 $\mu$로 초기화) 테스트.

3. 주요 기여

1. 이상치 심각도 진단 도구 ($\gamma$): 저자들은 제1원리로부터 $\gamma$를 유도하여, 이것이 초기 상태의 사멸된 특징 비율을 결정함을 보여줍니다. 이 진단 도구는 피팅 없이도 다양한 모델 전반에서 관찰된 사멸률과 높은 상관관계(TopK의 경우 Spearman $\rho = 0.89$, ReLU의 경우 $\rho = 0.82$)를 보입니다.
2. 사멸의 기하학적 원인: 본 논문은 고-$\gamma$ 모델에서의 특징 사멸이 훈련 역학의 문제가 아니라 기하학적 초기화 문제임을 확립합니다. 활성화 평균은 훈련이 시작되기 전부터 특징의 운명을 결정짓는 입력 독립적인 사전 활성화 이동을 생성합니다.
3. 회생 역학 분석: 저자들은 두 가지 뚜렷한 회생 경로를 규명합니다:
   • 빠른 경로 (Fast): Dead-by-TopK 특징들은 훈련 중에 경쟁하는 특징들이 줄어듦에 따라 회생합니다.
   • 느린 경로 (Slow): Dead-by-ReLU 특징들은 SAE 바이어스가 평균 오프셋 $\mu$를 천천히 흡수할 때만 회생합니다. 이 과정은 $\gamma$가 높을 때 매우 느리며, 이것이 훈련만으로는 왜 특징을 복구하는 데 실패하는지를 설명합니다.
4. 평균 중심화를 통한 검증: SAE 바이어스를 활성화 평균으로 초기화하는 것(효과적인 평균 중심화)이 초기화 시 발생하는 이상치 유도 사멸을 제거함을 입증합니다. 이는 기하학적 메커니즘을 확인시켜 주며, 이러한 전처리가 필요한 이유에 대한 원칙적인 근거를 제공합니다.

4. 결과

• 상관관계: $\gamma$는 454개 모델-레이어 조합에서 초기 사멸률을 정확하게 예측합니다. 합성 실험은 $\gamma$의 증가와 사멸률의 증가 사이에 완벽한 순위 상관관계($\rho=1.0$)가 있음을 확인해 줍니다.
• 훈련의 한계: 고-$\gamma$ 시나리오(예: $\gamma \ge 30$)에서 표준 훈련은 200만 스텝 이후에도 특징을 회복하는 데 실패합니다. 바이어스 학습 과정이 병목 구간이며, 영구적으로 음수인 사전 활성값을 가진 특징들은 바이어스가 대규모 오프셋을 충분히 빨리 학습할 수 없기 때문에 계속 사멸 상태로 남습니다.
• AuxK의 한계: AuxK는 그래디언트 신호를 제공하여 Dead-by-TopK 특징의 회복을 가속화하지만, Dead-by-ReLU 회복에 필요한 바이어스 학습 속도를 높이지는 못합니다. 결과적으로 AuxK는 중간 정도의 $\gamma$에서는 도움이 되지만, 높은 $\gamma$에서의 사멸 문제를 해결하지는 못합니다.
• 평균 중심화의 효능:
  • 합성 데이터($\gamma=40$)에서 평균 중심화는 사멸된 특징을 거의 제로로 줄이고 재구성 오차를 10배 이상 낮춥니다.
  • 실제 모델(예: ESM3, AlphaFold3)에서 평균 중심화는 초기 사멸을 80% 이상에서 거의 0에 가깝게 줄입니다.
  • 특징 품질: 평균 중심화된 SAE는 더 단일 의미적(monosemantic)인 특징을 생성합니다. ESM3의 경우, 2,048개의 특징을 가진 평균 중심화된 SAE가 8,192개의 특징을 가진 베이스라인 SAE(73개)보다 더 많은 생물학적 개념(100개)을 복구합니다.
• 잔여 사멸 (Residual Death): 평균 중심화가 모든 사멸을 제거하지는 않습니다. 분산이 매우 적은 방향에 집중된 극도로 낮은 랭크의 레이어(예: Evo1)에서는 여전히 TopK 경쟁으로 인해 특징이 사멸합니다. 저자들은 이에 대한 해결책으로 PCA 화이트닝(whitening)이나 능동 부분 공간 초기화(Active Subspace Initialization)를 제안합니다.

5. 의의 및 주장

본 논문은 SAE의 특징 사멸을 이해하고 완화하기 위한 원칙적인 기초를 제공하며, 패러다임을 "훈련 역학을 수정하는 것"에서 "초기화 기하학을 교정하는 것"으로 전환합니다.

• 실무적 지침: 저자들은 간단한 진단 워크플로우를 제안합니다: 레이어에 대해 $\gamma$를 계산합니다. 만약 $\gamma$가 높다면, 특징 사멸을 방지하기 위해 평균 중심화(바이어스를 활성화 평균으로 초기화)가 필수적입니다. 만약 $\gamma$가 낮다면, 표준 훈련만으로 충분합니다.
• 효율성: 평균 중심화는 고-$\gamma$ 영역에서 비용이 많이 드는 회생 기법(AuxK 등)의 필요성을 제거하며, 더 작은 딕셔너리가 중심화되지 않은 더 큰 딕셔너리와 같거나 더 나은 해석력을 달성할 수 있게 합니다.
• 이론적 통찰: 이 연구는 다양한 도메인(언어 vs 생물학) 간의 SAE 성능 차이가 SAE 아키텍처 자체가 아니라 소스 모델의 활성화 기하학에 의해 구동된다는 점을 명확히 합니다.

결론적으로, 대부분의 모델에 대해 SAE 바이어스를 활성화의 기하학적 중앙값(geometric median)으로 초기화하는 것은 비용이 들지 않으면서도 효과가 매우 큰 단계이며, 이를 통해 의도한 딕셔너리 크기가 실제 효과적인 크기와 일치하도록 보장하여 다양한 모델 제품군에 걸쳐 더 신뢰할 수 있는 기계적 해석 가능성을 가능하게 합니다.