Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design

기술 요약: 아키타입(Archetype)의 절제(Ablation)

문제 정의
희소 오토인코더(Sparse Autoencoders, SAEs)는 신경망 활성화를 해석 가능한 희소 특징(sparse features)으로 분해하는 데 사용되는 기계론적 해석 가능성 분야의 표준 도구입니다. 이 분야의 핵심 과제는 **불안정성(instability)**입니다. 동일한 데이터로 서로 다른 무작위 시드(random seed)를 사용하여 학습된 SAE들은 상당히 다른 딕셔너리(dictionary)를 학습하는 경우가 많으며, 이는 무엇이 진정한 계산적 특징이고 무엇이 학습 결과물(artifact)인지 구분하기 어렵게 만듭니다.

최근 Fel 등(2025)의 연구는 "아키타입 SAE(Archetypal SAEs)"를 제안했습니다. 이 방식은 딕셔너리 원자(atom)들이 일련의 "아키타입"(일반적으로 k-means 중심점)의 볼록 껍질(convex hull) 내에 존재하도록 제약합니다. 그들은 이 방법이 고전적인 SAE에 비해 학습 종료 시점에서 훨씬 더 안정적인 딕셔너리를 생성한다고 보고했습니다. 본 논문은 보고된 안정성이 아키타입 제약 자체의 결과가 아니라, **동일한 초기화(identical initialization)**와 **전처리 의존적인 메트릭 결함(preprocessing-dependent metric flaw)**에 의한 결과물이라고 주장합니다.

방법론 및 분석
저자들은 궤적 분석(trajectory analysis), 초기화 절제(initialization ablations), 그리고 메트릭 진단을 결합하여 Archetypal SAE의 안정성 주장을 해체합니다.

1. 안정성(Stability)과 안정화(Stabilization)의 구분:
   본 논문은 문헌에서 혼동되는 개념을 명확히 합니다:

• 안정성(Stability/Consistency): 독립적으로 학습된 두 모델 사이의 종료 시점 일치도.
• 안정화(Stabilization): 진정으로 다른 초기값으로부터 시작된 두 실행(run)이 공통된 솔루션을 향해 수렴하는 것.
  저자들은 Archetypal SAE가 전자는 (시작점을 고정함으로써) 사소하게 보여주지만, 후자는 증명하지 못한다고 주장합니다.

2. 궤적 진단(Trajectory Diagnostics):
   저자들은 단순히 종료 지점의 유사성을 측정하는 대신, 학습 단계에 따른 실행 간 딕셔너리 거리(평균 최소 코사인 거리)를 플롯합니다.

• Classical TopK (Random Init): 높은 거리에서 시작하여 단조롭게 감소하며, 이는 데이터 제약에 의해 유도된 진정한 안정화를 나타냅니다.
• Archetypal TopK (Fixed k-means Init): 두 시드가 동일한 딕셔너리($D=C$)에서 시작하기 때문에 학습 내내 거리가 0으로 평탄하게 유지됩니다.
• Archetypal TopK (Random Init): 아키타입 제약은 적용하되 초기화를 무작위화했을 때, 거리는 감소하지만 Classical TopK보다 약 절반의 속도로 감소합니다. 이는 제약 조건이 이 설정에서 오히려 수렴을 방해함을 시사합니다.

3. "멀리 떨어진 은하(Galaxy-Far-Away)" 효과 (메트릭 병리 현상):
   저자들은 중심화되지 않은 활성화(uncentered activations)에 코사인 거리를 사용하는 것의 기하학적 혼란을 식별합니다. LLM 잔차 스트림(residual streams)의 활성화는 비영(non-negligible) 평균($\mu$)을 가집니다. 중심화되지 않은 데이터에 대한 k-means 중심점들은 $\mu$ 주변의 좁은 원뿔 안에 밀집됩니다. 결과적으로, 두 원자 사이의 코사인 거리는 방향적 차이가 아니라 평균 오프셋에 의해 지배되어 유사도 점수를 인위적으로 부풀립니다. 저자들은 활성화를 중심화(평균 차감)하면 이 편향이 제거되어, 중심화 전의 코사인 유사도가 ~0.36에서 ~0.00으로 급락함을 입증합니다.

4. 절제 연구(Ablation Studies):
   DinoV2(시각) 및 Pythia-160m(언어) 데이터를 사용하여 통제된 설정에서 두 가지 절제를 수행합니다:

• 볼록 껍질 투영(Convex-Hull Projection) 비활성화: Archetypal SAE에서 투영 제약을 제거하면(k-means 초기화는 유지), 전체 Archetypal SAE보다 더 높은 안정성(낮은 Hungarian distance)을 보이면서도 재구성 성능($R^2$)을 개선합니다.
• Classical SAE 초기화 고정: 동일한 k-means 중심점을 사용하여 (볼록 껍질 제약 없이) 표준 TopK SAE를 초기화하면, 절제된 Archetypal SAE와 동일한 안정성 지표를 나타냅니다.

주요 결과

• 초기화가 핵심 동인: Fel 등(2025)이 보고한 안정성은 아키타입 제약 때문이 아니라, 여러 시드 간에 공유된 결정론적 k-means 초기화 때문입니다. 초기화를 무작위화하면 아키타입 제약은 고전적 SAE보다 안정화를 늦춥니다.
• 재구성 비용: Archetypal SAE의 볼록 껍질 투영 제약은 테스트된 환경에서 안정화 이득을 제공하지 않으면서 재구성 품질($R^2$)을 감소시킵니다.
• 메트릭 타당성: 중심화되지 않은 활성화에 대한 표준 코사인 안정성 메트릭은 "멀리 떨어진 은하" 효과로 인해 유효하지 않습니다. 중심화는 실제 방향적 차이를 반영하기 위한 필수적인 전처리 단계입니다.
• 정량적 증거: 실험에서 k-means 초기화가 고정된 Classical SAE는 Hungarian distance가 0.068(Vision) 및 0.112(Pythia)를 달성하여, 절제된 Archetypal SAE와 일치하였고, 전체 Archetypal SAE(0.243 및 0.170)보다 크게 우수했습니다.

의의 및 주장
본 논문은 Archetypal SAE가 모든 목적(예: 시각화 또는 유계 노름(bounded norms))에 쓸모없다고 주장하는 것이 아니라, 우월한 **안정화(stabilization)**를 제공한다는 주장을 엄격히 반박합니다.

• 방법론적 교정: 저자들은 SAE의 안정성 주장은 종료 시점의 일치가 아니라 궤적 진단(서로 다른 시작점으로부터의 수렴을 보여주는 것)을 통해 검증되어야 한다고 단언합니다.
• 재현성 경고: 저자들은 Archetypal SAE의 "안정성"이 제약을 초기화로부터 격리하지 못한 실험 설계의 산물임을 강조합니다.
• 해석 가능성 함의: 만약 안정성이 특징의 타당성(즉, "여러 시드에서 나타나면 실재한다")의 대리 지표로 사용된다면, 구조적으로 안정적인 방법(고정된 초기화)은 그러한 근거를 제공하지 못합니다. 진정한 근거는 다양한 시작점으로부터의 수렴을 필요로 합니다.

연구는 아키타입 구조가 기하학적 장점을 가지고 있으나, 현재 설정에서 안정화를 위한 유효한 경로가 되지 못한다고 결론지으며, 메카니즘적 발견의 오해를 피하기 위해 학계가 안정성(일치)과 안정화(수렴)를 반드시 구분해야 한다고 강조합니다.