기술 요약: 불안정한 특징, 재현 가능한 부분 공간

문제 정의

희소 오토인코더(Sparse Autoencoders, SAEs)는 신경망 활성화를 희소하고 인간이 해석 가능한 특징으로 분해하는 것을 목표로 하는 기계론적 해석 가능성(mechanistic interpretability)의 주요 도구입니다. 그러나 결정적인 한계는 **시드 의존성(seed dependence)**입니다. 동일한 데이터와 하이퍼파라미터를 사용하더라도 서로 다른 무작위 시드로 학습된 SAE는 상당히 다른 특징 집합을 학습합니다. 이는 근본적인 질문을 제기합니다: 특정 특징이 새로운 훈련 실행에서 다시 나타나지 않는다면, 그것은 해당 방향이 새로운 딕셔너리에 부재하기 때문입니까, 아니면 SAE가 단순히 동일한 활성화 영역에 대해 다른 기저(basis)를 학습했기 때문입니까? 이러한 두 가능성을 구별하는 것은 매우 중요합니다. 자동화된 해석 방법이 비정형적이거나 무작위적인 설정에서도 그럴듯한 설명을 할당할 수 있기 때문에, "해석 가능한 것처럼 보이는" 특징이 반드시 재현 가능한 분석 단위라는 보장은 없기 때문입니다.

방법론

저자들은 이 문제를 **특징 안정성(feature stability)**을 통해 조사하며, 이는 코사인 유사도 매칭 규칙 하에서 독립적으로 훈련된 SAE에서 특징이 재현될 확률로 정의됩니다.

1. 안정성 추정: 저자들은 서로 다른 시드를 사용하여 동일한 데이터에 대해 $N+1$개의 SAE를 훈련합니다. 하나의 실행을 앵커(anchor)로 삼습니다. 각 앵커 특징에 대해, 다른 실행들이 코사인 유사도 $\ge \theta$ (기본값 $\theta=0.7$)인 특징을 포함하는 횟수를 계산합니다. 이를 통해 경험적 재현 확률 $\hat{p}_i$를 얻습니다.
2. 분류: 특징들을 안정적(stable, $\hat{p} \ge 1-\epsilon$) 또는 불안정(unstable, $\hat{p} \le \epsilon$)으로 분류하며, 이때 $\epsilon=0.05$입니다.
3. 비교 분석: 안정적 특징과 불안정 특징을 여러 차원에서 비교합니다:
   • 기능적 영향: 재구성 품질(설명된 분산, Explained Variance) 및 활성화 패칭(activation patching)을 통한 다운스트림 다음 토큰 손실(next-token loss)을 통해 측정합니다.
   • 활성화 통계: 활성화 빈도 및 크기.
   • 토큰 구조: 특징을 트리거하는 토큰 엔트로피(토큰의 다양성).
   • 자동 해석: SAEBench를 통해 생성된 설명 분석.
4. 기하학적 분석: 디코더 공간의 기하학을 분석하여, 안정적 특징과 불안정 특징이 차지하는 부분 공간의 유효 랭크(effective rank)를 계산하고, SVD(특이값 분해) 및 로지스틱 회귀 분류기를 사용하여 이 부분 공간들의 교차 시드 재현성을 테스트합니다.
5. 합성 검증: 지면 진실(ground-truth) 특징들이 공유된 저차원 부분 공간 내에 존재하는 제어된 저차원 합성 모델을 구축합니다. SAE를 이 데이터에 훈련하여, 공유된 부분 공간 내에서의 시드 의존적 기저 모호성이 관찰된 불안정성 패턴을 재현할 수 있는지 확인합니다.
6. 특징 풀링(Feature Pooling): 재구성 품질을 희생하지 않고 안정성을 개선할 수 있는지 테스트하기 위해, 여러 독립적인 실행에서 고유한 특징들을 모으고 재현 확률이 가장 높은 것들을 선택하여 새로운 SAE를 구축합니다.

주요 결과

1. 기능적 비대칭성

안정적 특징과 불안정 특징 사이에는 뚜렷한 기능적 비대칭성이 존재합니다:

• 안정적 특징: 재구성 및 예측 관련 신호의 대부분을 담당합니다. 이들은 더 높은 활성화 빈도, 더 무거운 고차원 꼬리(high-magnitude tails), 그리고 더 높은 토큰 엔트로피(더 넓은 어휘적 및 개념적 패턴을 포괄)를 보입니다.
• 불안정 특징: 미미한 한계 영향을 가집니다. 다수의 불안정 특징을 마스킹해도 재구성 품질과 다음 토큰 손실의 저하는 미미한 반면, 적은 수의 안정적 특징을 마스킹하는 것만으로도 상당한 저하가 발생합니다. 이들은 저빈도의 표면 형태 트리거(예: 문장 부호, 특정 부분 문자열, 대문자 패턴 등)에 의해 지배되며, 낮은 토큰 엔트로피를 가집니다.

2. 기하학적 구조: 재현 가능한 부분 공간

개별 불안정 특징들은 시드 간에 재현되지 않지만, 순수한 노이즈는 아닙니다.

• 저차원 집중: 불안정 특징은 안정적 특징에 비해 더 낮은 차원의 부분 공간에 집중됩니다 (유효 랭크 감소 약 20–27%).
• 부분 공간 재현성: 특정 기저 벡터(개별 특징)는 시드에 따라 변하지만, 이들이 차지하는 부분 공간은 매우 재현 가능합니다. 한 시드의 불안정 특징을 구분하도록 훈련된 분류기는 다른 시드에도 효과적으로 전이되며, 한 시드의 상위 특이 부분 공간(singular subspaces)은 다른 시드의 부분 공간을 정확하게 근사합니다.
• 합성 확인: 합성 저차원 모델은 이 메커니즘을 확인해 줍니다. 저차원 지면 진실 특징들은 부분 공간 수준에서는 회복되지만, 공유된 영역 내에서의 기저 모호성으로 인해 시드 간에 개별 잠재 변수로서 정렬되는 데는 실패합니다.

3. 안정적인 SAE 구축

여러 독립적인 실행에서 고유한 특징들을 풀링하고 재현 확률이 가장 높은 것들을 선택함으로써, 저자들은 "시드 강건한(seed-robust)" SAE를 구축합니다.

• 이렇게 구축된 SAE는 짧은 튜닝 후 기준치에 근접한 설명된 분산(EV)을 회복합니다.
• 결정적으로, 이 접근 방식은 이러한 구축 환경에서 안정성과 재구성 품질이 반드시 트레이드오프 관계에 있지 않음을 보여줍니다. 즉, 높은 안정성은 높은 EV와 일치합니다.
• 이 풀링된 SAE들은 SAEBench 해석 가능성 지표에서 표준 TopK SAE와 경쟁할 만한 수준을 유지합니다.

4. 강건성 및 베이스라인

• 훈련 규모: 훈련 토큰 수를 늘리면 초기에는 불안정성이 감소하지만, 0이 아닌 평탄값(~8%의 불안정 특징)에 도달합니다. 이는 불안정성이 단순히 훈련 부족의 결과가 아님을 나타냅니다.
• 무작위 모델: 무작위로 초기화된 트랜스포머(데드-살몬 베이스라인)의 활성화에 대해 SAE를 훈련할 경우, 안정적 비율이 붕괴되고 불안정성이 지배하게 됩니다. 이는 훈련된 모델의 안정적 특징이 단순한 아티팩트가 아니라 실제 구조를 반영함을 확인시켜 줍니다.
• SAE 변체: 다양한 희소성 메커니즘(TopK, BatchTopK, JumpReLU, Vanilla)은 다양한 정도의 안정성을 보이지만, 안정적/불안정 특징의 이봉 분포(bimodal distribution)는 대부분의 변체에서 지속됩니다.

의의 및 주장

본 논문은 SAE의 불안정한 특징들이 단순히 실패하거나 노이즈가 섞인 잠재 변수가 아님을 주장합니다. 대신, 이들은 활성화 공간 내의 재현 가능한 저차원 구조를 반영하며, 표준 SAE는 시드에 따라 이를 다르게 해결합니다.

• 해석 가능성 함의: 불안정한 특징의 존재는 단일 SAE 딕셔너리가 중요한 교차 시드 구조를 가릴 수 있음을 시사합니다. 그러나 이 구조는 회복 가능합니다.
• 방법론적 기여: 여러 실행에서 고확률 특징을 풀링하는 것이 재구성 품질을 희생하지 않고 더 안정적인 SAE를 구축하는 실행 가능한 전략임을 제안합니다.
• 이론적 통찰: 본 연구는 시드 의존성이 흔히 공유된 활성화 영역 내에서 서로 다른 기저 선택을 반영하는 것이지, 공유된 구조의 부재를 의미하는 것이 아님을 명확히 합니다. 이 구분은 특징 수준의 해석 가능성의 한계와 재현 가능한 부분 공간 내에서 식별 가능한 개별 특징을 회복할 수 있는 가능성을 이해하는 데 매우 중요합니다.

저자들은 자신의 저차원 분석이 특정 메커니즘에 대한 증거를 제공할 뿐, 실제 대규모 언어 모델의 모든 불안정한 특징이 오직 이 메커니즘에 의해서만 생성된다는 것을 증명하는 것은 아니라고 언급하며 신중한 태도를 유지합니다. 또한, 안정성과 EV 사이의 트레이드오프가 없는 현상은 단일 SAE 훈련 목적 함수의 속성이 아니라, 특징 풀링 구축 방법에 국한된 특성임을 밝힙니다.