기술 요약: 크기는 중요하지 않다: 코사인 점수 기반 희소 오토인코더 (Cosine-Scored Sparse Autoencoders)

1. 문제 정의

희소 오토인코더(Sparse Autoencoders, SAEs)는 모델의 활성화 값을 인간이 해석 가능한 특징(feature)의 사전(dictionary)으로 분해하도록 설계된 기계론적 해석 가능성(mechanistic interpretability)의 표준 도구입니다. 표준 SAE는 내적(inner product) 점수인 $\langle w_i, x \rangle$를 통해 특징을 탐지하는데, 이는 입력 $x$의 방향적 정렬(directional alignment)과 입력의 크기 $\|x\|$ 모두에 따라 스케일링됩니다.

이러한 점수 산출 기하학은 현대 트랜스포머 아키텍처(특히 RMSNorm을 사용하는 전처리 서브레이어 정규화 모델)와 근본적으로 불일치합니다. 이러한 모델에서 서브레이어는 정규화된 활성화 $x/\|x\|$를 읽어 들여 계산 전 단계에서 크기 정보를 사실상 폐기합니다. 그러나 잔차 연결(residual stream)에 연결된 SAE 인코더는 여약 전체 크기를 관찰합니다. 결과적으로, 내적 점수는 내용의 정렬(content alignment)과 토큰 노름(token norm)을 혼동하게 됩니다.

BatchTopK 선택(표준적인 희소성 메커니즘) 하에서, 이러한 불일치는 병리적인 선택 압력을 생성합니다. 즉, 높은 노름을 가진 토큰은 방향적 정렬과 상관없이 모든 특징에 대한 사전 활성화(pre-activation)를 팽창시킵니다. 이 토크들은 사전 슬롯을 과도하게 점유하며, 이로 인해 SAE는 '내용 탐지기'가 아닌 '노름 탐지기'(토큰의 크기에 따라 반응하는 특징)를 학습하게 됩니다. 이는 딕셔너리를 모델이 실제로 무시하는 양을 인코딩하는 특징들로 가득 채우게 되어, 희소 프로빙(sparse probing), 특징 제어(feature steering), 회로 분석(circuit analysis)의 신뢰성을 저해합니다.

2. 방법론

저자들은 표준 내적 인코더 점수를 **학습된 지수 코사인 점수(learned-exponent cosine score)**로 대체할 것을 제안합니다. 새로운 사전 활성화 $s_i(x)$는 다음과 같이 정의됩니다:

$$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$$

여기서:

• $x_c = x - b_{dec}$는 디코더 바이어스에 대해 중심화된 입력입니다.
• $w_i$는 단위 정규화된 인코더 행입니다.
• $a$는 입력 크기에 대한 의존성을 조절하는 학습 가능한 지수입니다.
• $b$는 학습 가능한 스케일 파라미터입니다.
• 항 $e^b \|x_c\|^a$는 순수 코사인 유사도($a=0$)와 내적($a=1$) 사이를 보간합니다.

본 논문은 두 가지 파라미터 체제를 조사합니다:

1. 글로벌 $a$ (Global $a$): 모든 특징이 공유하는 단일 스칼라 지수.
2. 특징별 $a_i$ (Per-feature $a_i$): 각 특징이 자신만의 지수를 학습하여 노름 의존성의 이질성을 허용하는 확장형 ($a_i = a_{base} + \delta_i$).

주요 설계 선택 사항:

• 단위 정규화 (Unit Normalization): $a=0$일 때 점수가 진정한 코사인 유사성이 되도록 하기 위해, 매 순전파마다 인코더 행을 단위 정규화합니다.
• 초기화 (Initialization): $a$는 0(순수 코사인)으로, $b$는 $\log \sqrt{d_{model}}$로 초기화합니다.
• 안정성 (Stability): 약간 더 높은 초기 그래디언트를 가진 특징이 지수를 키워 높은 노름의 토큰을 독점하는 '승자 독식(winner-take-all)' 캐스케이드를 방지하기 위해, 특징별 변형은 base+delta 파라미터화를 사용합니다 ($a_i = a_{base} + \delta_i$). 이는 개별 오프셋을 허용하면서도 글로벌 스케일을 고정합니다.

3. 주요 기여

아키텍처

본 논문은 표준 인코더의 직접적인 대체제로서 코사인 점수 기반 SAE를 도입하여, 크기가 특징 탐지에 유용한 신호라는 기본 가정을 제거합니다. 최적화 도구가 노름 의존성 지수인 $a$를 학습할 수 있게 함으로써, 크기가 정말로 유용하다면 내적을 복구할 수 있지만, 기본적으로는 방향만을 고려한 점수 산출을 수행합니다.

실험 결과

Qwen3-8B (Layer 18, 500M tokens) 및 Gemma-2-2B에 대한 실험은 코사인 점수 기반 SAE가 다음을 달성함을 보여줍니다:

• 일치하는 재구성 (Matched Reconstruction): 분산 설명 비율(FVE) 및 모델 행동 보존(KL/CE 점수) 측면에서 표준 SAE와 통계적으로 구별할 수 없는 수준을 유지합니다.
• 유의미한 해석 가능성 향상: 재구성 성능이 일치하는 조건에서, 특징별 코사인 변형은 8개의 SAEBench 데이터셋 전체에서 희소 프로빙 top-1 정확도를 +14.9% 향상시켰습니다.
• 특징 발견 (Feature Discovery): 이러한 향상은 공유된 특징을 더 잘 인코딩해서가 아니라, 새로운 해석 가능한 특징을 발견했기 때문입니다. 표준 SAE는 딕셔너리 슬롯이 노름 탐지기에 의해 점유되어 이러한 특징들을 학습하는 데 실패합니다.
• 학습된 기하학 (Learned Geometry): 학습 과정에서 지수 $a$는 지속적으로 0을 향해 수렴합니다. 글로벌 체제에서는 $a \approx 0.26$, 특징별 체제에서는 평균 $a_i \approx 0.08$을 기록했습니다. 어떤 특징도 내적 한계($a=1$)에 도달하지 못했으며, 이는 방향이 크기보다 유용한 신호임을 확인시켜 줍니다.

메커니즘 식별

본 논문은 표준 SAE의 실패 원인이 **노름 팽창 하에서의 순전파 TopK 선택(forward-pass TopK selection under norm inflation)**임을 밝혀냈습니다.

• 그래디언트 재가중치(Gradient Reweighting)의 실패: 표준 SAE에서 노름 사분위수 간의 그래디梯度 크기를 균등화하려는 시도(손실 재가중치를 통한 방식)는 성능 격차를 1.9~6.8%밖에 줄이지 못했습니다. 이는 문제가 역전파 그래디언트 흐름이 아니라 선택 기하학(어떤 특징이 TopK 경쟁에서 승리하는가)에 있음을 확인해 줍니다.
• 노름 조건부 특징 (Norm-Conditioned Features): 표준 SAE는 높은 노름 토큰에 압도적으로 반응하는 특징들에 대부분의 용량을 할당합니다(상위 사분위수 활성화의 86%). 이 특징들은 내용이 아닌 크기를 인코딩합니다.
• 재구성 병리 현상 (Reconstruction Pathology): 높은 노름을 가진 토큰에 대해, 표준 SAE는 입력 노름보다 9.5배 큰 출력 노름을 재구성하는 반면, 코사인 SAE는 1:1 비율을 유지하여 모델의 실제 출력과 일치합니다.

4. 의의 및 주장

본 논문은 정규화된 표현에 대한 딕셔너리 학습 시 코사인 점수 사용을 기본값으로 설정해야 한다고 주장합니다. 식별된 실패 모드(내적 SAE가 내용 특징 대신 노름 탐지기를 체계적으로 과다 계상하는 현상)는 post-RMSNorm 위치에서 훈련된 모든 SAE에 영향을 미칠 가능성이 높습니다.

• 실질적 영향: 제안된 변경 사항은 매우 적은 파라미터(하나 또는 두 개의 스칼라 파라미터 추가)를 사용하는 최소한의 아키텍처 수정이지만, 재구성 비용 없이 더 해석 가능한 딕셔너리를 제공합니다.
• 범위 및 한계:
  • 이 장점은 RMSNorm 환경에서 가장 두드러집니다. LayerNorm 모델(예: Pythia, Falcon)의 경우, 깊은 층에서 이 이점이 감소하거나 사라지는데, 이는 LayerNorm의 평균 차감이 내적 점수가 활용할 수 있는 크기 상관 구조를 보존하기 때문임을 시사합니다.
  • 감성(Sentiment) 분석은 표준 SAE가 코사인 변형보다 우수한 유일한 작업으로, 이는 크기가 감성 분석에서 작업 관련 신호를 운반한다는 가설과 일치합니다.
  • 결과는 레이어와 모델 전반에 걸쳐 견고하지만 보편적이지는 않습니다. 이득의 크기는 모델 차원과 깊이에 따라 달라집니다.

저자들은 "크기는 중요하지 않다"는 원칙이 유효하다고 결론짓습니다. 정규화된 표현에 있어서 활성화의 크기는 특징 탐지를 위한 노이즈이며, 의미 있고 인간이 인식 가능한 개념을 복구하기 위해서는 인코더 점수의 기하학이 이를 반영해야 합니다.