A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram

기술 요약: 희소 오토인코더(SAE) 위상도에서의 지배적인 확산 단계(Diffuse Phase)

문제 정의
희소 오토인코더(SAE)는 신경망 활성화로부터 해석 가능한 특징(feature)을 복구하기 위해 훈련되는 기계론적 해석 가능성(mechanistic interpretability)의 표준 도구이다. 알려진 실패 모드 중 하나는 "특징 흡수(feature absorption)"로, 이는 SAE가 개별 특징들을 분리하여 복구하는 대신 공존하는 특징들의 결합된 원자(joint atom)를 학습하는 현상이다. MAIS-O43 오픈 문제는 이를 SAE 훈련의 위상도를 매핑하기 위한 통제된 실험으로 공식화한다. 구체적으로, 이 문제는 다음 세 가지 하이퍼파라미터의 격자(grid)에 따라 복구(true dictionary 학습), 병합(중첩된 특징들에 대한 결합된 원자 학습), 그리고 분할(splitting)의 확률이 어떻게 변하는지 묻는다:

1. 중첩 비율 ($\gamma$): "자식" 특징이 "부모" 특징이 활성화될 때만 활성화되는 특징 쌍의 비율.
2. 희소성 패널티 ($\lambda$): 손실 함수에서 $\ell_1$ 패널티의 가중치.
3. 사전 크기 ($M$): 학습된 원자의 수.

프로토콜은 $n=64$의 주변 차원과 $m=256$의 참된 특징을 가진 합성 데이터 생성기를 규정한다. 이때 고정된 중첩 지원 구조(nested-support structure)를 사용한다. 목표는 훈련된 SAE가 희소 코딩 목적 함수의 전역 최소값(global minimizers)에 수렴하는지 결정하는 것이며, 이론적으로 이러한 최소값들은 특정 레지임에서 중첩된 특징들을 병합할 것으로 예측된다.

방법론
저자는 엄격하게 명시된 사항을 준수하여 MAIS-O43 프로토콜을 구현하였다:

• 데이터 생성: $m=256$개의 단위 노름(unit-norm) 열을 가진 고정된 사전 $\Phi$. 참된 활성화 $x$는 중첩 쌍 $(i, j)$가 $A_j = B_i B_j$를 만족하도록(자식이 부모가 활성화될 때만 활성화됨) 특정 주변 확률을 사용하여 생성된다.
• 모델: ReLU 인코더와 단위 노름 열을 가진 디코더를 사용하는 중심화된(centered) SAE. 목적 함수는 표준 평균 제곱 재구성 오차에 $\ell_1$ 희소성 패널티($G_\lambda$)를 더한 것이다.
• 훈련: Adam(학습률 $10^{-3}$)을 사용한 풀 배치(full-batch) 훈련을 $2 \times 10^5$ 업데이트 동안 수행하도록 규정한다. 저자는 각 격자 셀당 20개의 독립적으로 초기화된 모델을 훈련했다.
• 평가: 결과는 사전 등록된 정의에 따라 분류되었다:
  • 복구(Recovery): 모든 참된 특징이 코사인 유사도 $\ge 0.95$에서 학습된 원자와 정렬되는 단사 사상(injective mapping).
  • 병합(Merge): 살아있는 원자가 두 개의 서로 다른 특징의 선형 결합과 정렬되지만, 개별적으로는 임계값 이상으로 정렬되지 않는 경우.
  • 분할(Split): 여러 개의 원자가 하나의 참된 특징과 정렬되는 경우.
• 범위: 저자는 165개의 정규 격자 셀 중 10개를 측정하였다($\gamma=0.5$에서의 전체 $\lambda$-스윕 및 $\lambda=10^{-2}$에서의 $\gamma$-행 포함). 또한, 현상의 견고성을 테스트하기 위해 표준 미니배치 Adam을 사용한 3,300개의 적합(fits)을 포함하는 "컴패니언 격자(companion grid)"를 실행하였다.

주요 결과
200개의 정규 적합과 3,300개의 미니배치 적합 전반에 걸쳐, 저자는 일관되고 예상치 못한 동작을 관찰했다:

1. 제로 복구 및 제로 병합: 어떤 실행에서도 완전한 사전 복구(256개 특징 모두 정렬)를 달성하지 못했으며, 쌍별 병합 기준을 만족하는 살아있는 원자도 생성되지 않았다.
2. 확산 단계(The Diffuse Phase): 복구나 병합 대신, 모든 실행은 다음과 같은 특징을 가진 "확산 단계"로 수렴했다:
   • 완벽에 가까운 재구성: 손실값이 매우 낮았다 ($10^{-6}$ ~ $10^{-3}$).
   • 열악한 특징 정렬: 학습된 원자와 참된 특징 사이의 최적 코사인 유사도 중앙값은 0.47에서 0.73 사이였으며, 이는 0.95의 복구 임계값보다 훨씬 낮았다. 0.90 이상의 매칭되는 원자를 가진 특징의 비율은 극히 적었다 (중앙값 0.001 ~ 0.036).
   • 높은 코드 밀도: 학습된 코드는 실제(ground truth)보다 10~28배 더 조밀했다.
3. 하이퍼파라미터 민감도:
   • $\lambda$ (희소성): 정렬도는 중간 정도의 패널티($\lambda = 3 \times 10^{-3}$)에서 정점에 도달한 후 높은 패널티($\lambda = 10^{-2}$)에서 감소하였는데, 이는 알려진 $\ell_1$ 활성화 수축 효과와 일치한다.
   • $\gamma$ (중첩): 중첩 비율은 정렬이나 병합 발생에 거의 영향을 미치지 않았다. $\gamma=1.0$ (모든 특징이 중첩됨)에서도 병합은 발생하지 않았다.
   • $M$ (사전 크기): $M$을 256에서 512로 증가시키면 정렬도가 유의미하게 개선되었고(중앙값 코사인 0.57에서 0.71로 상승) 분할(splitting)이 나타났으나, 완전한 복구로 이어지지는 않았다.

견고성 체크

• 과소 훈련(Under-training): 훈련 예산을 두 배로 늘려도(400k 업데이트) 결과는 변하지 않았다. 즉, 확산 단계는 일시적인 상태가 아니라 안정적인 끌개(stable attractor)이다.
• 옵티마이저 의미론: 풀 배치 옵티마이저를 표준 미니배치 Adam(대부분의 SAE 적용 사례)으로 교체했을 때 64배 더 빠르게 동일한 확산 평면에 도달했다. 이는 이 현상이 풀 배치 프로토콜의 인위적 산물이 아님을 확인시켜 준다.

의의 및 주장
본 논문은 훈련된 SAE의 위상도가 정확한 희소 코딩 목적 함수의 이론적 최소값의 위상도와 근본적으로 다르다는 점을 입증한다고 주장한다.

• 이론적 vs 경험적: 이론은 중첩된 특징에 대해 전역 최소값이 병합할 것을 예측하지만, 이 레지임의 훈련된 SAE는 이러한 최소값에 도달하지 않는다. 대신 이들은 재구성은 완벽하지만 특징 복구는 미미한 확산 단계에 머문다.
• 해석 가능성에 대한 경고: 이 결과는 낮은 재구성 오차가 성공적인 특징 복구를 보장한다는 가정에 의문을 제기한다. SAE는 데이터를 완벽하게 재구성하면서도 실제 밑바닥의 특징들을 분리해내는 데 실패할 수 있다.
• 교정 대상: "확산 단계"는 SAE를 평가할 때 반드시 고려되어야 할 새로운, 재현 가능한 레지임으로 제안된다. 이는 정확한 코딩 최소값에 기반한 이론적 예측이 추가적인 정당화 없이 암토화(amortized)된 훈련된 SAE로 전이될 수 없음을 시사한다.

저자는 샘플링된 레지임 내에서, 바닐라 $\ell_1$ SAE 훈련이 실제 사전을 복구한다는 주장에 대한 입증 책임이 요구된다고 결론짓는다. 관찰된 동작은 병합되지 않고 복구되지 않는 안정적인 확산 상태이기 때문이다.