From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness

기술 요약: 기하학적 회복에서 인과적 검증으로

문제 정의
기계론적 해석 가능성(mechanistic interpretability) 분야는 중첩된 신경 표현을 해석 가능한 특징으로 분해하기 위해 희소 오토인코더(Sparse Autoencoders, SAEs)에 크게 의존하고 있습니다. 현재의 평가 관행은 주로 상관관계 기반의 회복 지표, 즉 정답(또는 프로브된) 특징 방향과 가장 잘 일치하는 디코더 원자(decoder atom) 사이의 부호 없는 코사인 유사도를 사용합니다. 본 논문은 결정적인 평가 격차를 식별합니다: 높은 코사인 유사도는 디코더 기하학적 정렬(원자가 특징을 얼마나 잘 재구성하는가)을 측정하지만, 인코더 활성화 동작(특징이 존재할 때 실제로 해당 원자가 발화하는가)을 보장하지는 않습니다. 저자들은 이 둘이 서로 다른 경험적 주장이며, 기하학적으로는 완벽할지라도 인과적으로는 무력한(inert) 특징이 존재할 수 있다고 주장합니다.

방법론
저자들은 정답을 완전히 통제할 수 있는 작은 합성 토이 모델을 사용하여 완전하게 통제된 감사를 수행합니다. 방법론은 세 단계로 진행됩니다:

1. 위상도(Phase Diagram) 재현: Elhage 등(2022)의 중첩 위상도와 Gao 등(2024)의 TopK 대 L1 비교를 재현합니다. 여기에는 다양한 희소도 및 과완전성(overcompleteness) 비율을 가진 합성 입력에 대해 SAE를 훈련하는 과정이 포함됩니다.
2. 인과적 검증 배터리: 표준 상관관계 회복 기준(코사인 $\ge$ 0.90)을 통과하는 모든 특징에 대해, 저자들은 실제 모델의 출력 단계로 전파되는 두 가지 개입을 적용합니다:
   • 절제(Ablation): 특징이 존재할 때 매칭된 원자의 코드 엔트리를 0으로 만들어, 특징의 재구성된 출력(Read-direction)이 감소하는 정도를 측정합니다.
   • 스티어링(Steering): 특징이 부재할 때 매칭된 원자를 올바른 부호를 가진 고정된 값으로 강제하여, 특징의 출력이 상승하는 정도(Write-direction)를 측정합니다.
3. 도구 개발: 저자들은 이 방법론을 sae-causal-audit라는 모델 불가지론적 도구로 패키징합니다. 이 도구는 엄격한 프로토콜 타이핑(encode, decode, dictionary 노출 요구)을 강제하며, 재현성을 보장하기 위해 결정론적이고 해시 검증된 재현 파이프라인을 구현합니다.

주요 기여 및 결과

• 위상도 아티팩트 및 새로운 영역:

  • 높은 희소도에서 훈련 부족이 중첩 현상으로 오인되는 **수렴 아티팩트(convergence artifact)**를 식별하였으며, 이를 스텝 예산(step budgets) 조정을 통해 해결했습니다.
  • 극단적인 과완전성(비율 8, 희소도 0.99)에서 발생하는, 이전에 충분히 설명되지 않았던 **확산 공유 영역(diffuse sharing regime)**을 발견했습니다. 이 영역에서 특징은 실질적으로 표현되지만($\|W_i\|_2 \approx 1.40$), 대칭적인 다방향 중첩으로 인해 낮은 특징 차원($D_i \approx 0.08$)을 보입니다.

• L1 대 TopK 및 수축(Shrinkage):

  • TopK SAE가 L1 SAE보다 파레토 우위에 있음을 재현했습니다.
  • L1 수축에 대한 직접적인 정량적 증거를 제공했습니다: L1으로 선택된 원자들의 크기를 미세 조정(서포트 고정)했을 때 재구성 격차의 91.2%를 회복했으며 평균 크기를 22.5% 증가시킨 반면, TopK는 크기 변화가 미미했습니다. 이는 L1 페널티가 활성화 강도를 0을 향해 체계적으로 편향시킨다는 것을 확인시켜 줍니다.

• 인과적 무력함(Causal Inertness):

  • 주요 발견: 상관관계적 회복이 인과적 효능을 의미하지는 않습니다. 성능이 저하된 TopK SAE의 경우, 코사인 $\ge$ 0.90 기준을 통과한 특징의 **77%**가 인과적으로 무력했습니다(매칭된 원자가 전혀 발화하지 않음). 잘 훈련된 SAE에서도 코사인 $\approx$ 1.000인 매치들을 포함하여 **9%**의 매칭된 특징이 무력했습니다.
  • 메커니즘: 무력함은 디코더 기하학(재구성에 사용됨)이 특징 방향과 완벽하게 일치할 수 있지만, 인코더의 선택 비선형성(TopK/ReLU)이 해당 원자를 결코 선택하지 않기 때문에 발생합니다.

• 인과적 무력함의 분류학:
  저자들은 무력함을 원인과 방향에 따라 분류합니다:

  • 원인별:
    • 구조적 무력함(Structural Inertness): 양의 통과(positive-pass) 인코더 하에서 두 특징이 하나의 방향을 반대 부호로 공유하는 안티포달 쌍(antipodal-pair) 중첩 기하학에 의해 발생합니다. 이는 양호한 SAE와 좋지 않은 SAE 모두에서 나타나며, 안정적이고 예측 가능합니다.
    • 경쟁적 무력함(Competitive Inertness): 디코딩 딕셔너리에서 원자가 간신히 경쟁에서 밀려나는 저하된 딕셔너리의 TopK 선택 병리 현상에 의해 발생합니다. 이는 불안정하며 수치적 경계 민감도와 연결됩니다.
  • 방향별:
    • Read-Inertness: 원자가 발화하지 않아 절제 기반 모니터링이 불가능해지는 현상입니다.
    • Write-Inertness: 원자를 통한 개입이 특징을 변화시키지 못하는 현상입니다.
    • 해리(Dissociation): 저자들은 Read-inert하지만 Write-steerable한 다섯 가지 안티포달 쌍을 발견했습니다. 즉, 어떤 원자는 (발화하지 않아) 모니터링이 불가능하지만, 강제할 경우 매우 높은 스티어링 능력(specificity 143–310)을 가질 수 있습니다.

• 재현성을 클레임의 스택으로 보기:
  본 논문은 컴파일러 및 BLAS 차이로 인해 부동 소수점 훈련 워크로드에 대한 바이트 단위의 교차 플랫폼 재현성이 구성상 불가능함을 문서화합니다. 저자들은 두 단계의 보증을 제안합니다: 고정된 환경 내에서의 SHA-256 바이트 단위 정확성과 플랫폼 간의 의미론적 동일성(허용 오차 기반)입니다.

• 실제 모델 센서스(Real-Model Census):
  생산용 SAE(GPT-2-small, 83개 개념)에 이 도구를 적용한 결과, 질적인 패턴이 재현되었습니다: 회복된 특징의 14%가 인과적으로 무력했습니다. 결정적으로, 이 감사는 **원자 충돌(atom collisions)**을 드러냈습니다. 단 하나의 디코더 원자가 독립적인 배치 전반에 걸쳐 수십 개의 서로 다른 의미론적 개념에 대한 가장 가까운 매치로 기능했는데, 이는 실제 모델에서 딕셔너리가 과소 분할(under-splitting)되어 있음을 시사합니다.

의의 및 주장
본 논문은 분야의 상관관계 지표 의존성이 "기하학적으로는 그럴듯하지만 인과적으로는 오도하는" 솔루션 공간을 만든다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 검증의 재정의: 특징이 단순히 기하학적 정렬뿐만 아니라 인과적 개입 테스트(절제 및 스티어링)를 통과해야만 "회복"된 것으로 간다고 규정합니다.
2. 도구화: sae-causal-audit를 제공하여 "완벽한" 코사인 매치가 인과적으로는 무용할 수 있음을 탐지하도록 합니다.
3. 구조적 통찰: 안티포달 중첩이 고품질 SAE에서도 지속되는 체계적인 실패 모드(구조적 무력함)를 생성하며, 이에 따라 부호 인식 매칭과 방향별 검증(read vs. write)이 필요함을 입증합니다.
4. 재현성 표준: 재현성이 단순한 이진적 "완전 재현" 배지가 아니라, 명시적 범위를 가진 클레임의 스택으로 기술되어야 한다고 주장합니다.

저자들은 절대적인 수치에 대해서는 겸손한 태도를 유지하며, 토이 설정은 "쉬운 사례"에 대한 캘리브레이션 포인트이며 실제 모델의 비율이 직접적으로 전이되지는 않지만, 상관관계와 인과관계 사이의 질적인 괴리는 견고하다고 언급합니다.