기술 요약: 희소 오토인코더(Sparse Autoencoders)는 개념과 기능을 모두 인코딩한다: 특징 효과의 다운스트림 기하학

1. 문제 정의

기계론적 해석 가능성(mechanistic interpretability)을 위한 희소 오토인코더(SAE)의 광범한 채택은 현재 SAE 특징(feature)과 모델 행동 사이의 일관되지 않은 연결로 인해 제한되고 있다. 특징들은 종종 명확한 활성화 설명(예: "Paris" 또는 "복사하기")을 갖지만, 그들의 인과적 효과는 빈번하게 불안정하다. 선행 연구들은 스티어링(steering) 효과가 프롬프트에 따라 달라지거나, 의도한 방향과 반대로 작용하거나, 강한 활성화에도 불구하고 원하는 출력 변화를 생성하지 못할 수 있음을 입증했다.

기존의 해석 가능성 워크플로우는 특징을 개념과 연관시키기 위해 활성화 증거(고활성화 사례, 자동화된 설명, 디코더 판독값)에 의존한다. 그러나 활성화만으로는 인과적 기여를 확립할 수 없다. 변화의 기하학(geometry of changes), 즉 특징 개입으로 인한 로짓(logit) 변화의 양상에 대한 이해에는 결정적인 격차가 존재한다. 구체적으로, 특정 특징의 다운스트림 효과가 안정적이고 재사용 가능한 방향("스티어링 벡터")인지, 아니면 복잡하고 문맥 의존적인 기하학적 구조를 보이는지는 여전히 불분명하다. 본 논문은 다음 질문을 다룬다: 특징이 서로 다른 문맥에서 개입될 때, 그 특징의 다운스트림 효과는 얼마나 유사한가?

2. 방법론

2.1 특징-효과 기하학 분석 (FEGA)

저자들은 특징 제거(feature ablation)로 인한 다운스트림 로짓 변화의 기하학을 측정하고 분류하기 위해 설계된 비지도 학습 기반의 오프라인 프레임워크인 **특징-효과 기하학 분석(FEGA)**을 도입한다.

개입 프로토콜:

1. 재구성 상대적 베이스라인(Reconstruction-Relative Baseline): SAE 재구성 오차로부터 특정 특징 $j$의 효과를 격리하기 위해, 이 방법은 두 경로를 비교한다:
   • 베이스라인: SAE 재구성 $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$.
   • 개입: 특징 $j$를 제로화한 재구성: $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$.
2. 다운스트림 전파: 두 경로 모두 동결된 모델 테일(subsequent layers)을 통해 최종 로짓 판독 $\phi(\cdot)$까지 전파된다.
3. 효과 클라우드(Effect Cloud): 유효한 문맥 집합 $C$에 대해 로짓 차이 $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$를 계산한다. 이러한 차이들의 집합이 특징-효과 클라우드 $E_j$를 형성한다.

기하학적 진단:
FEGA는 정규화된 방향 벡터 $v^{(i)}_j$를 기반으로 한 일련의 진단 도구를 사용하여 로짓 공간 내 $E_j$의 형태를 분석한다:

• 방향성 광선 집중도 ($C_{ray}$): 모든 효과가 동일한 부호의 방향을 가리키는지 테스트한다.
• 축 또는 대립 구조 ($B_{axis}$): 효과가 단일 축에 정렬되어 있지만 양(+)과 음(-)의 부호로 나뉘는지(예: $u$와 $-u$) 테스트한다.
• 방향성 혼합(Directional Mixture): von Mises-Fisher 혼합 모델을 사용하여 여러 개의 뚜렷하고 응집된 방향 모드를 감지한다.
• 전역 스팬 스펙트럼(Global Span Spectrum): 커널 행렬에 대한 PCA를 사용하여 효과가 저차원 부분 공간(예: 2D 또는 3D) 내에 존재하는지 결정한다.
• 중심 잔차 스펙트럼(Centered Residual Spectrum): 평균 방향 주변의 변동을 분석하여 저차원 편차를 감지한다.

이 프레임워크는 진단 결과에 따라 주요 기하학 레이블(예: "Directed Ray", "Axis", "Diffuse")과 보조 플래그(예: 크기 이질성)를 할당한다.

2.2 실험 설정

• 모델: Gemma-2-2B.
• SAE 변형: ReLU, TopK, 그리고 Matryoshka Batch TopK (너비 $\approx$ 65k)를 레이어-12 이후 잔차 스트림(residual stream)에 적용함.
• 태스크 스펙트럼:
  • 가치 유사형 (사실적): RAVEL (도시-국가 속성 분리). 여기서 특징은 정적인 정보(예: "Paris는 프랑스에 있다")를 나타낸다.
  • 포인터 유사형 (운영적): Literal Sequence Copying (LSC), Word Content (WC), PrOntoQA (규칙 준수), Token Translation (TT). 이러한 태스크는 고정된 토큰 의미 없이 문맥 의존적인 연산(복사, 바인딩, 규칙 적용)을 요구한다.
• 특징 격리:
  • 가치 유사형: 속성 제어를 위한 SAEBench의 차등 이진 마스킹(differential binary masking)을 통해 선택됨.
  • 포인터 유사형: ICL 태스크의 프롬프트 패밀리 전반에서 높은 활성화 빈도를 기준으로 선택된 후, 인과적 기여를 검증하기 위해 제거(ablation)됨.

3. 주요 결과

3.1 특징 효과는 드물게 단일 방향을 가진다

모든 SAE 변형과 태스크에 걸쳐, 다운스트림 특징 효과는 드물게 단일하고 문맥 불변적인 로짓 벡터로 수렴한다. 특징이 재사용 가능한 스티어링 방향으로 작용한다는 가설은 예외적인 경우이다. 대부분의 효과 클라우드는 높은 방향성 광선 집중도를 보이지 않는다.

3.2 가치 유사형 특징과 포인터 유사형 특징의 구분

본 논문은 서로 다른 기하학적 특성을 가진 두 가지 기능적 역할을 구분한다:

• 포인터 유사형 특징: 프롬프트 국소적 연산(복사, 규칙 준수)과 연관됨.
  • 재발(Recurrence): 소수의 압축된 특징 세트가 다양한 ICL 태스크(예: LSC, WC, PrOntoQA)에서 재발하며, 특히 TopK 및 Matryoshka Batch TopK 아키텍처에서 두드러진다.
  • 기하학: 이 특징들은 주로 확산된(diffuse) 효과를 보인다. 이들이 태스크 전반에 걸쳐 재발하더라도, 안정적인 로짓 방향으로 작용하지는 않는다. 이들의 효과는 출력 공간 전체로 흩어지는데, 이는 복사하거나 번역되는 대상(value)이 바뀜에 따라 타겟이 변하는 것과 일치한다.
  • 인과성: 이 선택된 세트들을 공동으로 제거(joint ablation)하면 상당한 정확도 저하가 발생하며, 이는 기하학적 방향의 안정성 결여에도 불구하고 이들의 인과적 역할을 확인시켜 준다.
• 가치 유사형 특징: 정적인 사실적 속성(예: RAVEL 도시-국가)과 연관됨.
  • 기하학: 이 특징들은 포인터 유사형 특징에 비해 더 구조화된 저차원 효과를 보인다.
  • 구조: 그러나 이러한 구조화된 효과조차도 단일 스티어링 벡터로 수렴하기보다는 일반적으로 여러 출력 방향을 포괄한다.

3.3 이질적인 특징 세트

포인터 유사형 태스크(ICL)와 가치 유사형 태스크(RAVEL)를 위해 식별된 특징 세트는 **서로 별개(disjoint)**이다. ICL 태스크에서 선택된 어떤 특징도 RAVEL 사실적 속성 세트에 나타나지 않으며, 이는 SAE 딕셔너리가 이러한 기능적 역할들을 분리하고 있음을 시사한다.

4. 기여 및 의의

주요 기여:
본 논문은 해석 가능성의 초점을 활성화 설명에서 개입 효과의 기하학으로 전환하는 FEGA 프레임워크를 도입한다. 이는 특징 효과가 어떻게 구성되는지(재사용 가능한 방향, 구조화된 저차원 공간, 혹은 확산된 클라우드)를 측정할 수 있는 계산 가능한 진단 도구를 제공한다.

의의:

• 스티어링 가설에 대한 도전: 결과는 명확한 설명과 인과적 효과를 가진 특징이 신뢰할 수 있는 단일 벡터 제어 변수로 기능할 수 있다는 일반적인 가정을 반박한다. 특징은 해석 가능하고 인과적으로 중요할 수 있지만, 안정적인 스티어링 방향을 제공하지 못할 수도 있다.
• 특징 역할의 정교화: "가치 유사형"(정적 정보)과 "포인터 유사형"(문맥 의존적 연산) 특징을 구분함으로써, 왜 스티어링 행동이 다양하게 나타나는지를 설명한다. 포인터 유사형 특징은 정적인 개념보다는 연산을 지원하므로, 자연스럽게 문맥 의존적인 확산된 효과를 생성한다.
• 방법론적 전환: 본 연구는 특징 수준의 해석 가능성이 세 가지 측면을 구분해야 한다고 주장한다: 무엇을 탐지하는가, 인과적으로 중요한가, 그리고 효과가 문맥에 따라 어떻게 변하는가. FEGA는 세 번째 측면을 평가하기 위해 필요한 "효과 측면의 감사(effect-side audit)"를 제공한다.

주장의 겸손함:
저자들은 로짓 공간에서의 방향 안정성이 "종종 제한적"이라는 점을 명시적으로 밝힌다. 이들은 SAE 특징이 스티어링에 무용하다고 주장하는 것이 아니라, 단일 재사용 스티어링 벡터를 기대하는 것이 종종 틀릴 수 있음을 지적한다. 본 논문은 새로운 스티어링 알고리즘을 제안하는 것이 아니라, 현재의 스티어링 접근 방식의 한계를 이해하기 위한 진단 도구를 제공하는 데 목적이 있다. 기하학적 레이블(예: "Diffuse", "Axis")은 근저에 깔린 신경 계산에 대한 기계론적 설명이라기보다 효과 클라우드의 기술적 요약으로 설명된다.