Do Sparse Autoencoders Capture Concept Manifolds?

"도 희소 오토인코더가 개념 다양체 (manifolds) 를 포착하는가?"에 대한 상세한 기술 요약입니다.

1. 문제 제기

희소 오토인코더 (SAE) 는 대규모 언어 모델 (LLM) 에서 해석 가능한 특징을 추출하는 표준 도구입니다. SAE 의 작동은 추상적 개념이 활성화 공간에서 독립적인 선형 방향 (광선) 에 해당한다는 **선형 표현 가설 (LRH)**에 의존합니다.

그러나 최근 증거들은 많은 개념 (예: 시간, 온도, 색상, 정치적 편향) 이 선형이 아니라 저차원의 곡선 다양체를 따라 조직화되어 있음을 시사합니다. 이 논문은 다음과 같은 중요한 격차를 다룹니다:

• 불일치: SAE 는 선형 방향을 찾도록 설계되었지만, 개념의 기저 기하학은 종종 비선형적이고 연속적입니다.
• 핵심 질문: SAE 는 이러한 다양체를 포착하는가? 만약 그렇다면 어떻게 포착하는가? 그리고 만약 포착한다면, 개별 특징을 조사할 때 다양체 구조가 왜 종종 보이지 않는가?

2. 방법론

저자들은 이론적 프레임워크를 개발하고, 합성 벤치마크와 Llama 3.1-8B 에 대한 실증 분석을 통해 이를 검증했습니다.

A. 이론적 프레임워크: 다양체의 가법적 혼합

저자들은 표현이 다양체의 가법적 중첩 ($x = \sum f_i(m_i)$) 이라는 모델을 공식화했습니다. SAE 가 다양체를 표현할 수 있는 세 가지 뚜렷한 체제를 정의했습니다:

1. 부분공간 포착 (이상적): 소수의 고정된 원자 (atoms) 그룹이 전체 다양체를 span 합니다. 다양체의 모든 점에 대해 동일한 원자들이 활성화되며, 그 계수는 연속적으로 변합니다.
2. 타일링 (파편화): 다양체가 불연속적인 영역으로 분할됩니다. 서로 다른 영역에 대해 서로 다른 원자들이 활성화되며 (상호 배타적), 이는 국소화된 검출기처럼 작동합니다.
3. 타일링 (희석): 다양체가 대규모의 중복된 원자 집합으로 덮입니다. 동일한 영역에 대해 여러 원자가 활성화되지만, 전체 다양체를 span 하는 단일한 콤팩트한 그룹은 존재하지 않습니다. 이는 "혼합 선택성 (mixed selectivity)"을 초래합니다.

B. 합성 검증

저자들은 고차원 공간에 임베딩된 48 개의 합성 다양체 (원, 구, 토러스, 뫼비우스 띠, 나선 등) 를 포함한 통제된 벤치마크를 구축했습니다. 다양한 희소성 예산 ($k$) 으로 SAE 를 훈련시켜 어떤 체제가 나타나는지 관찰했습니다.

• 지표: 소수의 원자 집합이 특정 다양체를 얼마나 잘 재구성하는지 측정하기 위해 제한된 $R^2$ 점수를 도입했습니다.
• 발견: SAE 는 거의 "부분공간 포착"을 달성하지 못했습니다. 대신, 많은 중복된 원자가 다양체를 타일링하는 희석 체제에 자주 진입했습니다.

C. 이징 모델을 통한 비지도 발견

분산된 SAE 특징에서 숨겨진 다양체 구조를 복원하기 위해, 저자들은 이진화된 특징 활성화에 **쌍대 이징 모델 (pairwise Ising model)**을 사용할 것을 제안했습니다.

• 논리: 기하학적 유사성 (디코더 방향) 을 보는 대신, 동시 활성화 통계를 분석합니다.
• 메커니즘: 동일한 다양체를 타일링하는 원자들은 강한 통계적 의존성을 나타냅니다 (동시 활성화 시 양의 결합, 또는 상호 배타적/파편화 시 음의 결합).
• 알고리즘: 이진 코드에 이징 모델을 적합시켜 결합 행렬 $J$를 추출합니다. $|J|$에 대한 커뮤니티 탐지 (community detection) 는 다양체를 집단적으로 표현하는 원자 그룹을 드러냅니다.

D. LLM 에 대한 실증 분석

이 프레임워크는 Llama 3.1-8B(19 층) 에 적용되었으며, 다섯 가지 다른 SAE 아키텍처 (Standard, JumpReLU, TopK, BatchTopK, Matryoshka) 가 사용되었습니다.

• 테스트된 다양체: 나이, 온도, 요일, 색상, 정치적 편향과 같은 연속적 개념들.
• 스티어링 실험: 저자들은 이러한 다양체의 중심점 사이를 스티어링할 때 토큰 확률에서 매끄럽고 예측 가능한 변화가 발생함을 확인하여, 다양체가 인과적으로 관련이 있음을 입증했습니다.

3. 주요 결과

A. SAE 는 "희석" 체제에서 작동한다

"부분공간 포착"이라는 이상과 달리, 실증 결과는 현재 SAE 가 다양체를 span 하는 콤팩트한 원자 그룹을 할당하지 않는 것으로 나타났습니다.

• 파편화: 다양체는 크고 부분적으로 중복된 특징 집합으로 표현됩니다.
• 조각별 선형 근사: 개별 SAE 특징은 다양체의 작은 패치를 덮는 국소화된 검출기 (튜닝 곡선) 로 작용합니다. 이러한 패치들의 합집합이 매끄러운 기하학을 근사하지만, 단일 특징이 전체 구조를 포착하지는 않습니다.
• 희소성 최적점: "포착"이 가능한 특정 희소성 수준이 존재하지만, 표준 SAE 훈련은 아키텍처 제약과 최적화 역학으로 인해 종종 "희석" 또는 "파편화"로 default 됩니다.

B. 특징 튜닝 곡선

특징 활성화에 대한 분석은 (장소 세포와 같은) 생물학적 집단 코딩을 연상시키는 "튜닝 곡선"을 드러냈습니다.

• "연도" 다양체의 경우, 특징들은 주기적으로 활성화됩니다 (예: "일" 자리 숫자의 경우 10 년마다) 또는 특정 10 년대를 커버합니다.
• 단일 특징이 전체 개념을 인코딩하지는 않습니다. 개념은 그룹의 **집단 코드 (population code)**에 의해 인코딩됩니다.

C. 비지도 발견의 성공

이징 기반 파이프라인은 알려진 다양체 (온도, 색상, 요일) 를 성공적으로 복원하고, 감독 없이 새로운 다양체 (예: 과학 텍스트의 인식론적 불확실성을 인코딩하는 다양체) 를 발견했습니다.

• 코사인 유사성보다 우월함: 다양체를 span 하는 원자들이 직교할 수 있기 때문에 디코더 코사인 유사성에 기반한 클러스터링은 다양체를 복원하지 못했습니다. 이징 결합 (조건부 독립) 은 기능적 그룹을 성공적으로 식별했습니다.

4. 주요 기여

1. 다양체 포착의 공식화: SAE 가 다양체를 포착한다는 것이 무엇을 의미하는지 수학적으로 정의하고, 부분공간 포착(전역적) 과 타일링(국소적/파편화/희석) 을 구분했습니다.
2. "희석" 체제의 식별: 현재 SAE 는 일관된 부분공간이 아니라 파편화되고 중복된 원자 집합을 통해 다양체를 표현함을 입증했습니다. 이는 개별 특징이 종종 "혼합"되어 보이거나 명확한 의미론적 의미를 결여하는 이유를 설명합니다.
3. 이징 기반 발견 방법: 방향 기반 해석의 한계를 극복하기 위해, 특징을 일관된 다양체로 그룹화하는 사후 비지도 방법으로 이징 모델을 제안하고 검증했습니다.
4. 해석 가능성의 재정의: 해석 가능성의 단위가 개별 방향에서 **기하학적 객체 (다양체)**로 전환되어야 한다고 주장했습니다.

5. 중요성과 함의

• SAE 불안정성 설명: 이 논문은 학습된 사전이 실행마다 불안정한 이유를 설명합니다. 개념이 다양체라면, 동일한 기하학을 표현하는 여러 유효한 "타일링"(기저) 이 존재합니다. 서로 다른 초기화는 서로 다르지만 동등하게 유효한 분해로 이어집니다.
• 스티어링 한계: 개별 특징을 통한 스티어링이 종종 취약한 이유를 설명합니다. 단일 특징에 개입하면 다양체를 따라 매끄럽게 이동하는 대신 표현을 다양체에서 벗어나게 만듭니다.
• 미래 방향:
  • 특징화 (Featurization): 미래 SAE 아키텍처는 방향뿐만 아니라 기하학적 객체를 원시적 요소로 취급해야 합니다.
  • 분석: 해석 가능성 도구는 고립된 원자가 아닌 **특징 그룹 (부분공간)**을 분석해야 합니다.
  • 대안: 새로운 아키텍처가 개발될 때까지, 기존 SAE 에서 의미 있는 개념 구조를 복원하는 가장 신뢰할 수 있는 방법은 이징 기반 사후 분석입니다.

요약하자면, 이 논문은 SAE 가 신경 표현의 기하학을 성공적으로 보존하지만, 파편화되고 희석된 방식으로 그렇게 한다고 주장합니다. 이러한 모델을 진정으로 이해하기 위해서는 연구자들이 "선형 표현 가설"을 넘어, 개념을 특징 군집으로 타일링된 저차원 다양체로 취급하는 기하학적 관점을 채택해야 합니다.