🤖 machine learning

Kronecker Factorization Improves Efficiency and Interpretability of Sparse Autoencoders

이 논문은 잠재 공간을 헤드(heads)로 분해하고 미분 가능한 AND 형태의 상호작용을 채택하여 구성적 공동 활성화(compositional co-activation)를 강제함으로써, 성능 저하 없이 해석력을 높이고 특징 간 상관관계를 포착하며 계산 비용을 줄이는 희소 오토인코더 아키텍처인 KronSAE를 소개한다.

원저자: Vadim Kurochkin, Yaroslav Aksenov, Daniil Laptev, Daniil Gavrilov, Nikita Balagansky

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vadim Kurochkin, Yaroslav Aksenov, Daniil Laptev, Daniil Gavrilov, Nikita Balagansky

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 텍스트를 숫자의 흐름으로 변환함으로써 인간의 언어를 처리하는 방대하고 복잡한 시스템입니다. 활성화(activations)라고 알려진 이 숫자들은 모델의 내부 계층을 통해 흐르며, 단어의 의미와 문장의 논리를 전달합니다. 이러한 기계가 어떻게 생각하는지 이해하려는 연구자들에게 이 숨겨진 흐름은 블랙박스와 같습니다. 이를 열기 위해 과학자들은 희소 오토인코더(sparse autoencoder)라고 불리는 도구를 사용합니다. 이 도구를 텍스트를 밀도 높고 무질서한 숫자의 흐름을 받아들여 길고 명확한 개념의 목록으로 분해하는 번역기로 생각하십시오. 이상적으로는, 이 목록의 각 항목이 모델이 특정 개념을 마주할 때 활성화되는 "수학", "법률 계약", 또는 "파란색"과 같은 하나의 명확하고 단순한 아이디어를 나타내야 합니다. '분해(decomposition)'라고 불리는 이 과정은 연구자들이 기계 내부에서 돌아가는 개별적인 톱니바퀴를 볼 수 있게 해줍니다.

하지만 표준적인 번역기에는 한계가 있습니다. 그것들은 모든 개념을 독립적이고 평면적인 목록 항목으로 취급하며, 인간의 언어가 깊이 구조화되어 있다는 사실을 무시합니다. 단어와 아이디어는 종종 예측 가능한 패턴으로 함께 나타납니다. 예를 들어 "지리"라는 개념은 "지도"나 "방향"과 자주 공존합니다. 모델이 이러한 패턴을 학습할 때, 표준 도구는 그 관계를 포착하는 데 어려움을 겪으며, 종종 시스템이 그 연결을 암시적으로 학습하게 하거나, 더 나쁘게는 별개의 아이디어를 하나의 혼란스러운 특징으로 병합하게 만듭니다. 이는 결과적으로 생성된 개념 목록을 해석하기 어렵게 만들고 계산 효율성을 떨어뜨립니다.

T-Tech의 연구팀은 언어의 자연스러운 구조를 처음부터 존중하는 새로운 방식의 번역기인 KronSAE를 제안했습니다. 모든 개념을 별개의 평면적인 좌표로 취급하는 대신, 이 설계는 내부 사전을 그룹 단위로 조직합니다. 각 그룹 내에서 시스템은 두 개의 더 단순하고 기존에 존재하는 구성 요소를 결형하여 복잡한 특징을 구축합니다. 이는 마치 요리사가 기본 식재료와 특정 향신료를 조합하여 특정한 요리를 만드는 것과 같습니다. 요리는 기본 재료와 향신료가 모두 존재할 때만 완성됩니다. 이 새로운 구조에서는 두 가지 근원적인 "부모(parent)" 신호가 동시에 활성화될 때만 하나의 특징이 활성화됩니다. 이는 시스템이 실제 언어가 작동하는 방식과 유사하게, 단순한 부분들의 조합으로서 특징을 학습하도록 유도하는 내장된 규칙을 생성합니다.

연구진은 이 접근 방식을 Qwen2.5와 Gemma-2라는 두 가지 인기 있는 언어 모델에 대해 교육용 웹 페이지의 방대한 데이터셋을 사용하여 테스트했습니다. 그들은 이러한 구조적 접근 방식이 단순히 인간의 언어를 모방하는 것을 넘어, 모델의 내부 표현을 실제로 더 명확하게 만든다는 것을 발견했습니다. 새로운 시스템을 표준 방식과 비교했을 때, 연구진은 새로운 설계가 더 구체적이고 서로 혼동될 가능성이 낮은 특징들을 생성한다는 것을 발견했습니다. 표준 방식에서는 하나의 특징이 너무 많은 일을 수행하려고 하여 여러 관련 개념의 의미를 흡수하고 모호해지는 경우가 많습니다. 반면, 새로운 시스템은 특징이 특정 조합으로부터 구축되도록 강제함으로써 이러한 "흡수" 현상을 줄였습니다. 그 결과 생성된 특징들은 더 날카롭고 좁은 범위의 정밀한 아이디어를 설명하게 되었으며, 이는 연구자들이 이해하고 이름을 붙이기에 더 용이하게 만들었습니다.

명확성 외에도, 이 새로운 설계는 상당한 효율성 향상을 제공했습니다. 시스템이 단순한 것들을 결합하여 복잡한 특징을 구축하기 때문에, 모든 가능성을 처음부터부터 계산할 필요가 없습니다. 연구진은 원래의 데이터를 재구성하는 데 필요한 정확도를 유지하면서도 인코더를 실행하는 데 필요한 컴퓨팅 전력을 40% 이상 줄일 수 있다는 것을 발견했습니다. 이는 시스템이 훨씬 적은 자원을 사용하여 동일한 양의 정보를 학습할 수 있음을 의미합니다. 실험 결과, 이러한 막대한 계산 비용 감소에도 불구하고 성능 저하는 1% 미만이었으며, 이는 큰 속도 및 효율성 이득에 비해 무시할 수 있는 수준의 트레이드오프였습니다.

또한 이 연구는 시스템이 개념 간의 숨겨진 관계를 얼마나 잘 학습하는지 탐구했습니다. 특징 간의 관계가 사전에 알려진 합성 데이터(synthetic data)를 사용한 통제된 실험에서, 새로운 시스템은 표준 방식보다 이러한 패턴을 훨씬 더 잘 복구했습니다. 표준 방식은 관련 개념들을 흩뜨려 놓는 반면, 새로운 시스템은 내부 구조 안에 관련 개념들을 그룹화하는 법을 배웠습니다. 실제 세계의 데이터를 살펴볼 때, 연구진은 자연스럽게 텍-트 내에서 함께 나타나는 특징들이 새로운 시스템의 동일한 내부 그룹에 매핑되어 있음을 관찰했습니다. 이는 이 아키텍처가 아이디어가 실제로 어떻게 연결되는지를 반영하는 방식으로 모델의 지식을 조직함으로써, 언어의 통계적 규칙성을 성공적으로 포착했음을 시사합니다.

연구진은 또한 특징 자체의 성격에 대해서도 조사했습니다. 그들은 시스템 내의 더 단순한 "부모" 구성 요소들이 종종 여러 다른 아이디어를 표현할 수 있는 광범위하고 추상적인 성격을 띠고 있음을 발견했습니다. 그러나 이 부모들이 결합될 때, 결과물인 특징은 매우 구체적이 되었습니다. 예를 들어, "방향"과 관련된 광범위한 구성 요소가 "의학 용어"와 관련된 다른 요소와 결합하면 "의학적 방향"에 관한 특정한 특징이 만들어집니다. 이러한 계층적 구조를 통해 시스템은 모든 아이디어에 대해 고유하고 별도의 뉴런을 필요로 하지 않고도, 기본적인 구성 요소들을 재사용하여 방대한 양의 구체적인 개념을 구축할 수 있었습니다. 이러한 구성적 접근 방식은 특징을 더 해석 가능하게 만들었을 뿐만 아니라, 지식을 저장하고 검색하는 데 더 효율적인 방법을 제공했습니다.

궁극적으로, 이 연구는 우리가 이러한 해석 도구를 설계하는 방식이 처리하는 데이터만큼 중요하다는 것을 시사합니다. 개념이 결합하는 방식을 모방하는 단순한 구조적 편향(structural bias)을 도입함으로써, 연구진은 더 효율적이면서도 더 투명한 시스템을 만들었습니다. 이 결과는 우리가 모델이 훈련 중에 우연히 이러한 관계를 발견하도록 기다릴 필요 없이, 아키텍처 자체에 이를 구축할 수 있음을 보여줍니다. 이 접근 방식은 인공지능을 이해하는 새로운 경로를 제시하며, 기계의 마음을 들여-다보는 더 명확한 창을 제공하는 동시에 시스템을 더 빠르고 저렴하게 실행할 수 있게 합니다. 이 새로운 방법의 코드는 다른 이들이 사용하고 발전시킬 수 있도록 공개되어, 구조적 학습이 어떻게 복잡한 시스템에 대한 우리의 이해를 개선할 수 있는지에 대한 추가적인 탐구를 권장하고 있습니다.

기술 요약: KronSAE

문제 정의

희소 오토인코더(Sparse Autoencoders, SAEs)는 밀집된 언어 모델 활성화를 희소하고 해석 가능한 특징(feature)으로 분해하는 표준적인 도구입니다. 그러나 일반적인 SAE 아키텍처는 대개 잠재 딕셔너리(latent dictionary)를 독립적인 좌표들의 평면적인 집합(flat set)으로 취급합니다. 이러한 "평면적 잠재 공간(flat-latent)" 기본 방식은 계층 구조, 구성성(compositionality), 체계적 공동 활성화와 같이 자연어에 존재하는 고차원적 구조 관계를 명시적으로 인코딩하지 못합니다. 결과적으로, 이러한 관계들은 학습 과정 중에 암묵적으로 나타나거나 사후 분석을 통해 회복되어야만 합니다. 또한, 표준 인코더는 $F$ 개의 독립적인 잠재 변수로 직접 투영하기 위해 $O(Fd)$ 의 계산 비용이 발생하며, 이는 딕셔너리 크기가 커질수록 매우 비효경해집니다.

방법론: KronSAE

저자들은 잠재 공간에 계층적이고 구성적인 사전 확률(prior)을 도입하는 인코더 측 수정안인 KronSAE를 제안합니다. $F$ 개의 독립적인 특징으로 직접 투영하는 대신, KronSAE는 잠재 공간을 $h$ 개의 독립적인 "헤드(head)"로 인수분해합니다.

아키텍처

인수분해(Factorization): 각 헤드 $k$ 에 대해, 입력 활성화 $x \in \mathbb{R}^d$ 는 두 개의 저차원 "사전 잠재 변수(pre-latents)"로 투영됩니다:
- 기저 벡터(base vector) $p^k \in \mathbb{R}^m$ 는 $u^k = P^k x$ 를 통해 생성됩니다.
- 확장 벡터(extension vector) $q^k \in \mathbb{R}^n$ 는 $v^k = Q^k x$ 를 통해 생성됩니다.
- 여기서 $m, n \ll d$ 이며, 총 딕셔너리 크기는 $F = h \times m \times n$ 입니다.
구성적 상호작용 (mAND): 헤드를 위한 사후 잠재 특징(post-latent features)은 미분 가능한 상호작용 커널인 mAND를 사용하여 기저 및 확장 사전 잠재 변수의 쌍별 구성(pairwise composition)을 통해 형성됩니다:
$z^k_{i,j} = \text{mAND}(u^k_i, v^k_j) = \begin{cases} \sqrt{u^k_i v^k_j} & \text{if } u^k_i > 0 \text{ and } v^k_j > 0 \\ 0 & \text{otherwise} \end{cases}$
이 연산은 논리적 AND 연산을 근사하며, 두 부모 사전 잠재 변수가 모두 활성화될 때만 사후 잠재 변수가 활성화되도록 보장합니다. 결과물인 행렬 $z^k \in \mathbb{R}^{m \times n}$ 은 평탄화(flattened)되어 사후 잠재 벡터를 형성합니다.
희소성(Sparsity): 모든 헤드에서 나온 평탄화된 벡터들이 결합(concatenate)되며, 최종 희소 잠재 벡터 $f \in \mathbb{R}^F$ 를 생성하기 위해 표준 TopK 선택이 적용됩니다.

호환성 및 효율성

호환성: KronSAE는 TopK, Matryoshka (중첩 딕셔너리), Switch SAEs (Mixture-of-Experts), 그리고 JumpReLU와 같은 다양한 활성화 함수를 포함한 표준 SAE 목적 함수 및 변형들과 호환됩니다.
계산 이득: $F$ 개의 잠재 변수로의 밀집 투영을 $h(m+n)$ 개의 사전 잠재 변수로의 투영으로 대체함으로써, KronSAE는 인코더의 파라미터 수와 부동 소수점 연산량(FLOPs)을 줄입니다. 인코더 비용은 $O(d \cdot F)$ 가 아닌 $O(d \cdot h(m+n))$ 으로 스케일링됩니다.

주요 기여

인코더 계층 구조의 식별: 본 논문은 특징 조직에 내재된 구조적 귀납 편향(inductive bias)에 착안하여, SAE에서 인코더 측 계층 구조의 부재를 설계상의 누락된 축으로 식별했습니다.
KronSAE 설계: 재사용 가능한 사전 잠재 요인들로부터 사후 잠재 특징을 구축하는 mAND 상호작용을 갖춘 크로네커 인수분해(Kronecker-factorized) 인코더를 도입했습니다.
해석 가능성 개선: 실험적 증거를 통해 KronSAE가 "특징 흡수(feature absorption, 한 특징이 다른 특징의 엄격한 부분 집합이 되는 현상)"를 줄이고, 표준 TopK SAE보다 더 구체적이고 해석 가능한 잠재 변수를 생성함을 보여주었습니다.
재구성-연산 트레이드오프: KronSAE가 설명 분산(Explained Variance, EV)의 감소를 1% 미만으로 유지하면서 인코더 FLOPs를 40% 이상 줄일 수 있음을 입증했습니다.

실험 결과

저자들은 FineWeb-Edu 데이터셋을 사용하여 Qwen2.5-1.5B 및 Gemma-2-2B 모델의 잔차 스트림(residual streams)에 대해 SAE를 학습시켰습니다.

재구성 충실도(Reconstruction Fidelity): 동일한 토큰 예산(250M 토큰) 하에서, KronSAE는 다양한 딕셔너리 크기( $2^{14}$ ~ $2^{16}$ )와 레이어에 걸쳐 표준 TopK SAE와 대등한 설명 분산(EV)을 달성했습니다.
해석 가능성: 자동화된 파이프라인(탐지 및 퍼징 점수 사용)을 통해, KronSAE 변형(특히 $m \ge 2$ 인 경우)이 TopK 베이스라인보다 일관되게 우수한 성능을 보였습니다. 해당 특징들은 더 낮은 토큰 엔트로피와 더 낮은 멀티토큰 비율을 나타내며, 이는 더 높은 특이성(specificity)을 의미합니다.
상관관계 학습:
- 실제 데이터: 표준 TopK SAE에서 상관된 특징들은 대개 동일한 KronSAE 헤드 내의 특징들로 매핑되는 경 Tendency를 보였으며, 이는 아키텍처가 관련 개념들을 성공적으로 그룹화하고 있음을 시사합니다.
- 합성 데이터: 블록 구조의 공분산을 가진 통제된 장난감 실험(toy experiment)에서, KronSAE는 TopK SAE보다 훨씬 더 잘(더 높은 RV 계수) 실제 정답 상관 구조를 회복했습니다.
특징 흡수(Feature Absorption): KronSAE 설정은 베이스라인에 비해 평균 흡수 분율(mean absorption fractions)과 완전 흡수 점수(full-absorption scores)가 낮게 나타났으며, 이는 특징의 "포섭(subsumption)"이 감소했음을 나타냅니다.
효율성: 패레토 프런티어(Pareto frontier) 분석에서 확인된 바와 같이, 이 방법은 재구성 품질을 유지하면서 인코더 FLOPs를 40% 이상 절감합니다.

의의 및 주장

본 논문은 KronSAE가 희소성과 인수분해가 표현 학습(representation learning)에서 어떻게 함께 작-용할 수 있는지에 대한 새로운 관점을 제공한다고 주장합니다. 아키텍처적 공동 활성화 사전 확률(mAND 상호작용을 통한)을 부과함으로써, 모델은 재구성 충실도를 해치지 않으면서도 구조화된 특징 상호작용을 더 쉽게 학습할 수 있게 합니다.

저자들은 KronSAE가 다음과 같은 역할을 한다고 규정합니다:

해석 가능성 강화: 특징 흡수를 줄이고 더 구체적이며 단일 의미적(monosemantic)인 특징을 생성합니다.
효율성 개선: 인코더의 계산 비용을 획기적으로 줄여, 대규모 딕셔너리 SAE의 학습 및 실행을 더 용이하게 만듭니다.
언어 구조와의 정렬: 특징을 독립적인 평면 좌표로 취 treating 하는 대신, 언어의 구성적 성격(예: 어떤 개념이 기저 범주와 특정 수식어의 교집합인 것)을 명시적으로 모델링합니다.

저자들은 현재 평가가 중간 규모의 트랜스포머 모델로 제한되어 있다는 점과, 인수분해된 인코더를 구현하는 데 따르는 엔지니어링 오버헤드가 적지는 않다는 점 등 한계점을 언급했습니다. 또한, 장난감 모델이 귀납적 편향을 검증하긴 했으나, 실제 세계의 상관 구조는 다를 수 있음을 인정했습니다.