🤖 machine learning

Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data

이 논문은 대칭적인 데이터셋에서 표준 SAE의 식별 불가능성 문제를 해결하기 위해 데이터의 대칭성을 통합하는 등변 희소 오토인코더(Equivariant Sparse Autoencoders)를 소개하며, 이를 통해 재구성 품질이 더 낮더라도 더욱 유용하고 해석 가능한 특징들을 발견해 낸다.

원저자: Ege Erdogan, Ana Lucic

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ege Erdogan, Ana Lucic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 아주 똑똑한 로봇이 어떻게 생각하는지 이해하려고 노력한다고 상상해 보세요. 로봇에게 질문을 던질 수는 없기에, 대신 로봇이 작업하는 동안 그 뇌 속을 몰래 들여다봐야 합니다. 이 분야를 **기계적 해석 가능성(mechanistic interpretability)**이라고 부르며, 이는 마치 블랙박스의 비밀 코드를 밝혀내려는 탐정이 되는 것과 같습니다. 로봇의 뇌는 복잡한 패턴으로 불이 들어오는 수많은 작은 스위치(뉴런) 층들로 이루어져 있습니다. 문제는 이 패턴들이 매우 무질서하다는 점입니다. 종종 로봇은 하나의 스위치에 여러 가지 서로 다른 아이디어를 뒤섞어 놓는데, 연구자들은 이 현상을 "중첩(superposition)"이라고 부릅니다. 이는 마치 세 가지 서로 다른 이야기가 한 문장에 뒤범벅된 책을 읽는 것과 같습니다. 무언가 일어나고 있다는 것은 알겠지만, 정확히 무엇인지는 구별할 수 없는 상태인 것이죠.

이 혼란을 해결하기 위해 과학자들은 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 도구를 사용합니다. SAE를 아주 정리 정돈을 잘하는 사서라고 생각해 보세요. 이 사서의 임ка는 그 무질서하게 불이 켜진 스위치들을 가져와서, 명확하고 단일한 개념들의 깔끔한 목록으로 분류하는 것입니다. 만약 로봇이 고양이 사진을 보고 있다면, 사서는 특정 "고양이" 스위치를 찾아 그것을 켜고 나머지 모든 것은 끄려고 노력할 것입니다. 오랫동안 이 방식은 단어의 규칙이 글자를 읽는 방식과 상관없이 거의 동일한 텍스트 데이터에서는 효과적이었습니다. 하지만 데이터가 **대칭적(symmetric)**일 때는 어떻게 될까요? 현실 세계에서 많은 것들은 회전시키거나 뒤집어도 똑같이 보입니다. 고양이는 왼쪽을 향하든 오른쪽을 향하든 여전히 고양이입니다. 만약 당신의 사서가 이 규칙을 모른다면, 그들은 "왼쪽을 보는 고양이"와 "오른쪽을 보는 고양이"를 완전히 다르고 관련 없는 두 가지 것으로 착각하여 혼란에 빠질 수 있습니다. 이 논문은 바로 이 질문을 던집니다. "우리의 사서에게 이러한 대칭 규칙을 가르치면 어떤 일이 벌어질까?"

암스테르담 대학교의 에게 에르도안(Ege Erdogan)과 아나 루식(Ana Lucic) 연구진은 이 회전 및 뒤집기 규칙을 처리할 수 있도록 기존의 표준 사서 도구를 업그레이드하기로 했습니다. 그들은 이를 **등변 희소 오토인코더(Equivariant Sparse Autoencoder)**라고 부릅니다. 단순히 무질서한 빛들을 목록으로 분류하는 대신, 그들은 다음과 같은 원리를 이해하는 시스템을 구축했습니다. "헤이, 사진을 회전시킨다고 해서 '고양이'라는 개념이 사라지는 게 아니라, 단지 목록의 다른 위치로 이동할 뿐이야." 그들은 이 아이디어를 단순한 기하학적 도형 데이터셋인 토이 모델과 은하 및 혈구 세포의 실제 이미지에 적용하여 테스트했습니다.

여기서 놀라운 반전이 발견되었습니다: 대칭을 인식하는 새로운 사서들이 기존의 무질서한 사서들보다 원래 이미지를 완벽하게 재구성하는 능력은 오히려 더 떨어졌습니다. 만약 그들이 작성한 메모를 바탕으로 이미지를 얼마나 잘 다시 만들어내는지로 측정한다면, 기존의 도구들이 승리했습니다. 하지만 연구자들이 "어떤 메모가 로봇이 보고 있는 것을 이해하는 데 실제로 유용한가?"라는 다른 질문을 던졌을 때, 새로운 도구들이 압도적인 승자였습니다. 기존의 사서들은 이미지를 완벽하게 재구성하는 데는 탁월해 보이는 메모를 만들었지만, 실제 개념을 식별하는 데는 덜 유용했습니다. 반면, 새로운 사서들은 비록 그 메모들이 보기에는 조금 더 어수선할지라도, 로봇의 생각을 훨씬 더 진실되게 보여주었습니다.

이 논문은 대칭성이 있는 데이터(회전하는 물체와 같은)의 경우, 이 도구들을 판단하는 표준적인 방식인 "입력값의 재구성 성능"을 확인하는 것이 오해를 불러일으킬 수 있다고 제안합니다. 실제로 이미지를 재구성하는 능력이 뛰어날수록, 그 특징들이 근본적인 개념을 이해하는 데는 오히려 덜 유용할 수도 있다는 것입니다. 대칭 규칙을 도구 안에 직접 구축함으로써, 연구자들은 컴퓨터가 모양, 은하 유형, 세포 유형을 식별하는 데 훨씬 더 도움이 되는 특징들을 찾아냈습니다. 비록 최종적인 이미지 재구성이 완벽하지는 않았더라도 말입니다. 그들은 이것이 모든 AI를 위한 궁극적인 해결책이라고 증명한 것은 아니지만, 그들의 시뮬레이션과 실제 데이터 실험은 대칭을 무시하는 것이 AI를 이해하기 위한 우리의 도구를 덜 신뢰할 수 있게 만든다는 점을 강력하게 시사하며, "재구성 품질"만을 우리의 주요 성적표로 삼는 것을 멈춰야 한다고 말하고 있습니다.

기술 요약: 등변 희소 오토인코더 (Equivariant Sparse Autoencoders)

문제 정의

기계 학습 모델, 특히 과학적 도메인의 모델들은 데이터에 내재된 대칭성(예: 단백질 구조의 회전, 은하 이미지, 또는 세포 현미경 이미지)을 바탕으로 작동하는 경우가 많습니다. 희소 오토인코더(Sparse Autoencoders, SAE)는 밀집된 신경망 활성화(activations)를 희소한 해석 가능한 특징(features)으로 분해함으로써 기계론적 해석 가능성(mechanistic interpretability)을 위한 주요 도구로 부상했지만, 대칭 데이터에 적용할 때 결정적인 한계에 직면합니다: 바로 **식별 불가능성(unidentifiability)**입니다.

표준 SAE는 활성화가 특징들의 희소한 선형 결합이라는 선형 표현 가설(Linear Representation Hypothesis, LRH)을 가정합니다. 그러나 입력 데이터가 대칭성(군 작용 $G$ )을 가질 때, 일반적인 SAE는 동일한 의미적 개념에 대해 서로 다른 변환 하에서의 별개의 특징 방향을 학습해야 합니다(예: 모든 가능한 회전에 대한 "고양이" 특징 학습). 이는 다음과 같은 문제를 야기합니다:

특징 엉킴(Feature Entanglement): 모델이 이질적인 입력을 재구성하기 위해 비직교적이고 해석 불가능한 특징들을 학습할 수 있습니다.
식별 불가능성(Unidentifiability): 서로 다른 설명들이 데이터를 동일하게 잘 설명할 수 있지만, 그중 오직 하나만이 실제 기저 구조와 일치할 수 있습니다.
메트릭 불일치(Metric Misalignment): 재구성 품질(MSE)이 특징의 유용성과 상관관계를 갖지 못하는 경우가 발생합니다. 즉, SAE가 실제 근본 개념에 대응하지 않는 재구성 전용 특징들을 학습할 수 있습니다.

본 논문은 현재의 SAE가 이러한 대칭성을 고려하지 못하며, 이로 인해 대칭성이 빈번하게 나타나는 과학적 도메인에서 최적화되지 않은 해석력을 초래한다고 주장합니다.

방법론: 등변 SAE (Equivariant SAEs)

저자들은 군 대칭성을 명시적으로 고려하도록 LRH를 확장한 **등변 희소 오토인코더(Equivariant Sparse Autoencoders)**를 제안합니다.

1. 확장된 선형 표현 가설 (Extended Linear Representation Hypothesis)

저자들은 LRH를 재정의하여, 군 $G$ 가 입력 $X$ 에 작용할 때 신경망 활성화 $\psi(x)$ 가 예측 가능한 방식으로 변환된다고 명시합니다. 구체적으로, $x$ 가 $g \in G$ 에 의해 변환되면, 활성화는 선형 사상 $\rho(g)$ 를 통해 다음과 같이 변환됩니다:
$\psi(gx) = \rho(g) \sum_{i=1}^C z(x)_i D_i = \sum_{i=1}^C z(x)_i (\rho(g) D_i)$
여기서 특징 크기 $z(x)$ 는 불변하는 희소 계수이며, 특징 벡터 $D_i$ 는 군 작용에 따라 변환됩니다.

2. 아키텍처 설계

등변 SAE는 불변 특징(invariant features)의 학습과 변환 규칙의 학습을 분리합니다:

불변 SAE (Invariant SAE): 모든 궤도(orbit, 예: 이미지의 모든 회전 상태) 내의 활성화를 단일한 정준(canonical) 잠재 표현으로 매핑하도록 학습된 인코더-디코더 쌍입니다. 이는 불변 특징을 학습합니다.
선형 변환 모듈 (Linear Transformation Module): 정준 재구성이 원래의 입력 공간으로 어떻게 변환되는지를 모델링하는 별도의 학습 가능한 행렬( $M, R$ ) 세트입니다. 생성자 $g, h$ 를 가진 군에 대해, 모델은 다음을 만족하는 행렬을 학습합니다:
$M_p R_q D(E(\psi(g^p h^q x))) = \psi(g^p h^q x)$
이를 통해 SAE는 딕셔너리 자체가 등변(equivariant)될 필요 없이(이는 비현실적으로 많은 파라미터를 요구함), 대칭 구조를 포착할 수 있습니다.

3. 학습 전략

학습은 두 단계의 독립적인 과정(병렬화 가능)으로 진행됩니다:

불변 SAE 학습: 인코더와 디코더는 정준 입력으로부터 재구성 손실을 최소화하도록 최적화되며, 동시에 불변성을 강제합니다. 저자들은 세 가지 손실 목적 함수를 실험합니다:
- $L_{Canonical}$ : 임의의 궤도 구성원으로부터 정준 샘플을 재구성합니다.
- $L_{Latent}$ : 잠재 코드 상에서 직접 불변성을 강제합니다 ( $E(\psi(x)) \approx E(\psi(gx))$ ).
- $L_{Output}$ : SAE 출력 상에서 불변성을 강제합니다.
변환 학습: 행렬 $M$ 과 $R$ 은 예측된 변환 활성화와 실제 변환된 활성화 사이의 오차를 최소화하도록 최적화됩니다.

주요 기여

이론적 확장: 선형 표현 가설을 대칭 데이터로 확장하여, 특징 계수와 벡터가 군 작용 하에서 어떻게 행동하는지를 공식적으로 정의했습니다.
알고리즘 혁신: 불변 특징 학습과 변환 모델링을 분리함으로써, 군 등변 딕셔너리의 파라미터 폭발 문제를 피하는 등변 SAE 설계를 제시했습니다.
경험적 검증: 합성 및 실제 데이터셋(도형, 은하 이미지, 혈구 세포)을 통해, 등변 SAE가 기존의 Vanilla, Archetypal, Group Cross-coder 베이스라인보다 특징 회복 및 다운스트림 프로빙 작업에서 우수함을 입증했습니다.
메트릭 통찰: 대칭 환경에서 재구성 품질과 특징의 유용성 사이에 역상관관계가 존재함을 발견했습니다. 즉, 등변 SAE는 vanilla SAE보다 낮은 재구성 정확도(높은 MSE)를 보일 수 있지만, 더 해석 가능하고 유용한 특징을 생성합니다.

실험 결과

저자들은 다음 데이터셋을 통해 방법을 평가했습니다:

Toy Models: 알려진 정답 등변 특징을 가진 합성 데이터.
Shapes Dataset: MLP, CNN, ViT 베이스 모델을 사용한 $C_4$ (회전) 및 $D_4$ (회전+반전) 대칭성을 가진 합성 이미지.
GalaxyMNIST: $C_4/D_4$ 대칭성을 가진 실제 은하 이미지.
MLL23: DinoBloom 파운데이션 모델을 사용한 주변부 혈구 세포 이미지.

주요 결과:

특징 회복 (Feature Recovery): Toy 모델에서 등변 SAE는 간섭이 높은 과완전(overcomplete) 레짐에서도 베이스라인 대비 우수한 특징 회복(평균 코사인 유사도) 및 탐지(F1 점수) 성능을 보였습니다.
다운스트림 프로빙 (Downstream Probing): 모든 데이터셋에서 등변 SAE 잠재 변수로 학습된 프로브는 vanilla SAE로 학습된 프로브보다 입력 속성(예: 형태 존재 여부, 방향, 세포 유형) 분류에서 더 높은 정확도를 달성했습니다. 일부 사례(예: GalaxyMNIST)에서는 베이스 모델의 활성화로 직접 학습된 프로브의 성능과 일치했습니다.
재구성 vs 유용성 (Reconstruction vs. Utility): 등변 SAE가 vanilla SAE보다 높은 재구성 오차(나쁜 MSE)를 보이는 일관된 경향이 나타났습니다. 그러나 이 "나쁜" 재구성은 실제 의미적 구조와 더 잘 정렬되어 있으며 다운스트림 작업에 더 유용한 특징을 의미했습니다.
변환 모델링 (Transformation Modeling): 학습된 선형 행렬( $M, R$ )은 대부분의 모델에서 활성화 변환의 분산을 97% 이상 설명하였으며, 이는 입력 대칭성이 활성화 공간 내에서 선형 변환을 유도한다는 가설을 검증했습니다.

의의 및 주장

본 논문은 해석 가능성 방법론의 사전 지식(prior)을 데이터의 알려진 구조(특히 대칭성)와 일치시키는 것이 충실한 설명을 얻는 데 매우 중요하다는 점을 주장합니다. 저자들은 두 가지 주요 시사점을 강조합니다:

재구성은 곧 해석 가능성이 아니다: SAE를 평가할 때 재구성 메트릭(예: MSE)에만 의존하는 것은 위험합니다. 입력을 불완전하게 재구성하는 모델이라 할지라도 가장 유용하고 해석 가능한 특징을 발견할 수 있습니다.
도메인 특화된 해석 가능성: 생물학, 천문학 등 데이터의 대칭성이 근본적인 과학적 응용 분야에서 표준 SAE는 불충 sufficient하지 않습니다. 등변 SAE는 이러한 대칭성에 강건한 특징을 발견하는 경로를 제공하며, 이는 잠재적으로 새로운 과학적 통찰과 더 신뢰할 수 있는 AI 시스템으로 이어질 수 있습니다.

이 연구는 미래의 해석 가능성 연구가 식별 불가능성의 함정을 피하기 위해 일반적인 희소 코딩을 넘어 도메인 특화된 구조적 사전 지식을 통합해야 함을 시사합니다.