기술 요약: 이차형 자동인코더는 해석 가능한 다양체를 발견한다

문제 제기

현재 기계적 해석 가능성 연구는 신경망 내에서 해석 가능한 잠재 표현을 발견하기 위해 희소 자동인코더 (SAEs) 에 크게 의존하고 있습니다. 이러한 방법들은 선형 표현 가설 하에서 작동하며, 개념이 선형 방향을 따라 인코딩된다고 가정합니다. 그러나 최근 연구는 중요한 개념들이 종종 선형 방법들이 사후 분석 없이는 포착할 수 없는 복잡한 다차원 다양체 (예: 타원체, 쌍곡면) 를 spanning 한다고 지적합니다. 또한, 고립된 선형 잠재의 연구는 잠재의 의미가 공활성 (co-active) 특징에 따라 변하는 맥락 의존성을 설명하지 못하는 경우가 많습니다. 모델 용량을 늘리면 더 많은 구조를 포착할 수 있지만, 무제한적인 표현력은 해석 가능성을 무력화시키는 자명한 해법 (trivial solutions) 으로 이어지기 쉽습니다. 핵심적인 과제는 이러한 다양체를 포착할 만큼 비선형적이면서도, 폐쇄형 기하학적 분석과 구성적 이해를 가능하게 할 만큼 대수적으로 다루기 쉬운 표현 클래스를 찾는 것입니다.

방법론

본 논문은 이차형 자동인코더 (Bilinear Autoencoders) 를 제안하여 표준 희소 자동인코더 아키텍처를 확장하고 2 차 잠재 (quadratic latents) 를 학습합니다.

아키텍처

입력 벡터 $x$를 직접 재구성하는 대신, 이차형 자동인코더는 리프트된 곱공간 $X = xx^\top$을 재구성합니다.

• 인코더: 모델은 2 차 다항식을 계산하도록 적응된 게이트드 선형 유닛 (GLUs) 을 사용합니다. $i$번째 잠재의 활성화는 $z_i = x^\top W_i x$로 정의되며, 여기서 $W_i$는 2 차 형식을 나타내는 대칭 행렬입니다.
• 디코더: 재구성은 리프트된 공간에서 선형적으로 수행됩니다: $\hat{X} = W^\top W X$.
• 학습 효율성: $d \times d$ 행렬 $X$를 직접 물리화하는 것은 대규모 모델의 경우 계산적으로 불가능합니다. 저자들은 $X$를 명시적으로 구성하지 않고도 재구성 손실과 기울기를 계산하기 위해 커널 트릭을 사용합니다. 커널 행렬 $K = WW^\top$은 $K = C^\top (LL^\top \odot RR^\top) C$라는 분해를 통해 효율적으로 계산되며, 여기서 $L$과 $R$은 인코더 분해 행렬이고 $C$는 구성 행렬입니다.
• 희소성: 저자들은 척도 불변 희소성 패널티로 Hoyer 밀도를 도입합니다. 자명한 수축 (trivial shrinkage) 을 유발할 수 있는 표준 $L_1$ 패널티와 달리, Hoyer 밀도는 배치 전반에 걸친 상대적 두드러짐을 장려하여 잠재들이 특정 구조에 선택적으로 활성화되도록 하고 0 으로 붕괴되는 것을 방지합니다.

구조적 가설

본 논문은 사전 지식 (dictionary) 원자들의 기하학적 사전 지식을 정의하는 세 가지 중첩된 표현 가설을 공식화합니다:

1. 2 차 표현 가설: 사전은 대칭 행렬 $W_i$로 구성됩니다. 모델은 $xx^\top$을 이러한 행렬들의 희소 합으로 분해합니다. 이를 통해 2 차 곡면 기하학 (타원체, 쌍곡면, 포물면) 을 감지할 수 있습니다.
2. 원자적 표현 가설: 각 사전 원자가 랭크 1 행렬 ($W_i = w_i w_i^\top$) 이어야 한다는 제약입니다. 수용 영역은 두 개의 평행한 초평면으로 이루어진 대칭적인 "슬랩 (slab)"이며, 부호와 관계없이 한 방향을 따른 에너지를 감지합니다.
3. 복합 표현 가설: 사전 원자들은 랭크 1 행렬의 희소 혼합물 ($W_i = \sum C_{ij} w_j w_j^\top$) 입니다. 이를 통해 모델이 자동으로 저랭크 부분공간을 학습할 수 있습니다. 복합 원자는 양의 준정부호이면 타원체를, 부정부호이면 쌍곡면을 형성하여, 여러 선형 방향을 정의하는 데 필요한 개념들을 효과적으로 포착합니다.

주요 기여

1. 아키텍처: 저자들은 사전 학습을 위해 이차형 자동인코더를 적응시켜 커널 트릭을 통한 효율적인 학습을 가능하게 했습니다. 이는 가중치 공간에서 작동하며 순전파 없이 기하학적 분석을 허용하는 선형 SAE 의 자연스럽고 다루기 쉬운 확장입니다.
2. 프레임워크: 저자들은 사전 제약 조건을 특정 수용 영역 기하학 (슬랩, 타원체/쌍곡면, 임의의 2 차 곡면) 에 매핑하는 구조적 사전 지식 (원자적, 복합적, 2 차) 의 공식적 프레임워크를 제안합니다. 이는 개념이 선형 반공간이 아닌 2 차 곡면과의 근접성을 통해 감지될 수 있음을 보여줌으로써 표준 선형 가설에 도전합니다.
3. 실증적 검증:
   • 재구성: Qwen 3.5 (0.8B), Gemma-3 (1B), Llama-3.2 (1B) 에 대한 실험 결과, 복합 및 2 차 잠재들이 원자적 (랭크 1) 잠재와 선형 베이스라인보다 일관되게 낮은 재구성 오차 (NMSE) 를 달성했습니다.
   • 기하학의 보편성: 스펙트럼 분석에 따르면 많은 개념이 저랭크이지만, 상당한 "긴 꼬리 (long tail)"의 개념들은 정확하게 포착하기 위해 차원이 높은 기하학 (랭크 > 1) 을 필요로 합니다.
   • 안정성: 개별 사전 원자 (분해) 는 학습 실행 및 하이퍼파라미터에 따라 크게 변하지만, 자동인코더가 복원한 전역 입력 부분공간은 매우 안정적으로 유지됩니다 (>90% 유사도). 이는 특정 분해보다 근본적인 다양체 구조가 더 중요함을 시사합니다.
   • 정성적 분석: 대화형 시각화 도구는 이차형 자동인코더가 원뿔 (연도), 클러스터 (위치), 보간 (의미적 연결), 부분집합 ("for" 대 "for instance"와 같은 문맥적 구분) 등 다양한 기하학적 패턴을 포착함을 보여줍니다.

중요성과 주장

본 논문은 이차형 자동인코더가 비선형적이지만 수학적으로 다루기 쉬운 잠재 표현을 향한 중요한 진전이라고 주장합니다.

• 선형성을 넘어: 이 연구는 선형 표현 가설의 지배력을 도전하며, 중요한 개념들이 종종 선형 방법들이 놓치는 다차원 다양체에 존재함을 보여줍니다.
• 구성적 해석 가능성: 다항식을 사용함으로써 모델은 구성이 가중치 공간에서 발생하도록 보장합니다. 이는 해석 가능성을 고립된 기저에서 이해 가능한 구성적 구조로 이동시켜 특징 간의 명시적이고 계산 가능한 상호작용을 가능하게 합니다.
• 다양체 발견: 저자들은 이러한 모델을 다양체 발견을 위한 비지도 도구로 위치시킵니다. 기하학이 가중치 텐서 ($W_i$의 고유값과 고유벡터) 에서 직접 읽히기 때문에, 이러한 모델은 설계상 해석 가능한 표현 기하학에 대한 "렌즈"를 제공합니다.
• 소극적 범위: 저자들은 제시된 구조적 사전 지식들이 개념 증명 (proof-of-concept) 이라고 명시적으로 밝힙니다. 최적의 균형을 찾기 위해 가능한 모든 사전 지식을 검토했다고 주장하지 않으며, 인과적 제거 (causal ablation) 를 해결했다고 주장하지도 않습니다. 대신 이를 미래의 인과적 조향 (causal steering) 작업과 특정 모델이 선호하는 기하학적 사전 지식의 특성 규명을 위한 기초로 제시합니다.

본 논문은 선형 방법이 유용하지만, 진정한 구성적 이해를 달성하기 위해서는 신경망 활성화에 내재된 곡선형 고차원 기하학을 명시적으로 모델링할 수 있는 표현으로 분야가 나아가야 한다고 결론지었습니다.