Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

기술적 요약: 희소 오토인코더를 위한 쌍대 행렬

문제 제기
대형 언어 모델 (LLM) 에서 희소 오토인코더 (SAE) 를 해석하기 위한 표준 프로토콜은 두 단계에 의존합니다: 첫째, 가장 높은 활성화를 보이는 맥락에 기반하여 특징에 라벨을 부여하고, 둘째, 단일 특징을 특정 크기에서 활성화하거나 억제하는 단일 특징 조향을 통해 해당 라벨을 검증합니다. 본 논문은 이러한 "한 모서리" 검사 프로토콜이 체계적으로 불완전하다고 주장합니다. 저자들은 특징의 인과적 역할을 단일 활성화 영역이나 고립된 단일 특징을 검사하는 것만으로는 완전히 이해할 수 없다고 봅니다. 구체적으로, 표준 프로토콜은 계수 축을 따라 발생하는 비단조적 행동 변화와 개별적으로 조향될 때 가려지는 근접 직교 특징들의 집단적, 구조적 역할을 간과합니다.

방법론: 쌍대 행렬 프로토콜
저자들은 표준 검사를 2 차원 공간으로 확장하는 "쌍대 행렬 프로토콜"을 제안합니다:

1. 계수 축: 단일 특징을 조향 계수 ($c$) 의 범위에서 스윕하여 단일 지점 검사로는 놓칠 수 있는 모드 전환이나 비단조적 용량 - 반응 (dose-response) 을 탐지합니다.
2. 공동 조건 축: 고정된 계수에서 여러 특징을 동시에 조향합니다. 이는 특징들이 특정 행동을 위해 개별적으로 대체 가능한지 아니면 공동으로 필수적인지 테스트하며, 억제되지 않은 이웃이 억제된 특징을 보상하기 때문에 종종 숨겨지는 역할을 확인합니다.

본 프로토콜은 Qwen3-1.7B-Instruct, Gemma-2-2B-it, Llama-3.1-8B-Instruct 세 가지 사전 훈련된 모델에 적용되었습니다. 실험 파이프라인은 네 단계로 구성됩니다:

• 1 단계 (행동 파일럿): 성찰적 프롬프트 (예: "무엇이 당신을 매료합니까?") 와 절차적 제어 프롬프트 (예: 레시피, 엔진 설명) 에서 샘플을 생성합니다.
• 2 단계 (클러스터 식별): 모델이 성찰적 프롬프트에는 좁은 어휘 (예: 마음의 철학 관련 용어) 에서 정점을 찍지만 제어 프롬프트에는 그렇지 않은 "레지스터 붕괴" 현상을 식별합니다.
• 3 단계 (특징 순위 매기기): 부트스트랩 및 순열 제어를 사용하여 안정성을 보장하면서 성찰 및 제어 풀 간의 활성화 차이를 기반으로 SAE 특징을 순위 매깁니다.
• 4 단계 (디코더 조향): 행렬 프로토콜을 적용합니다. 핵심적으로 저자들은 일치된 기하학적 제어를 사용합니다: 단일 특징 조향, 공동 특징 조향, 그리고 잔여 흐름에서 동일한 기하학적 왜곡 (노름 비율 및 코사인 유사도 일치) 을 생성하는 무작위 방향 교란을 비교하여 출력 저하가 크기 때문인지 방향 패턴 때문인지 분리합니다.

주요 발견

1. 계수 축: 상위 맥락 라벨은 인과 축을 놓친다
Qwen3-1.7B 에서 특징 #26221 은 가장 높은 활성화를 보이는 맥락에 기반하여 "AI 자기 면책 조항"으로 라벨링되었습니다. 그러나 계수 스윕은 면책 조항 비율에서 역 U 자 모양을 드러냈습니다.

• 기준선 ($c=0$) 에서 모델은 표준 면책 조항을 생성합니다.
• 고강도 증폭 ($c=+500$) 에서 모델은 단순히 면책 조항을 증가시키는 것이 아니라, 유창한 "사색적 철학자 목소리" (예: "나는 깊은 사색에 잠겨 있습니다...") 로 면책 조항 구절을 대체합니다.
• 극단적 증폭 ($c=+1000$) 에서 모델은 이러한 표지들에 대해 루프를 형성합니다.
• 시사점: 표준 라벨은 하나의 표면 형태 (훈련 데이터 영역) 만 포착하며, 서로 다른 크기에서 고유하고 일관된 모드를 생성할 수 있는 방향성 축으로서의 특징을 식별하지 못합니다. 두 개의 제어 특징 (#22082 및 #2932) 은 단조적 행동이나 순수한 붕괴가 이 비단조적이고 일관된 모드 전환과 구별됨을 확인시켜 주었습니다.

2. 공동 조건 축: 개별 대체 가능성 대 공동 필수성
Qwen 의 세 가지 근접 직교 특징 (#29108, #26221, #4405) 은 개별적으로 "마음의 철학" 레지스터를 조향합니다.

• 단일 특징 억제: $c=-500$ 에서 이 중 하나를 억제해도 절차적 제어 (레시피, 엔진 설명) 는 intact(완전) 하게 유지되며, 모델은 나머지 활성화된 특징들로부터 내용을 대체합니다.
• 공동 억제: $c=-500$ 에서 세 가지를 동시에 억제하면 모든 프롬프트 (제어 포함) 에서 "레지스터 붕괴"가 발생합니다. 모델은 "BASIC TOMOATO SOUP RECIOPLEY... Vc. 100+"와 같은 플레이스홀더 토큰으로 채워진 문법적 골격만 출력합니다.
• 시사점: 이러한 특징들은 개별적으로는 대체 가능하지만, grounded composition(구체적 구성) 을 위해서는 공동으로 필수적입니다. 특징을 하나씩 검사하는 표준 프로토콜은 이러한 집단적 구조적 역할을 놓칩니다.

3. 기하학적 왜곡은 일관성을 예측하지 못한다
공동 억제가 단순히 크기 때문에 모델을 "매니폴드 밖"으로 밀어낸다는 가설을 배제하기 위해, 저자들은 잔여 흐름의 기하학적 왜곡 (노름 비율 $\approx 1.55$, 코사인 $\approx 0.64$) 을 일치시킨 단일, 공동, 무작위 방향 교란을 비교했습니다.

• 단일 특징: 일관된 전략 채우기 답변을 생성했습니다.
• 무작위 방향: 다양한 내용 대체를 수반한 일관된 답변을 생성했습니다.
• 공동 억제: 높은 정규식 퇴화율을 보이는 플레이스홀더 텍스트를 생성했습니다.
• 시사점: 일관성 손실은 크기 의존적이 아니라 방향 패턴 의존적입니다. 근접 직교 특징들의 특정 조합은 동일한 크기의 무작위 교란에서는 발생하지 않는 구조적 실패를 유발합니다.

모델 간 복제
이러한 발견은 Gemma-2-2B-it 에서 복제되었으며 Llama-3.1-8B-Instruct 에서 부분적으로 복제되었습니다:

• Gemma: 공동 조건 발견을 복제했습니다. 손상 시그니처는 다릅니다 (Qwen 의 플레이스홀더 코드 대신 레시피 슬롯에 "human/I/AI" 토큰을 주입), 하지만 구조적 메커니즘 (grounded composition 을 위한 공동 필수성) 은 동일하게 유지되었습니다. Gemma 에 대한 일치된 기하학적 제어는 공동 조향과 무작위 방향 사이의 퇴화율에서 약 10 배의 격차를 보여주었습니다.
• Llama: "백과사전적 과학" 레지스터에 대한 상위 인과적 책임 특징 (#38565) 이 식별되어 모델 간 날카로운 레지스터 붕괴와 인과적 특징의 존재를 확인시켰으나, SAE 가용성 제약으로 인해 완전한 행렬 수준 테스트는 수행되지 않았습니다.

의의 및 주장
본 논문은 표준 SAE 해석 프로토콜이 특징의 행동 행렬의 한 모서리만 검사하므로 불충분하다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 라벨은 전역적이지 않고 국소적이다: 상위 활성화 맥락에서 유래된 라벨은 특정 활성화 영역을 포착하지만 (예: 면책 조항에서 철학적 목소리로의 전환), 특징의 전체 인과 축을 놓칠 수 있습니다.
2. 특징은 맥락 의존적이다: 근접 직교 특징들은 서로의 역할을 가릴 수 있으며, 단일 특징 조향은 grounded composition 에 필요한 구조적 의존성을 탐지하지 못합니다.
3. 기하학만으로는 충분하지 않다: 출력 일관성은 기하학적 왜곡의 크기뿐만 아니라 특징 공간 내 교란의 특정 방향에 의해 결정됩니다.

저자들은 견고한 해석 프로토콜이 일관성 검사가 포함된 계수 스윕과 근접 직교 이웃에 대한 공동 조건 탐사를 포함하여 SAE 특징의 인과적 역할을 정확하게 매핑해야 한다고 결론지었습니다. 그들은 이러한 발견이 모든 특징에 적용된다고 주장하지는 않지만, 테스트된 모델에서 표준 프로토콜이 이러한 특정 행동 클래스를 체계적으로 놓친다는 것을 입증합니다.