기술적 요약: 트랜스포머 표현의 인과 차원성

문제 제기

희소 오토인코더 (SAE) 는 트랜스포머 잔여 스트림을 해석 가능한 단의미적 특징 사전으로 분해하는 표준 도구가 되었습니다. 해당 분야에서 지배적인 가정은 표현 능력(어떤 입력에서 발화하는 특징의 수) 이 인과 능력(모델의 행동을 실제로 변화시키는 특징의 수) 에 비례하여 선형적으로 증가한다는 것입니다. 만약 이것이 사실이라면, 단순히 SAE 의 폭을 늘리는 것만으로도 기계적 해석 가능성을 위한 인과적으로 관련된 특징 집합이 비례적으로 확장될 것입니다.

본 논문은 이러한 가정에 도전하며, SAE 가 확장됨에 따라 표현 능력과 인과 능력이 현저히 갈라진다고 주장합니다. 저자들은 SAE 폭과 인과적 영향력 사이의 관계를 체계적으로 규명하는 것이 부족하다고 보며, 트랜스포머 레이어의 고유한 인과 구조를 정량화하기 위한 새로운 척도가 필요하다고 역설합니다.

방법론

1. 인과 차원성 ($\kappa$) 의 정의

저자들은 레이어 $L$에서의 기대 자코비안 외적의 유효 랭크로 정의되는 인과 차원성을 도입했습니다. 이는 $\kappa(L, M, T)$로 표기됩니다:
$$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{where } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$$
여기서 $J_L(x)$는 레이어 $L$의 잔여 스트림에 대한 모델 출력의 자코비안입니다. $\kappa$는 출력에 인과적으로 영향을 미치는 잔여 스트림의 유효 방향 수를 나타냅니다. 저자들은 $\kappa \le \min(d, |V|)$임을 증명했는데, 여기서 $d$는 모델 차원이고 $|V|$는 어휘 크기입니다.

2. SAE 폭 스윕 및 어트리뷰션 패칭을 통한 추정

$\Sigma_L$을 정확하게 계산하는 것은 비실용적입니다 (입력당 $d$번의 역전파 필요). 따라서 저자들은 **어트리뷰션 패칭 (AtP)**과 SAE 폭 스윕을 결합한 일관된 추정기를 제안합니다:

• 어트리뷰션 패칭: 인과적 영향력에 대한 1 차 근사치로 사용됩니다. 특징 $i$에 대한 점수는 $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$이며, 이는 손실에 대한 특징의 영향을 측정합니다.
• 폭 스윕: 저자들은 16,384 에서 1,048,576 개의 특징까지 7 가지 폭으로 Gemma-2-2B(레이어 12) 에 SAE 를 학습시켰습니다.
• 척도: 기준 폭에서의 AtP 점수 98 백분위수로 설정된 보정된 절대 임계값 $\epsilon$을 초과하는 특징의 수 $N_{causal}(m)$을 계산합니다.
• 일관성: 포괄성, 충실도, 죽은 특징이 없다는 가정 하에, $N_{causal}(m)$은 $\kappa$에 대한 하한인 스펙트럼 카운트로 수렴합니다.

3. 실험적 통제

연구는 인과 신호를 분리하기 위해 엄격한 통제를 적용했습니다:

• 매칭된-$\ell_0$: 희소성 변화로 인한 교란을 방지하기 위해 폭 전반에 걸친 활성 특징의 평균 수를 통제합니다.
• 규모 불변성: 매칭된 상대적 깊이에서 Gemma-2-2B 와 Gemma-2-9B 를 비교합니다.
• 아키텍처 불변성: TopK, JumpReLU, 표준 ReLU SAE 를 테스트합니다.
• 어블레이션: 특징 선택과 희소성 필터링을 구분하기 위한 4 셀 인코더/디코더 어블레이션을 수행합니다.
• 합성 기준 진실: 토이 모델에서 알려진 인과 방향의 복원을 테스트합니다.

주요 결과

1. 표현 - 인과 쐐기

Gemma-2-2B 레이어 12 에서 SAE 폭을 64 배(16k 에서 1M 로) 증가시켰을 때:

• 표현적 성장: 발화하는 특징의 수 ($N_{repr}$) 는 15.6 배 증가했습니다.
• 인과적 성장: 인과적으로 활성인 특징의 수 ($N_{causal}$) 는 불과 4.35 배 증가했습니다.
  이러한 갈라짐을 표현 - 인과 쐐기라고 부르며, 이는 표현 능력이 선형적으로 성장하는 반면 인과 능력은 아선형적으로 포화됨을 보여줍니다.

2. $\kappa$의 추정

$N_{causal}(m)$ 궤적에 포화 곡선을 적합시켜 추정된 인과 차원성을 도출했습니다:

• $\hat{\kappa} \approx 1,990$(SAE 폭에 대한 하드웨어 제한으로 인해 신뢰 구간이 넓지만, 비율은 견고함).
• $\hat{\kappa} / d_{model} \approx 0.86$: 모델은 일반 텍스트에서 거의 모든 표현 차원을 인과적으로 활용하지만, 이 숫자는 유한하며 SAE 폭이 증가해도 성장하지 않습니다.
• 참여 비율: 하한 $\kappa_{PR} \approx 280$은 인과 영향력의 두꺼운 꼬리 분포를 나타냅니다.

3. 불변성과 구조

• 규모 불변성: 파라미터 수가 3.46 배 증가했음에도 (Gemma-2-2B 대 9B), 매칭된 상대적 깊이에서의 인과 수는 동일하게 유지되었습니다 ($N_{causal} = 328$). 이는 $\kappa$가 파라미터 수에 의해 결정되는 것이 아니라 작업 다양성에 의해 결정됨을 시사합니다.
• 깊이 감쇠: 8 개 레이어를 걸쳐 상위 2% 특징을 식별하는 데 필요한 절대 어트리뷰션 임계값은 레이어 1 에서 레이어 23 으로 갈 때 20 배 감소하여, 인과 신호 강도가 깊이에 따라 감쇠함을 나타냅니다.
• 아키텍처 불변성: $N_{causal}$의 아선형 성장은 TopK, JumpReLU, 표준 ReLU 아키텍처 전반에 걸쳐 유지되었습니다.

4. 기계적 통찰: 필터로서의 인코더

4 셀 어블레이션에서 중요한 발견은 학습된 인코더를 무작위 직교 투영으로 대체했을 때 $N_{causal}$이 9.27 배 팽창했다는 것입니다.

• 시사점: 학습된 인코더는 특징 선택기라기보다 주로 희소성 필터(배경 특징 억제) 로 작용합니다.
• 결과: 인코더 특징 레이블에 초점을 맞춘 해석 가능성 연구는 오도될 수 있습니다. 억제된 특징의 디코더 구조와 라우팅이 더 중요할 가능성이 높습니다.

5. 검증 및 통제

• 기하학적 특권: 디코더 공간에서 인과적 특징은 비인과적 특징과 기하학적 차이 (크기 또는 코사인 유사도) 를 보이지 않았습니다.
• 합성 복원: AtP 는 토이 모델에서 기준 진실 인과 방향을 복원하지 못했습니다 (Recall = 0). 이는 AtP 가 인과 기저의 직접적인 복원이 아니라 디코더를 통해 라우팅된 활성화 패턴을 측정함을 확인시켜 줍니다.
• 작업별 복원: 특정 작업 회로 (Marks et al., 2025) 에서 상위 5% AtP 특징은 기준 진실의 98.2% 를 복원하여, 작업 전반에 걸쳐 공유되는 고-AtP 코어와 이를 둘러싼 작업별 헤일로가 있는 "계층적 구조"를 지지했습니다.

중요성과 주장

본 논문은 $\kappa$를 트랜스포머 레이어의 측정 가능하고 모델 내재적인 속성으로 확립합니다. 주요 기여점은 다음과 같습니다:

1. 이론적 정의: 인과 차원성을 인과 자코비안의 유효 랭크로 정의하고 그 상한을 증명합니다.
2. 경험적 규명: 인과 능력이 SAE 폭에 의해 아선형적으로 복원되며 모델 확장에도 불변임을 보여, 더 넓은 SAE 가 인과적 해석 가능성을 선형적으로 확장한다는 가정을 반박합니다.
3. 기계적 재구성: 학습된 인코더를 희소성 필터로 규명하여, "인과 집합"이 특정 개념의 선택이 아니라 인코더의 잡음 억제에 의해 정의됨을 시사합니다.
4. 실용적 함의: 현재 SAE 폭 (예: 1M) 은 추정된 인과 차원 ($\hat{\kappa}$) 의 약 72% 만 포착하며, 완전한 인과 열거를 위해서는 현재 계산적으로 불가능한 훨씬 더 넓은 SAE(약 2.6M) 가 필요함을 의미합니다.

저자들은 "쐐기"가 인과 부분 공간 차원의 포화에 기인한 트랜스포머 표현의 근본적 속성이며, 해석 가능성 노력은 이러한 비선형적 스케일링과 배경 특징을 필터링하는 인코더의 특정 역할을 고려해야 한다고 결론지었습니다.