기술 요약: C2R (Cross-sample Consistency Regularization)

1. 문제 정의

희소 오토인코더(Sparse Autoencoders, SAEs)는 조밀한 활성화 값을 희소하고 인간이 이해할 수 있는 특징(feature)으로 분해함으로써 대규모 언어 모델(LLM)을 해석하는 주요 도구입니다. 그러나 SAE가 거대 딕셔너리로 확장됨에 따라, 학습된 잠재 변수(latent)의 신뢰성을 저해하는 두 가지 만연한 병리 현상이 나타납니다.

• 특징 분할 (Feature Splitting): 일관된 고차원 개념이 여러 개의 비원자적이고 중복된 잠재 변수로 파편화되는 현상입니다 (예: 하나의 "수학" 개념이 별도의 "대수학"과 "기하학" 잠재 변수로 분리됨). 이는 모델이 사용하는 실제 기능적 개념을 모호하게 만들고 딕셔너리 용량을 낭비합니다.
• 특feature 흡수 (Feature Absorption): 특정 잠재 변수가 일반적인 특징에 속해야 할 활성화를 가로채어 임의의 예외를 만드는 현상입니다 (예: "S로 시작하는" 특징이 "short"나 "small" 같은 토큰에 활성화되지 않는 이유는 토큰 특이적 잠재 변수가 신호를 흡수했기 때문임). 이는 의도된 의미론적 패턴을 왜곡합니다.

저자들은 이러한 문제가 샘플 간 불일치한 잠재 변수 할당에서 기인한다고 주장합니다. 표준 희소 목적 함수(예: $\ell_1$ 정규화 또는 TopK 제약)는 **샘플 단위(per-sample basis)**로 작동합니다. 교차 샘플 제약이 없다면, 최적화 도구는 재구성 오차(reconstruction error)가 해당 샘플에 대해 낮게 유지되는 한, 단일한 의미론적 개념을 여러 개의 서로 떨어진 잠재 변수에 분산시키거나 특정 잠재 변수가 일반적인 것의 활성화를 "훔치도록" 함으로써 희소성 페널티를 최소화할 수 있습니다.

2. 방법론: C2R

이러한 실패를 해결하기 위해, 본 논문은 **C2R (Cross-sample Consistency Regularization)**을 도입합니다. 이 방법은 각 의미론적 특징이 전체 배치(batch)에 걸쳐 통일된 잠재 변수로 일관되로 표현되도록 강제합니다.

이론적 기초

C2R은 **민코프스키 부등식(Minkowski inequality)**과 $\ell_2$ 노름(norm)의 엄격한 볼록성(strict convexity)에 근거합니다. 핵심 통찰은 정렬되지 않은 두 벡터 $u$와 $v$에 대해, 그 노름의 합은 합의 노름보다 엄격히 크다는 것입니다:
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
SAE의 맥락에서, 만약 의미론적 특징이 여러 잠재 변수로 분할되어 있다면, 배치 전체에 걸친 이들의 활성화 $\ell_2$ 노름의 합은 해당 특징이 단일 잠재 변수로 통합되었을 때보다 더 높을 것입니다. C2R은 이를 활용하여 의미 정보의 분할을 억제합니다.

C2R 목적 함수

이 방법은 쌍별 분석을 전체 딕셔너리로 확장하여, 중복되는 잠재 변수 쌍을 식별하고 이들의 공동 활성화(co-activation)를 억제합니다.

1. 중복 탐지 (Redundancy Detection): 각 잠인 $i$에 대해, 알고리즘은 코사인 유사도를 기반으로 디코더 가중치 공간에서 가장 가까운 이웃 $j^*(i)$를 식별합니다. 이는 분리된 파편이나 흡수된 변형을 나타낼 가능성이 높은 쌍을 타겟팅합니다.
2. 게이트형 페널티 (Gated Penalty): 정규화 손실은 쌍 사이의 디코더 가중치의 제곱 정규화된 코사인 유사도($\rho^2$)에 의해 가중치가 부여됩니다. 이는 게이트 역할을 합니다:
   • 만약 잠재 변수들이 구별된다면 (직교한다면), $\rho \approx 0$이 되어 페널티가 적용되지 않습니다.
   • 만약 잠재 변수들이 중복된다면 (높게 정렬되어 있다면), $\rho$가 커지며 페널티가 적용됩니다.
3. 손실 공식화:
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   여기서 $Z_{:,i}$는 잠재 변수 $i$의 배치 활성화입니다. 전체 훈련 목적 함수는 이 항을 표준 SAE 손실에 추가합니다:
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

그래디언트 역학 (Gradient Dynamics)

C2R의 그래디언트는 두 가지 동시적인 힘을 제공합니다:

• 일관성 압력 (Consistency Pressure): 유사도($\rho^2$)에 비례하여 노름의 합을 최소화하며, 분할된 활성화를 단일 잠재 변수로 밀어 넣습니다.
• 암묵적 직교성 (Implicit Orthogonality): 활성화 크기($S$)에 비례하여 디코더 가중치 간의 코사인 유사도를 최소화합니다. 균일한 직교성 제약과 달리, 이는 특징의 빈도에 따라 페널티를 조절함으로써 희귀하거나 발전 중인 특징이 조기에 파괴되는 것을 방지합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 이론적 진단: per-sample 희소 목적 함수가 샘플 간 일관성 결여의 근본 원인임을 식별하는 통합된 형식적 분석.
2. 원칙적인 목적 함수: 디코더 기하학과 배치 수준의 통계를 활용하여 일관된 잠재 변수 선택을 강제하고, 진정한 다의성(polysemanticity)과 해로운 중복을 구분하는 새로운 정규화 기법인 C2R 제안.
3. 실증적 검증: C2R이 높은 재구성 충실도(reconstruction fidelity)를 유지하면서도 Matryoshka SAEs, OrtSAE와 같은 최신 베이스라인보다 성능이 우수함을 입증.

4. 실험 결과

실험은 Gemma-2-2B에서 수행되었으며 (Qwen3-8B 및 Llama-3-8B에서도 검증됨), SAEBench 프레임워크를 사용하였습니다.

• 병리 현상 완화: C2R은 높은 재구성 충실도를 유지하는 방법들 중 가장 낮은 특징 흡수 및 분할률을 달성했습니다. Matryoshka SAEs는 더 낮은 분할/흡수 점수를 보였으나, 재구성 품질에서 상당한 저하를 겪었습니다.
• 재구성 충실도: Matryoshka SAEs와 달리, C2R이 강화된 모델은 높은 "Loss Recovered" 및 "KL Divergence" 점수를 유지하여, LLM의 원래 동작이 보존되었음을 나타냈습니다.
• 해석 가능성 및 분리성 (Interpretability & Disentanglement): C2R은 "AutoInterp" 점수(특징의 인간 이해 가능성)나 "Disentanglement" 점수(속성의 인과적 제어)에 부정적인 영향을 미치지 않았습니다.
• 특징 구성: C2R은 디코더 가중치 간의 최대 코사인 유사도를 가장 낮게 산출하였으며, 이는 더 원자적이고 구별되는 특징 집합을 나타냅니다.
• 다운스트림 태스크: 인과적 개입 작업(Spurious Correlation Removal 및 Targeted Probe Perturbation)에서 C2R은 TopK, Batch TopK, OrtSAE보다 우수한 성능을 보였으며, Matryoshka SAEs에 필적하는 성능을 달성했습니다.
• 강건성: 이 방법은 서로 다른 랜덤 시드, 모델 규모(8B), 레이어, 훈련 데이터 구성(OpenWebText vs. The Pile) 전반에서 효과적으로 작동했습니다.

5. 의의 및 주장

본 논문은 C2R이 특징의 원자성(atomicity)과 모델 충실도 사이의 트레이드오프에 대한 원칙적인 솔루션을 제공한다고 주장합니다. 교차 샘플 일관성을 강제함으로써, C2R은 per-sample 최적화의 근본적인 한계를 해결합니다.

저자들은 다음과 같은 점을 강조합니다:

• 잠재적 해석 가능성 향 향상: 파편화된 개념을 통합하고 임의의 예외를 제거함으로써, 결과적인 딕셔너리는 언어 모델 특징의 계층적 구조를 더 잘 반영합니다.
• 성능 보존: 결정적으로, 이러한 개선은 이전의 구조적 SAE 시도들에서 흔히 발생하는 실패 지점인, 원래 모델의 활성화를 재구성하는 능력을 저하시키지 않고 달성되었습니다.
• 이론적 보장: 특정 조건(흡수 쌍의 88.1%에서 경험적으로 충족됨) 하에서, 이 방법은 민코프스키 부등식으로부터 유도된 분할 및 흡수에 대한 이론적 보장을 제공합니다.

이 연구는 C2R을 다양한 SAE 아키텍처(TopK, Batch TopK, OrtSAE, AbsTopK)와 호환 가능한 범용 목적 정규화 도구로 위치시키며, 대규모 언어 모델 내부를 분석하기 위한 견고한 경로를 제시합니다.