Measuring Semantic Abstractness of SAE Features via Nonlocality

기술 요약: 비국소성(Nonlocality)을 통한 SAE 특징의 의미론적 추상성 측정

문제 정의
희소 오토인코더(Sparse Autoencoders, SAE)는 추론이나 탈옥(jailbreaking)과 같은 대규모 언어 모델(LLM) 행동의 기계론적 설명을 밝혀내기 위한 핵심 도구로 자리 잡았습니다. 이는 인과적으로 효과적인 특징(features)들을 분리해 냅니다. 그러나 진정한 고수준의 의미론적 특징과 표면 수준의 토큰 기반 특징(예: 특정 어휘적 단서나 포맷팅 패턴)을 구분하는 데에는 여전히 결정적인 격차가 존재합니다. 키워드 필터링, 대조 데이터셋, 또는 LLM 생성 자동 해석에 의존하는 현재의 특징 선택 방법들은 특징의 추상화 수준을 해결하지 못하는 경우가 많습니다. 결과적으로, 개입(intervention)을 통한 성공적인 행동 제어가 반드시 기저 계산의 기계론적 이해를 의미하는 것은 아닙니다. 어떤 특징은 복잡한 개념(예: '불확실성')을 나타내기보다는 단순히 특정 토큰(예: "Wait")의 출현 확률을 높이는 것에 불과할 수 있기 때문입니다. 따라서 SAE 특징의 "기계론적 복잡성" 또는 의미론적 추상성을 정량화할 수 있는, LLM 독립적이고 레이블이 필요 없는(label-free) 지표가 필요합니다.

방법론: 특징 비국소성 (Feature Nonlocality, FNL)
저자들은 특징의 맥락적 도달 범위(contextual reach)를 나타내는 정량적 증거로서 **특징 비국소성(FNL)**을 도입합니다. 홀로그래피 이중성(holographic duality)에서 영감을 받은 FNL은 트랜스포머의 토큰 시퀀스를 "시간 진화(time evolution)"로 취급하고, 이 시간 공간 내에서 특징의 활성화 "위치"를 측정합니다.

지표는 다음과 같이 정의됩니다:

1. 위치별 영향력: 프롬프트 $P$의 마지막 토큰 위치 $T$에서 활성화된 특정 SAE 특징 $a$에 대해, 저자들은 모든 이전 위치 $t$ ($1 \le t \le T$)에 대한 입력 임베딩에 대한 특징 활성화의 제곱 그래디언트 노름(squared gradient norm)을 계산합니다. 이는 특징의 활성화가 특정 입력 토큰에 얼마나 의존하는지를 측정합니다.
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. 확률 분포: 이러한 영향력 점수들은 접두사(prefix) 위치들에 대한 확률 분포 $p_a^{(P)}(t)$를 형성하도록 정규화됩니다.
3. 엔트로피 계산: 비국소성 $H(a, P)$는 이 분포의 샤논 엔트로피(Shannon entropy)로 정의됩니다.
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. 집계: 데이터셋 수준의 FNL 점수 $H(a, D)$는 일련의 활성화 이벤트들에 대해 엔트로피를 평균하여 얻습니다.

직관적으로, 낮은 FNL은 특징의 활성화가 국소적이고 특정한 토큰에 의해 구동됨(낮은 엔트로피, 집중된 영향력)을 나타내며, 높은 FNL은 특징이 컨텍스트 윈도우 전반에 걸쳐 정보를 통합함(높은 엔트로피, 분산된 영향력)을 나타냅니다.

주요 기여

1. FNL의 정의: 본 논문은 SAE 특징의 전형적인 맥락적 도달 범위를 특징짓는 레이블이 필요 없는 그래디언트 기반 지표로서 FNL을 제안합니다.
2. 안정성 및 기하학적 구조 검증: 저자들은 FNL 순위가 다양한 데이터셋(WikiText, GSM8K, Code-Python)과 모델 깊이에 따라 안정적임을 입증했습니다. 또한 FNL이 특징 기하학(feature geometry)과 상관관계가 있음을 보여주었는데, 즉 유사한 디코더 벡터(유사한 쓰기 측 함수)를 가진 특징들은 유사한 비국소성 범위를 공유합니다.
3. 의미론적 추상성과의 상관관계: FNL은 두 가지 독립적인 대리 측정치(proxy measures)인 추상성과 검증되었습니다:
   • 토큰 주입 민감도(Token Injection Susceptibility): 높은 FNL을 가진 특징은 고립된 토큰 주입에 의해 트리거되는 경향(거짓 양성)이 낮게 나타나, 토큰 기반 특징과 구별됩니다.
   • 패러프레이즈 불변성(Paraphrase Invariance): 높은 FNL을 가진 특징은 의미를 보존하는 패러프레이즈에 대해 더 높은 강건성(낮은 거짓 음성)을 보입니다.
4. 다운스트림 응용:
   • 탈옥 완화 감사(Jailbreak Mitigation Audit): 저자들은 래퍼(wrapper) 스타일의 탈옥을 완화하는 데 사용된 특징들을 재분석했습니다. 그 결과, 가장 효과적인 특징들은 거의 0에 가까운 FNL을 가졌으며, 유해한 의도를 인식하기보다 거의 독점적으로 시퀀스의 시작 부분에서 활성화되는 위치 지표(positional indicators)임이 밝혀졌습니다. 이는 현재의 완화 메커니즘이 의미론적 이해보다는 표면적인 아티팩트에 의존하고 있음을 시사합니다.
   • 추론 스티어링(Reasoning Steering): DeepSeek-R1-Distill-Llama-8B에 대한 개념 증명 실험에서, 높은 FNL 특징을 스티어링했을 때 MATH-500 정확도가 스티어링되지 않은 베이스라인보다 4.6포인트 향상되어, 낮은 FNL 특징이나 무작위 베이스라인보다 우수한 성능을 보였습니다.

결과

• 상관관계 지표: FNL은 토큰 주입 회복력과 유의미한 음의 상관관계($\rho \approx -0.46$)를, 패러프레이즈 강건성과 양의 상관관계($\rho \approx 0.27$)를 보입니다.
• 판별력: FNL은 무작위로 추출된 쌍에서 73~84%의 확률(AUC 0.73–0.84)로 맥락 의존적 특징과 토큰 기반 특징을 성공적으로 구분합니다.
• 탈옥 관련 발견: 25개의 탈옥 완화 특징에 대한 감사에서, 21개가 위치 지표(FNL 0)로 식별되었으며, 이러한 위치 특징을 스티어링하는 것이 방어 개선의 대부분을 차지했습니다. 반면, 4개의 콘텐츠 인식 특징을 스티어링하는 것은 미미한 이득만을 주었습니다.
• 스티어링 성능: DeepSeek-R1-Distill-Llama-8B에 대한 높은 FNL 스티어링은 MATH-500 정확도 0.911(avg@4)을 달성하였으며, 이는 스티어링되지 않은 베이스라인의 0.865와 비교됩니다. 그러나 저자들은 이 이득이 모델 특정적임을 언급했습니다. 다른 모델(Gemma-2-9B, Qwen3-8B)에서는 높은 FNL 스티어링이 베이스라인보다 일관되게 우수한 성능을 보이지 않았습니다.

의의 및 주장
본 논문은 FNL이 SAE 특징의 추상화 수준을 나타내는 **LLM 독립적이고 레이블이 필요 없는 상관적 증거(correlational witness)**를 제공한다고 결론짓습니다. FNL이 모든 맥락에서 스티어링 효용성을 완벽하게 예측한다고 주장하는 것은 아니지만, 표면적인 어휘적 트리거와 진정한 고수준 계산을 구분하는 데 필요한 진단 도구를 제공한다고 주장합니다.

저자들은 스티어링 효용성이 *제어(control)*를 검증한다면, FNL은 특징이 복잡한 의미론적 개념을 나타내는지 아니면 단순한 위치적 단서인지를 밝힘으로써 *이해(understanding)*를 검증하는 데 도움을 준다는 점을 강조합니다. 이러한 구분은 LLM 행동에 대한 정교한 기계론적 설명을 개발하고, 표면적 아티팩트가 아닌 진정한 의도 인식을 목표로 하는 더 효과적인 안전 개입을 설계하는 데 매우 중요합니다. 이 연구는 미세한 수준의 기계론적 해석력을 향한 단계로 제시되며, 높은 비국소성이 효용을 보장한다는 일반적인 보증이 아닌 개념 증명으로서의 성격을 가집니다.