Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

기술 요약: 희소 오토인코더(SAE)를 이용한 LLM 스티어링(Steering)

문제 정의
희소 오토인코더(Sparse Autoencoders, SAE)는 선형 표현 가설(Linear Representation Hypothesis)과 중첩 가설(Superposition Hypothesis)에 기반하여 잔차 스트림(residual stream) 내의 단일 의미적 특징(monosemantic features)을 발견함으로써 대규모 언어 모델(LLM)을 해석하는 도구로 제안되었습니다. SAE 특징들은 모델 생성 제어(스티어링) 능력을 이론적으로 갖추고 있으나, 최근 AxBench(Wu et al., 2025)와 같은 벤치마크는 SAE가 프롬프팅과 같은 단순한 베이스라인에 비해 성능이 현저히 떨어진다는 점을 시사했습니다. Wu et al. (2025)은 "단순한 베이스라인조차 SAE보다 우수한 성능을 보인다"라고 결론지었습니다. 또한, 이전 연구(Wang et al., 2025)는 높은 해석 가능성과 스티어링 유용성이 높은 희소성(낮은 $\ell_0$)과 강하게 상관되어 있다고 제안했으며, 이는 Neuronpedia와 같은 저장소에 주석이 달린 특징들이 흔히 충족하는 조건입니다. 본 논문의 저자들은 Wu et al. (2025)에서 보고된 낮은 성능이 SAE의 내재적 한계 때문이 아니라, 부적절한 특징 라벨링 및 선택 전략에서 기인했을 것이라고 주장합니다.

방법론
본 논문은 스티어링 성능을 개선하기 위해 기존의 비지도 또는 LLM 기반 라벨링 방식과 대조되는, 감독 학습 기반의 특징 라벨링 및 선택 파이프라인을 제안합니다.

1. 감독 라벨링 파이프라인:

   • 데이터 소스: 저자들은 사용자 할당 태그가 정답 멀티 레이블 역할을 하는 Stack Exchange 데이터셋(예: 학술, 생물학, 스포츠)을 활용합니다.
   • 특징 프로브(Feature Probes): 각 SAE 특징에 대해, 데이터셋에 대한 특징의 활성화 빈도를 계산하여 선형 프로브를 구축합니다. 빈도가 임계값 $\tau$를 초과하는지에 따라 이진 예측을 수행합니다.
   • 보정된 F1 점수(Calibrated F1 Scoring): 특징을 레이블에 매칭하기 위해, 저자들은 레이블 지지(support, 빈도)를 고려하여 표준 F1 점수를 조정하는 "보정된 F1" 점수($F1^c$)를 계산합니다. 이는 희귀하거나 흔한 레이블에 대한 편향을 방지합니다. 최적의 임계값 $\tau$는 이 점수를 최대화하도록 선택됩니다.
   • 디노이징 및 선택: 고품질의 매칭을 보장하기 위해, 파이프라인은 세 가지 기준을 적용합니다:
     1. 레이블 지지 임계값: 분산을 줄이기 위해 발생 횟수가 50회 미만인 레이블을 필터링합니다.
     2. 출력 점수 프록시: 고유한 스티어링 잠재력을 가진 특징을 필터링하기 위해 Arad et al. (2025)의 출력 점수를 기반으로 한 임계값($10^{-3}$)을 사용합니다.
     3. Top-K 선택: 카테고리당 상위 50개의 특징-레이블 쌍을 유지합니다.

2. 스티어링 메커니즘:

   • 저자들은 Templeton et al. (2024)의 활성화 편집(activation editing) 방식을 채택합니다. 추론 중에 특정 특징 활성화($z_f$)를 값 $\alpha$로 고정(clamp)합니다. 재구성 오차(reconstruction error)는 보존되며, 편집된 잠재 벡터는 디코더를 통과합니다.
   • 평가: 방법론은 유창성, 지시 이행, 개념 포함 정도를 평가하는 AxBench를 통해 평가됩니다. 저자들은 단일 전역 값을 사용하는 대신 교차 검증을 통해 각 특징-레이블 쌍에 대해 개별적으로 스티어링 강도 $\alpha$를 최적화합니다.

3. 실험 설정:

   • 모델: 실험은 Gemma 2 (9B)를 사용하여 수행되었으며, 레이어 17과 32의 잔차 스트림에 삽 la 된 Gemma Scope SAE(너비 131k)를 사용했습니다.
   • 베이스라인: 비교 대상에는 "NP 랜덤(NP random)" 베이스라인(Neuronpedia 레이블이 있는 무작위 선택 특징)과 Wu et al. (2025)의 프롬프트 스티어링 베이스라인이 포함됩니다.

주요 결과

• LoRA와의 성능 유사성: 제안된 감독 학습 파이프라인을 통해 특징을 선택하고 라벨링했을 때, SAE는 AxBench 벤치마크에서 LoRA(Low-Rank Adaptation) 베이스라인과 대등한 수준의 스티어링 성능을 달s합니다. 이는 Wu et al. (2025)에서 보고된 결과보다 크게 향상된 수치입니다.
• 인과적 타당성: 파이프라인은 식별된 레이블의 인과적 원인이 되는 특징들을 놀라울 정도로 잘 선택합니다. "출력 점수" 구성 요소(스티어링 능력의 프록시)를 선택 과정에서 제거하더라도, 감독 학습에 의해 선택된 나머지 특징들은 무작위 Neuronpedia 선택보다 우수한 스티어링 성능을 보여줍니다.
• 희소성 독립성: Wang et al. (2025)의 결과와 달리, 저자들은 성공적인 스티어링을 위해 높은 희소성(낮은 $\ell_0$)이 반드시 필수적인 것은 아니라는 점을 발견했습니다. Gemma Scope 모델의 저-희소성 및 고-희소성 SAE 모두 스티어링 작업에 효과적이었습니다.
• 프롬프팅 베이스라인: 제안된 SAE 방식이 이전의 SAE 시도들보다 크게 개선되었음에도 불구하고, 저자들은 단순 프롬프팅이 여전히 강력한 베이스라인이라는 점을 언급합니다. 이는 LLM이 지시를 따르도록 명시적으로 훈련되었기 때문일 가능성이 높습니다.

의의 및 주장
본 논문은 SAE가 스티어링에 효과적이지 않다는 주장에 대한 부분적인 반박 역할을 합니다. 저자들은 Wu et al. (2025)의 부정적인 결과가 기존의 잠재적으로 최적화되지 않은 레이블에 의존하고 감독 학습 기반의 특징 선택이 부족했기 때문에 SAE에 "충분한 공정함(full justice)"을 부여하지 못했다고 주장합니다.

주요 의의는 다음을 입증하는 데 있습니다:

1. 라벨링의 중요성: SAE 특징을 라벨링하는 방법이 결정적입니다. 보정된 지표와 지지 임계값을 사용하는 감독 학습 접근 방식은 모델 생성에 실질적인 인과적 영향을 미치는 특징을 산출합니다.
2. SAE의 견고성: SAE는 스티어링을 위해 매개변수 효율적 미세 조정(PEFT) 방법인 LoRA와 경쟁할 수 있으며, 이는 해석 도구로서의 유용성을 입증합니다.
3. 인과적 진실(Causal Ground Truth): 연구 환경에서 성공적인 특징 스티어링은 특징의 레이블에 대한 "진실"을 확인해주며, 이는 상관관계 기반의 해석법이 오도할 수 있는 데이터셋 특이성(다의성, polysemanticity)의 아티팩트와 특징을 구분해 줍니다.

저자들은 SAE가 모델 내부를 이해하고 연구하는 데 강력한 도구이지만, 프롬프팅은 훈련 특성상 실무적 응용에서 극복하기 어려운 베이스라인임을 인정하며 신중한 어조를 유지합니다. 또한, 특징 스티어링은 모델에 "제어된 손상(controlled damage)"을 가하는 과정이므로, 표준 미세 조정에 비해 실제 운영 환경에는 적합하지 않을 수 있음을 언급합니다.