기술 요약: 언어 모델의 활성화 스티어링을 위한 고차원 랜덤 투영 (HiDRA)

문제 정의

활성화 스티어링(Activation steering)은 비용이 많이 드는 재학습 없이 대규모 언어 모델(LLM)을 제어하기 위한 주요 방법론으로 부상했습니다. 현재의 최첨단 방법론들은 차이-평균(Difference-in-Means, DiM) 벡터에 의존하는 Activation Addition 및 Directional Ablation과 같은 방식입니다. 이 방법들은 원래의 잔차 스트림(residual stream)에서 타겟 클래스와 소스 클래스의 활성화 사이의 선형 평균 차이를 계산하여 스티어링 방향을 추정합니다.

그러나 저자들은 이러한 선형적 방법들이 근본적으로 한계가 있다고 주장합니다. 중첩 가설(superposition hypothesis) 하에서, 신경망은 더 많은 특징(features)을 보유한 뉴런들을 활성화 공간 내에 중첩시켜 인코딩합니다. 결과적으로, 행동 관련 신호는 1차 평균 이동(first-order mean shifts)만으로는 완전히 포착되지 않을 수 있습니다. 대신, 변별력 있는 신호는 **비선형 특징 부분 공간(nonlinear feature subspaces)**이나 2차 통계 구조(예: 분산 차이)로 존재할 수 있으며, 기존의 선형 DiM 추정기는 이를 복구하지 못합니다. 이를 해결하기 위해 희소 오토인코더(Sparse Autoencoders, SAE)를 사용하는 시도들이 있으나, 선형 베이스라인보다 성능이 떨어지거나 별도의 학습이 필요하다는 문제가 있어, 이러한 고차 신호에 접근할 수 있는 학습이 필요 없는(training-free) 접근법의 공백이 존재합니다.

방법론: HiDRA

저자들은 스티어링 방향을 추정하고 적용하는 공간을 수정하는 학습 불필요(training-free) 프레임워크인 **HiDRA (High-Dimensional Random-projection for Activation Steering)**를 제안합니다.

핵심 메커니즘

HiDRA는 스티어링을 수행하기 전 모델의 활성화를 고차원 비선형 공간으로 들어 올린(lifting) 후, 수정된 활성화를 원래의 잔차 스트림으로 다시 투영합니다. 이 파이프라인은 세 단계로 구성됩니다:

1. 리프팅 (투영): 레이어 $\ell$에서의 활성화 벡터 $x \in \mathbb{R}^d$가 주어지면, HiDRA는 가우시안 행렬 $A \in \mathbb{R}^{m \times d}$ ($m \gg d$)를 사용하는 랜덤 투영과 그 뒤에 비선형 활성화 함수 $\sigma$(기본값: LeakyReLU)를 적용합니다.
   $$x' = \sigma(Ax)$$
   이는 데이터를 고차원 특징 공간 $\mathcal{H}$로 매핑합니다.

2. 리프팅된 공간에서의 스티어링: 스티어링 벡터 $d^{(\ell)}$은 차이-평균 벡터로서 계산되지만, 투영된 활성화를 사용하여 리프팅된 고차원 공간 내에서 계산됩니다.
   $$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$$

3. 주입 및 재구성: 추론 시, 스티어링 벡터는 강도 $\alpha$와 함께 투영된 활성화에 더해집니다. 결과물은 투영 행렬의 유사 역행렬($A^\dagger$)과 비선형 함수의 역함수($\sigma^{-1}$)를 사용하여 원래 공간으로 투영됩니다.
   $$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$$

이론적 토대

본 논문은 **가우시안 중첩 모델(Gaussian superposition model)**에 기반한 이론적 정당성을 제공합니다.

• 명제 3.1: 특징 공간이 선형 부분 공간과 잔차 부분 공간으로 분해될 수 있다면, 만약 잔차 변별 신호($v_{res} \neq 0$)가 존재할 경우 특징 공간에서의 피셔 비율(Fisher ratio, 변별력을 측정하는 척도)은 선형 공간에서의 비율보다 엄격히 크다는 것을 입증합니다.
• 정리 3.5: 가우시안 중합 모델 하에서, 리프팅된 공간 내 잔차 성분의 노름(norm)은 2차 변별 신호(클래스 간의 분산 격차)에 의해 하한선이 결정됨을 증명합니다. 이는 랜덤 투영과 비선형성을 결합하면 선형 추정기(예: DiM)가 원래의 선형 공간에서는 보이지 않는 신호를 포착할 수 있음을 시사합니다.

주요 기여

1. 이론적 분석: 저자들은 중첩 가설 하에서 2차 변별 신호가 행동 부분 공간에 존재함을 증명합니다. 또한, 특징 공간의 DiM이 표준 선형 평균 이동 방식으로는 도달할 수 없는 이러한 잔차 신호를 확실히 포착할 수 있음을 보여줍니다.
2. HiDRA 프레임워크: 기존 파이프라인과 원활하게 통합되는 플러그인 방식의 학습 불필요 스티어링 방법을 소개합니다. 이는 모델 재학습을 요구하지 않으며, 고정된 랜덤 초기화 투영 행렬을 사용합니다.
3. 경험적 검증: 다양한 LLM 제품군(Gemma, Llama, Qwen)과 작업에 걸친 광범적인 실험을 통해, HiDRA가 일반적인 모델 능력을 유지하면서도 베이스라인 대비 일관되게 우수한 성능을 보임을 입을 입증했습니다.

실험 결과

저자들은 세 가지 뚜렷한 스티어링 작업에 대해 HiDRA를 평가했습니다:

1. 탈옥 (Jailbreaking)

• 설정: 유해한 요청에 순응하도록 모델을 스티어링함 (ADVBENCH 및 MALICIOUSINSTRUCT 데이터셋 사용).
• 베이스라인: Mean-AcT(표준 DiM 스티어링)와 비교.
• 결과: HiDRA는 테스트된 모든 모델(Gemma 2, Llama 3.2, Qwen 2.5)에서 더 높은 공격 성공률(ASR)을 달립했습니다. 예를 들어, Gemma2-9B-IT의 경우, 모든 토큰 설정에서 ASR이 Mean-AcT의 84.00%에서 HiDRA의 90.00%로 증가했습니다. 결정적으로, 일반 언어 모델링 능력(TINYBENCHMARKS로 측정)은 베이스라인과 유사하게 유지되어, 유용성이 크게 저하되지 않았음을 나타냈습니다.

2. 진실성 (Truthfulness)

• 설정: TRUTHFULQA 벤치마크를 사용하여 모델이 더 진실하고 정보가 풍부한 응답을 생성하도록 스티어링함.
• 결과: HiDRA는 Mean-AcT 및 스티어링 미적용 상태와 비교했을 때, Gemma-2-2B 및 Llama-3-8B 모두에서 "진실성 $\times$ 정보성(true $\times$ informative)" 지표를 개선했습니다. 이 방법은 일반 벤치마크에서도 성능을 유지하였으며, 이는 진실성 향상이 일반적인 능력의 희생을 통해 이루어진 것이 아님을 시사합니다.

3. CAA 스타일의 다중 선택 질문 답변 (Multiple-Choice QA)

• 설정: 특정 행동 개념(예: "아첨(Sycophancy)", "환각(Hallucination)")의 확률을 제어하며, Contrastive Activation Addition (CAA) 및 Sparse Activation Steering (SAS)과 비교.
• 결과: HiDRA는 대상 개념에 대한 탁월한 제어력을 보여주었습니다. 테스트된 6개 개념 모두에서 부정적 속성을 억제(낮은 토큰 확률)하는 데 가장 좋은 결과를 얻었으며, 6개 중 5개 개념에 대해 긍정적 속성을 촉진하는 데 있어서도 CAA와 SAS를 능가하는 최고의 결과를 달성했습니다.

절제 연구 (Ablation Studies)

• 벡터 추출: 저자들은 벡터 추출을 위해 DiM과 선형 판별 분석(LDA)을 비교했습니다. 결과는 HiDRA의 성능 향상이 공분산 조건화(covariance conditioning)보다는 주로 고차원 투영에서 기인한다는 것을 나타냈습니다. 이는 원래 공간에서의 LDA보다 HiM DRA-DiM이 더 우수한 성능을 보였기 때문입니다.
• 비선형성: 비선형 맵의 선택이 중요합니다. 다항식 맵(Cube, Cubic)은 높은 ASR을 보였으나 퇴보된(degenerate) 생성을 유발했습니다. 반면, LeakyReLU와 Skip-softplus 변형은 원래의 잔차 스트림으로 매핑할 때 안정적인 섭동을 보장하는 전역 립시츠(globally Lipschitz) 특성을 갖기 때문에 최적의 것으로 밝혀졌습니다.

의의 및 주장

본 논문은 HiDRA가 고차원 랜덤 투영의 기하학적 구조를 활용함으로써 활성화 스티어링의 증명 가능한 우월한 접근 방식을 제공한다고 주장합니다.

• 선형적 한계 극복: HiDRA는 중첩된 잠재 특징들로부터 발생하는 비선형 잔차 구조 내의 변별 신호를 포착함으로써 선형 스티어링 방법의 한계를 해결합니다.
• 효율성 및 호환성: SAE 기반 방법과 달리, HiDRA는 학습이 필요 없으며 희소 사전(sparse dictionary)을 학습할 필요가 없습니다. 이는 모델 아키텍처나 가중치를 수정하지 않고도 기존의 모든 스티어링 파이프라인에 결합할 수 있는 "플러그인" 역할을 합니다.
• 강건성: 이 방법은 모델 재학습이나 다른 개입 방법에서 흔히 나타나는 능력 저하 없이 더 강력한 행동 제어(높은 ASR, 더 나은 진실성, 더 정교한 개념 제어)를 달성합니다.

저자들은 HiDRA가 투영 및 재구성 단계로 인해 추론 시점의 연산 오버헤드를 발생시키지만, LLM의 고차 제어 신호를 해제하기 위한 원칙적이고 샘플 효율적인 경로를 제공한다고 결론짓습니다.