기술 요약: 동적 스케일링 활성화 스티어링 (Dynamically Scaled Activation Steering, DSAS)

문제 정의

활성화 스티어링(Activation steering)은 모델의 가중치를 수정하지 않고 내부 활성화를 조작함으로써 생성 모델을 원하는 동작(예: 독성 완화, 지식 편집)으로 유도하는 강력한 기법으로 부상했습니다. 그러나 기존 방식들은 일반적으로 고정된 전역 강도 파라미터($\lambda$)를 사용하여 모든 입력에 대해 균일하게 개입을 적용합니다. 이러한 무차별적인 적용은 유해하지 않거나 관련 없는 콘텐츠와 같이 스티어링이 필요하지 않은 입력에 대해서도 모델 성능을 저하시켜, 안전성/정렬(safety/alignment)과 유용성/유창성(utility/fluency) 사이의 최적의 트레이드오프를 해칩니다.

조건부 스티어링(conditional steering) 방법들이 이 문제를 해결하기 위해 존재하지만, 이들은 정밀도가 떨어지는 정적 규칙, 이진 트리거 또는 프롬프트 수준의 휴리스틱에 의존하는 경우가 많습니다. 또한, 기존의 많은 적응형 방법들은 특정 스티어링 계열(예: ITI 유사 방식)에 특화되어 있어, 분포적(distributional) 또는 엔드투엔드(end-to-end) 학습 기반의 스티어링 접근 방식에는 일반화되지 못합니다. 따라서 원치 않는 동작이 감지될 때만 강력하게 개입할 수 있도록, 토큰 단위 또는 피처 단위로 스티어링 강도를 정밀하게 적응시킬 수 있는 보편적이고 방법론에 구애받지 않는(method-agnostic) 프레임워크가 필요합니다.

방법론: 동적 스케일링 활성화 스티어링 (DSAS)

DSAS는 스티어링의 '시기'를 결정하는 것과 '방법'을 결정하는 것을 분리하는, 스티어링 방식에 구애받지 않는 프레임워크입니다. 이는 모든 레이어와 입력에 걸쳐 기존의 스티어링 변환($T_\ell$)의 강도를 적응적으로 조절합니다.

핵심 메커니즘

각 개입 레이어 $\ell$과 토큰 $k$에 대해, DSAS는 원래의 임베딩과 스티어링된 임베딩 사이를 보간하는 게이트 $h_\ell(t_{\ell,k}) \in [0, 1]$를 도입합니다:
$$T^{DSAS}_\ell(t_{\ell,k}) = (1 - h_\ell(t_{\ell,k})) \cdot t_{\ell,k} + h_\ell(t_{\ell,k}) \cdot T_\ell(t_{\ell,k}; \lambda)$$
여기서 $h_\ell \approx 0$이면 임베딩이 손상되지 않은 상태로 남고, $h_\ell \approx 1$이면 전체 개입이 적용됩니다.

게이트 학습

게이트 $h_\ell$은 레이어당 로지스틱 회귀(logistic regressor)로서 다음을 구분하도록 학습됩니다:

1. 소스 세트 (Source Set, $S$): 원치 않는 동작을 보이는 샘플 (예: 독성이 있는 텍스트).
2. 컨트롤 세트 (Control Set, $C$): 수정하려는 동작과 중립적인 샘플 (예: 독성이 없는 텍스트).

학습 과정은 다음과 같습니다:

• 활성화 수집 (Activation Collection): $S$와 $C$의 입력을 레이어 $\ell$로 통과시켜 평균 임베딩을 얻습니다.
• 차원 축소 (Dimensionality Reduction): 고차원 공간에서의 과적합을 방지하고 학습 시간을 단축하기 위해 결합된 소스 및 컨트롤 활성화에 PCA를 적용합니다.
• 분류 (Classification): 임베딩이 소스 세트에 속할 확률을 예측하는 로지스틱 회귀를 학습합니다. 이 확률은 적응형 강도 계수로 사용됩니다.

엔드투엔드 최적화 (E2E-DSAS)

본 논문은 또한 게이트 파라미터를 스티어링 변환(특히 LinEAS)과 함께 공동 최적화하는 엔드투엔드 변형을 소개합니다. 이는 소스 분포를 타겟 분포로 밀어내는 소스 손실(source loss)을 최소화하는 동시에, 컨트롤 세트의 활성화가 개입 전후로 유사하게 유지되도록 하는 컨트롤 정규화 항을 적용하는 과정을 포함합니다. 이를 통해 정적 PCA 투영 없이 역전파(backpropagation)를 통해 게이트를 직접 학습할 수 있습니다.

주요 기여

1. 프레임워크 제안: 고정된 정책을 적용하는 대신 활성화 특성에 따라 개입 강도를 동적으로 스케일링하며, 스티어링의 '방법'보다 '시기'를 학습하는 방법론에 구애받지 않는 프레임워크인 DSAS를 도입했습니다.
2. 개선된 트레이드오프: DSAS가 여러 대규모 언어 모델(Qwen 2.5, Gemma 2)과 스티어링 방법(CAA, ITI, LinEAS)에 대해 독성 완화와 능력 유지(perplexity 및 MMLU 정확도로 측정) 사이의 파레토 프런트(Pareto front)를 개선함을 입증했습니다.
3. 베이스라인 대비 우수성: DSAS가 모델의 유용성을 유지하면서 독성을 줄이는 데 있어 최근의 조건부 스티어링 방법들(CAST, MERA, AlphaSteer)보다 우수함을 실증적으로 보여주었습니다.
4. 엔드투엔드 통합: DSAS를 E2E-DSAS로 확장하여 다양한 활성화 함수(예: ReLU, Sigmoid)와 함께 스티어링 함수와 공동 학습이 가능하도록 했습니다.
5. 교차 모달 일반화: 텍스트-이미지 확산 모델(DMD2)에 성공적으로 적용하여, 관련 개념(예: 바나나)이 포함된 이미지를 선택적으로 흐리게 만들면서도 관련 없는 이미지는 보존하는 능력을 입증했습니다.

실험 결과

• 독성 완화: Qwen 2.5 (1.5B, 7B) 및 Gemma 2 (2B) 실험에서, DSAS는 바닐라 스티어링에 비해 동일한 수준의 능력 유지(perplexity 또는 MMLU 정확도)를 유지하면서도 더 낮은 독성 점수(ToxTET)를 달려 일관되게 파레토 프런트를 이동시켰습니다. 예를 들어, DSAS를 LinEAS와 결합하면 perplexity나 MMLU 정확도에 대한 페널티를 거의 주지 않으면서도 LinEAS 단독 사용 시보다 독성을 현저히 낮출 수 있었습니다.
• 조건부 동작: "바나나"로부터 스티어링하는 정성적 사례 연구를 통해, DSAS가 강화된 방법들이 관련 프롬프트에서는 타겟 개념을 효과적으로 억제하는 반면, 중립적인 프롬프트는 높은 전역 강도 파라미터($\lambda > 1$)를 사용할 때도 거의 영향을 받지 않음을 보여주었습니다.
• 확산 모델: 텍스트-이미지 실험에서 CAA+DSAS는 특정 개념(예: 바나나, 전화기)이 포함된 이미지는 성공적으로 흐리게 만들었으나, 비-개념 이미지는 선명도를 유지했습니다. 반면 바닐라 CAA는 모든 이미지를 무차별적으로 흐리게 만들었습니다.
• 효율성: DSAS는 추론 시 매우 적은 계산 오버헤드(임베딩당 약 $2d_\ell + 2$ FLOPs)만을 도입하므로 실시간 생성에 실용적입니다.
• 강건성: DSAS는 노이즈가 있는 학습 신호에도 강건합니다. 분류기가 소스와 컨트롤을 구분하지 못할 경우, DSAS는 자연스럽게 안전한 체제(감소된 강도를 가진 균일한 스티어링)로 돌아가 베이스라인 이하로 성능이 저하되지 않도록 합니다.

의의 및 주장

본 논문은 DSAS가 무차별적인 개입이라는 치명적인 한계를 해결함으로써 활성화 스티어링의 중요한 진전을 이루었다고 주장합니다. DSAS는 개입의 타이밍과 스티어링 메커니즘을 분리함으로써 다음을 가능하게 합니다:

• 선택적 정렬 (Selective Alignment): 모델이 필요한 경우에만 유해한 동작으로부터 유도될 수 있어, 유해하지 않은 입력에 대한 고유한 유창성과 일반적 능력을 보존할 수 있습니다.
• 해석 가능성 (Interpretability): 어떤 토큰이나 공간적 피처가 스티어링을 필요로 하는지, 그리고 얼마나 필요한지를 정확히 짚어내어 개입 과정에 대한 투명한 뷰를 제공합니다.
• 범용성 (Generality): 이전의 적응형 방법들과 달리, DSAS는 특정 스티어링 알고리즘이나 입력 모달리티에 묶여 있지 않아 텍스트 생성 및 이미지 합성 등 광범위한 생성 작업에 적용 가능합니다.

저자들은 결론적으로 DSAS가 광범한 재학습이나 가중치 수정 없이도 생성 모델의 정렬을 달성하기 위한 실용적이고 오버헤드가 적은 솔루션을 제공하며, 안전성과 유용성 사이의 트레이드오프를 개선한다고 밝히고 있습니다.