Contextual Linear Activation Steering of Language Models

다음은 논문 "Contextual Linear Activation Steering of Language Models"(CLAS) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 **선형 활성화 조종 (Linear Activation Steering, LAS)**을 통해 유도될 수 있는 잠재적 능력 (예: 추론, 감정 제어, 안전 거부) 을 보유하고 있습니다. LAS 는 의미 개념이 모델의 활성화 공간에 고정된 선형 방향으로 표현된다는 '선형 표현 가설'에 기반하여 작동합니다. 모델의 내부 활성화에 스케일링된 조종 벡터 ($\alpha d$) 를 추가함으로써 행동을 수정할 수 있습니다.

그러나 기존 LAS 방법론은 두 가지 치명적인 한계를 겪고 있습니다:

1. 맥락 비의존성: 현재 방법론은 모든 토큰과 프롬프트에 걸쳐 고정된 스칼라 계수($\alpha$) 를 균일하게 적용합니다. 이는 입력 맥락의 뉘앙스를 무시하여 프롬프트에 따라 일관성 없는 조종 품질 (조종 부족 또는 과잉 조종) 을 초래합니다.
2. 튜닝 비효율성: 최적의 고정 $\alpha$를 선택하려면 새로운 작업마다 인간 또는 LLM 평가자를 포함한 비용이 많이 드는 그리드 탐색이 필요하여, 이 접근 방식이 취약하고 확장하기 어렵습니다.

2. 방법론: 맥락적 선형 활성화 조종 (CLAS)

저자들은 고정된 스칼라 계수를 맥락 의존적, 학습된 조종 계수로 대체하는 CLAS를 제안합니다.

핵심 메커니즘

$\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$ 대신, CLAS 는 현재 활성화와 학습된 감지 벡터를 기반으로 동적 계수를 계산합니다:
$$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$$
여기서:

• $h_{\ell,t}$는 블록 $\ell$과 토큰 $t$에서의 활성화입니다.
• $d_\ell$은 프로브에서 추출된 조종 벡터(방향) 입니다.
• $c_\ell \in \mathbb{R}^{k+1}$은 블록 $\ell$에 특화된 학습된 감지 벡터입니다.
• $[h_{\ell,t}, 1]$은 활성화와 상수 편향 항의 연결입니다.
• 항 $(c_\ell \cdot [h_{\ell,t}, 1])$은 동적 조종 계수 $\alpha_{\ell,t}$로 작용합니다.

2 단계 학습 프로세스

CLAS 는 조종 방향의 추출과 조종 강도의 튜닝을 분리합니다:

1. 조종 벡터 추출 (방향):

   • 프롬프트 - 개념 레이블 쌍으로 구성된 데이터셋을 사용합니다.
   • **재귀적 특징 머신 (Recursive Feature Machines, RFM)**을 사용하여 각 트랜스포머 블록에서 활성화 프로브를 학습합니다. RFM 은 작업 관련 특징을 학습하기 위해 평균 기울기 외적 (AGOP) 을 반복적으로 계산하며, 표준 선형 프로브보다 우수한 성능을 보입니다.
   • 조종 벡터 $d_\ell$은 최종 AGOP 행렬의 주 고유벡터이며, 개념 레이블과 양의 상관관계를 갖도록 방향이 설정됩니다.
   • 참고: 이 단계는 역전파가 필요 없으며 빠릅니다.

2. 감지 벡터 학습 (강도):

   • 프롬프트에는 특정 작업 지시가 없으나 완성본이 원하는 행동을 보여주는 프롬프트 - 완성 쌍으로 구성된 소규모 데이터셋을 사용합니다.
   • 모든 LLM 파라미터를 고정하고 표준 다음 토큰 예측 손실을 최소화함으로써 감지 벡터 $\{c_\ell\}$만 학습합니다.
   • 이를 통해 모델은 출력 생성 및 점수 매김 없이 입력 맥락에 기반하여 언제 그리고 얼마나 조종할지 학습할 수 있습니다.

3. 주요 기여

• 맥락 의존적 조종: 입력 맥락에 기반하여 조종 강도를 동적으로 조절하는 메커니즘을 도입하여 고정 계수 방법론의 취약성을 해결합니다.
• 효율적인 튜닝: 비용이 많이 드는 그리드 탐색과 외부 평가자의 필요성을 제거합니다. CLAS 는 훨씬 더 빠르고 확장 가능한 표준 다음 토큰 예측 손실을 통해 튜닝됩니다.
• 분리된 아키텍처: RFM 프로브를 통한 조종 방향 ("무엇") 의 발견과 미세 조정을 통한 감지 벡터 ("얼마나") 를 분리하여 조종 방향의 해석 가능성을 유지합니다.
• 해석 가능성 유지: 불투명한 저랭크 행렬을 학습하는 파라미터 효율적 미세 조정 (PEFT) 방법과 달리, CLAS 는 선형 프로브 방향을 유지하여 정확한 개념 모니터링을 가능하게 합니다.

4. 실험 결과

저자들은 4 개의 모델 계열(Qwen2.5-7B, Llama-3.1-70B/8B, Llama-3.2-1B) 에 걸쳐 11 가지 다양한 조종 작업(예: 단계별 추론, 다국어 번역, 재일브 저항, 감정 전환) 에서 CLAS 를 평가했습니다.

성능 벤치마크:

• 표준 LAS 대비: CLAS 는 거의 모든 모델 - 작업 쌍에서 고정 $\alpha$를 사용하는 표준 LAS 를 일관되게 능가하며, 종종 상당한 차이로 우위를 점합니다.
• PEFT(LoRA 및 ReFT) 대비: 제한된 데이터 설정에서 CLAS 는 LoRA 및 ReFT(Rank-1) 의 성능과 일치하거나 초과합니다.
  • 속도: CLAS 는 그리드 탐색이 필요한 LAS 보다 튜닝 속도가 훨씬 빠르며, LoRA/ReFT 와 비슷하거나 더 빠릅니다.
  • 강건성: 간섭 테스트 (한 작업을 위해 조종하고 다른 작업에서 평가) 에서 CLAS 는 LoRA 및 ReFT 에서 흔히 보이는 큰 저하에 비해 다른 능력에 미치는 악영향이 최소화됩니다.
• 개념 모니터링: 선형 프로브로 개념을 감지하는 데 사용될 때, CLAS 가 사용하는 RFM 에서 유도된 방향은 LoRA 및 ReFT 가 학습한 방향 (평균 약 68-74%) 에 비해 훨씬 높은 정확도 (평균 약 96-97%) 를 달성했습니다. 이는 CLAS 방향이 목표 개념과 더 의미적으로 정렬되어 있음을 확인시켜 줍니다.

구체적 발견:

• JailbreakBench 작업에서 CLAS 는 모든 모델에서 성공적으로 거부 거부 행동을 유도한 유일한 방법이었으며, LoRA 와 ReFT 는 완전히 실패했습니다.
• CLAS 는 대부분의 모델에서 11 개 작업 중 10 개에서 가장 높은 평균 정확도를 달성했습니다.

5. 의의 및 결론

이 논문은 선형 활성화 조종이 고정 계수에서 맥락 인식 학습 계수로 전환함으로써 확장되고 강건해질 수 있음을 보여줍니다.

• 확장성: 프롬프트별 튜닝이나 그리드 탐색의 필요성을 제거함으로써 CLAS 는 입력이 동적으로 변하는 실제 배포 환경에서 활성화 조종을 실현 가능하게 만듭니다.
• 해석 가능성: 프로브를 통한 기계적 이해의 해석 가능성과 미세 조정의 성능 사이의 간극을 메웁니다. 조종 벡터는 LoRA/ReFT 의 불투명한 가중치와 달리 해석 가능한 선형 방향으로 유지됩니다.
• 일반화: 이 방법은 기존 조종 방향을 맥락 의존적 계수로 조절함으로써 단순히 훨씬 더 효과적으로 만들 수 있음을 입증하여, 전체 미세 조정 없이 LLM 행동을 제어하는 새로운 패러다임을 제시합니다.

요약하자면, CLAS 는 특히 제한된 레이블 데이터가 있는 시나리오에서 전통적인 활성화 조종과 파라미터 효율적 미세 조정 모두에 대한 확장 가능하고, 해석 가능하며, 정확한 대안을 제공합니다.