What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 에 조종 벡터 (Steering Vectors) 를 적용하는 것은 추론 시 모델의 숨겨진 활성화 (hidden activations) 에 개입하여 모델의 행동을 정렬 (alignment) 하는 효율적인 기술로 부상했습니다. 이는 환각 현상 감소, 페르소나 제어, 추론 능력 향상 등 다양한 분야에서 활용되고 있습니다.

그러나 현재 조종 벡터가 어떻게 작동하는지에 대한 기계적 (mechanistic) 인 설명이 부족합니다. 구체적으로 다음과 같은 의문이 존재합니다:

• 조종 벡터가 모델의 내부 구성 요소 중 어떤 부분에 영향을 미쳐 행동 변화를 일으키는가?
• 어떤 내부 회로 (circuit) 가 이 과정을 매개하는가?
• 이러한 메커니즘을 이해하면 모델의 견고성 (robustness) 평가, 실패 사례 진단, 그리고 더 나은 개념 표현을 위한 조종 개입 설계에 어떻게 기여할 수 있는가?

이 연구는 이러한 격차를 해소하기 위해 LLM 의 '거절 (Refusal)' 능력을 대상으로 한 심층적인 사례 연구를 수행했습니다. 거절 조종은 유해한 프롬프트에 대한 거절을 유도하거나 (안전 강화), 유해한 프롬프트에 대한 거절을 우회하게 (자일브레이크) 하는 데 매우 효과적이기 때문에 분석에 적합한 대상입니다.

2. 방법론 (Methodology)

저자들은 기존에 단일 토큰 작업에 적용되던 기계적 해석성 기법을 다중 토큰 조종 생성 (multi-token steered generation) 으로 확장했습니다.

• 다중 토큰 활성화 패치링 (Multi-token Activation Patching):

  • 기존 회로 발견 (Circuit Discovery) 기법을 조종된 추론 시나리오에 적용했습니다.
  • '클린 (steered)' 상태와 '코럽트 (base/unsteered)' 상태의 입력 쌍을 생성하여, 특정 행동 (거절 또는 준수) 을 유발하는 데 인과적으로 책임 있는 하위 모듈 (서브네트워크) 을 식별했습니다.
  • EAP-IG (Edge Attribution Patching with Integrated Gradients) 를 사용하여 에지 (edge) 의 중요도를 정량화하고, 이를 바탕으로 모델의 계산 그래프에서 핵심 회로를 추출했습니다.

• 조종 벡터 비교:

  • DIM (Difference-in-Means): 학습 없이 평균 활성화의 차이로 벡터를 추출하는 방법.
  • NTP (Next Token Prediction): 언어 모델링 목적 함수를 사용하여 학습된 벡터.
  • PO (Preference Optimization): 선호도 최적화 기법을 사용하여 학습된 벡터.
  • 이 세 가지 서로 다른 방법론으로 생성된 벡터들이 동일한 계층에서 작동할 때 어떤 회로를 사용하는지 비교 분석했습니다.

• 주의 메커니즘 분석 (Attention Mechanism Analysis):

  • 조종 벡터가 어텐션 (Attention) 의 QK(Query-Key) 회로와 OV(Value-Output) 회로 중 어디에 영향을 미치는지 분석하기 위해 활성화 고정 (Freezing) 실험을 수행했습니다.
  • Steering Value Vector (SVV) 분해: 조종 벡터가 어텐션 헤드의 출력에 미치는 직접적인 영향을 수학적으로 분해하여, 조종 벡터 자체는 해석 불가능하더라도 SVV 를 통해 의미 있는 개념을 추출할 수 있는지 확인했습니다.

• 희소성 (Sparsity) 분석:

  • 조종 벡터의 차원을 희소화 (sparsify) 하여 어떤 차원이 가장 중요한지 확인하고, 서로 다른 조종 방법론이 공통적으로 중요한 차원 집합을 공유하는지 검증했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 기능적으로 상호 교환 가능한 회로 (Functionally Interchangeable Circuits)

• 서로 다른 방법론 (DIM, NTP, PO) 으로 얻은 조종 벡터들은 거의 동일한 회로 (≳90% 중첩) 를 활용하는 것으로 발견되었습니다.
• 한 방법론으로 찾은 최소 신뢰성 (faithful) 회로를 다른 방법론의 조종에 적용해도 높은 성능을 유지했습니다. 이는 거절 조종이라는 개념이 모델 내에서 기능적으로 유사한 하위 네트워크에 의해 처리됨을 의미합니다.

3.2 어텐션 OV 회로 중심의 작용

• QK 회로 (Query-Key) 의 무시: 모든 어텐션 점수 (attention scores) 를 고정 (freezing) 하고 QK 회로를 무시하더라도 조종 성능은 약 8.75% 만 감소했습니다. 이는 조종 벡터가 QK 회로와는 거의 상호작용하지 않음을 의미합니다.
• OV 회로 (Value-Output) 의 중요성: 반면, OV 회로나 SVV 를 제거할 경우 성능이 44.5%~71.75% 급격히 하락했습니다. 조종 벡터는 주로 OV 회로를 통해 어텐션 값 (Value) 에 영향을 미쳐 거절 행동을 유도합니다.

3.3 의미 해석 가능한 SVV (Steering Value Vectors)

• 조종 벡터 자체는 로짓 렌즈 (Logit Lens) 로 해석하기 어렵거나 의미 없는 토큰을 보일 수 있습니다.
• 하지만 조종 벡터를 수학적으로 분해하여 얻은 SVV(Steering Value Vector) 는 "forbidden", "illegal", "unsafe" 등 거절 및 유해성과 관련된 의미 있는 토큰을 명확하게 드러냈습니다. 이는 조종 벡터가 추상적인 개념을 특정 어텐션 헤드를 통해 구체화함을 보여줍니다.

3.4 고도로 희소화된 조종 벡터 (High Sparsity)

• 조종 벡터의 90~99% 차원을 제거 (희소화) 하더라도 대부분의 성능을 유지할 수 있었습니다.
• 서로 다른 조종 방법론 (DIM, NTP, PO) 은 공유된 저차원 부분 공간 (shared low-dimensional subspace) 에 집중되어 있으며, 이 중요한 차원 집합은 통계적으로 유의미하게 일치했습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 조종 벡터가 어떻게 LLM 의 안전 정렬을 우회하거나 강화하는지에 대한 기계적 인과 관계를 최초로 체계적으로 규명했습니다.

1. 해석 가능성 증대: 조종 벡터가 단순히 임의의 방향이 아니라, 모델의 특정 회로 (OV 회로) 를 통해 구체적인 개념 (거절) 을 구현함을 증명했습니다.
2. 효율성: 조종 벡터의 대부분 차원은 불필요하며, 핵심 차원만으로도 높은 성능을 낼 수 있음을 보여줌으로써 더 효율적인 조종 기법의 가능성을 제시했습니다.
3. 안전성 및 방어: 조종 벡터가 어떻게 안전 장치를 우회하는지 (자일브레이크) 이해함으로써, 더 강력한 방어 메커니즘을 설계하는 데 기여할 수 있습니다.
4. 도구 제공: 다중 토큰 활성화 패치링 프레임워크, 기계적 기반 희소화 방법, SVV 분해 기법 등은 향후 다른 개념이나 모델 편집 작업에 재사용 가능한 도구로 제시되었습니다.

결론적으로, 이 논문은 조종 벡터가 모델의 복잡한 내부 구조에서 국소화된 특정 회로를 통해 작동하며, 서로 다른 학습 방법론이 수렴하는 공통된 기계적 원리를 가지고 있음을 입증했습니다.