Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations

1. 연구 배경 및 문제 정의 (Problem)

배경:
대규모 언어 모델 (LLM) 의 행동을 제어하기 위해 '조향 벡터 (Steering Vectors)' 기법이 주목받고 있습니다. 특히 대조적 활성화 추가 (Contrastive Activation Addition, CAA) 방법은 학습된 편향 벡터를 추론 시 활성화에 추가하여 모델의 행동을 변경하는 경량화 기법으로, 미세 조정 (Fine-tuning) 보다 효율적입니다.

문제점:
CAA 와 같은 조향 벡터 기법은 평균적으로는 효과적이지만, 샘플별 신뢰도 (Reliability) 가 매우 불안정합니다.

• 일부 샘플에서는 의도한 행동 변화가 일어나지 않거나, 오히려 반대 방향으로 작용하는 '역조향 (Anti-steerability)' 현상이 발생합니다.
• 어떤 행동 (Behavior) 은 쉽게 조향되지만, 다른 행동은 전혀 조향되지 않는 등 데이터셋 간 편차가 큽니다.
• 기존 연구들은 이러한 불신뢰성의 원인을 명확히 규명하지 못했습니다.

연구 질문:

1. 모델 활성화 패턴의 어떤 요인이 다양한 데이터셋과 목표 행동 간 CAA 조향 벡터의 신뢰도 변이를 초래하는가?
2. CAA 조향 벡터의 학습 과정을 수정하여 더 일관된 신뢰성을 확보할 수 있는가?

---

2. 방법론 (Methodology)

저자는 Llama 2-7B-Chat 모델을 사용하여 Perez et al. (2022) 의 Model-Written Evaluations (MWE) 컬렉션에 포함된 36 개의 이진 선택형 데이터셋 (행동, 윤리, 정치적 태도 등) 을 대상으로 실험을 수행했습니다.

주요 실험 설계:

1. CAA 조향 벡터 생성: 각 행동에 대해 긍정 (Positive) 과 부정 (Negative) 예시 쌍을 사용하여 레이어 13 의 잔여 스트림 (Residual Stream) 활성화 차이의 평균을 계산하여 조향 벡터를 생성합니다.
2. 성능 평가 지표:
   • 조향 효과 크기 (Steering Effect Size): 조향 적용 전후의 로그-확률 차이 (Logit-difference) 변화량.
   • 조향 신뢰도 (Reliability): 역조향 (Anti-steerable) 샘플의 비율.
   • 조향 가능성 순위 (Steerability Rank): 데이터셋별 전체 조향 효율성을 순위화.
3. 기하학적 분석 (Geometric Analysis):
   • 방향 일치도 (Directional Agreement): 개별 활성화 차이 벡터와 생성된 조향 벡터 간의 코사인 유사도.
   • 분리 가능성 (Separability): 긍정/부정 활성화 클러스터가 조향 방향 (차이의 평균선, Difference-of-Means Line) 을 따라 얼마나 잘 분리되는지 측정 (판별 지수 $d'$, AUROC 등 사용).
   • LDA 및 로지스틱 회귀: 단순 평균선 외에도 선형 분류기 (LDA, Logistic Regression) 를 통해 학습된 최적 분리 방향에서의 분리 가능성을 검증.
4. 프롬프트 유형 비교: 사전 채움 (Prefilled), 지시어 (Instruction), 퓨샷 (Few-shot) 등 7 가지 다른 프롬프트 유형을 사용하여 조향 벡터의 방향성과 성능 변화를 분석했습니다.

---

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 기하학적 예측자의 발견 (Geometric Predictors)

조향 벡터의 신뢰도는 학습 데이터의 활성화 공간 기하학 (Activation Space Geometry) 에 의해 결정된다는 두 가지 핵심 예측자를 발견했습니다.

• 방향 일치도 (Directional Agreement):

  • 개별 샘플들의 활성화 차이 벡터들이 조향 벡터와 얼마나 일관된 방향을 가지는지가 핵심입니다.
  • 결과: 개별 활성화 차이와 조향 벡터 간의 평균 코사인 유사도가 높을수록 (방향 일치도가 높을수록) 조향 효과 크기가 커지고, 역조향 샘플 비율이 감소합니다.
  • 의미: 특정 행동에 대한 표현이 모델 내부에서 선형적으로 일관되게 존재할 때만 조향이 효과적입니다.

• 분리 가능성 (Separability):

  • 긍정과 부정 예시의 활성화가 조향 방향을 따라 얼마나 명확하게 분리되어 있는지가 중요합니다.
  • 결과: 판별 지수 ($d'$) 가 높게 나타나는 데이터셋 (클러스터가 명확히 분리된 경우) 일수록 조향이 성공적입니다. 반대로 두 클러스터가 겹치거나 분산이 크면 조향 벡터가 일부 샘플을 잘못 이동시켜 신뢰도가 떨어집니다.
  • 검증: 단순 평균선뿐만 아니라 LDA 와 로지스틱 회귀 방향에서도 동일한 상관관계가 확인되었습니다.

3.2. 훈련 데이터 및 프롬프트의 영향

• 프롬프트 유형: 7 가지 다른 프롬프트 유형 (지시어, 퓨샷 등) 을 사용하여 조향 벡터를 학습시켰습니다.
  • 결과: 서로 다른 프롬프트는 방향적으로 다른 벡터를 생성하지만, 전체적인 성능 (효율성) 은 서로 강하게 상관관계를 보였습니다.
  • 의미: 프롬프트를 변경한다고 해서 근본적으로 신뢰할 수 없는 행동 표현을 해결할 수 없습니다. 조향 실패의 원인은 프롬프트가 아니라 행동 자체의 잠재적 표현 (Latent Representation) 이 선형적으로 잘 정의되지 않았기 때문입니다.

3.3. 선형 근사의 한계

• CAA 는 1 차원의 편향 벡터 (선형 함수) 를 사용합니다.
• 연구 결과, 신뢰할 수 없는 행동들은 비선형적 (Non-linear) 이거나 다양한 방향성 (Entangled) 을 가진 잠재적 표현을 가지고 있음을 시사합니다.
• 이러한 복잡한 표현을 단순한 선형 벡터로 근사하려 할 때 발생하는 근사 오차 (Approximation Error) 가 조향 불신뢰성의 근본 원인입니다.

---

4. 논의 및 의의 (Discussion & Significance)

기술적 의의:

1. 진단 도구 제공: 조향 벡터가 특정 행동에 대해 실패할지 여부를 예측할 수 있는 기하학적 진단 지표 (방향 일치도, 분리 가능성) 를 제시했습니다. 이는 실험 전/후에 조향 가능성을 판단하는 실용적인 기준이 됩니다.
2. 이론적 통찰: 조향 실패가 단순히 데이터 부족이나 하이퍼파라미터 문제가 아니라, 선형 표현 가설 (Linear Representation Hypothesis) 의 붕괴와 관련 있음을 증명했습니다. 즉, 모든 행동이 선형적으로 표현되는 것은 아니며, 비선형적인 행동에는 더 복잡한 제어 방법이 필요합니다.
3. 프롬프트 엔지니어링의 한계 명확화: 훈련 프롬프트를 정교하게 변경하는 것만으로는 근본적인 표현의 비선형성 문제를 해결할 수 없음을 보여주었습니다.

미래 작업 방향:

• 비선형 제어 방법: 단순 벡터 추가를 넘어, 더 복잡한 함수 클래스 (예: SAE 기반, 비선형 변환) 를 활용한 조향 방법 개발 필요.
• 다중 목표 조향: 여러 행동을 동시에 제어할 때의 간섭 문제 해결.
• 오픈엔드 생성 평가: 현재는 다중 선택형 평가에 국한되어 있으나, 실제 텍스트 생성 품질에 미치는 영향을 평가하는 지표 개발 필요.

결론:
이 논문은 언어 모델의 조향 벡터 불신뢰성이 무작위적인 것이 아니라, 모델 내부 표현 공간의 기하학적 구조 (방향성 일관성 및 분리 가능성) 에 의해 결정됨을 규명했습니다. 이는 향후 더 강건하고 신뢰할 수 있는 모델 제어 기법 개발을 위한 중요한 이론적, 실증적 토대를 제공합니다.