기술 요약: 활성화 조작 시 부수적 피해 최소화

1. 문제 정의

활성화 조작 (Activation steering) 은 내부 표현에 개입하여 특정 목표 특징 방향과 활성화가 정렬되도록 함으로써 대규모 언어 모델 (LLM) 의 행동을 제어하는 기술입니다 (예: 진실성 증대 또는 독성 억제). 효과적이기는 하지만, ActAdd(벡터 덧셈) 및 Norm-Preserving Steering(예: Slerp, Angular Steering) 과 같은 기존 방법들은 종종 "부수적 피해 (collateral damage)"를 겪습니다.

부수적 피해는 비목표 특징 방향을 따라 활성화의 정렬에서 발생하는 의도치 않은 변화로 정의됩니다. 해당 논문은 기존 방법들이 비목표 특징의 **등방성 (isotropy)**을 암묵적으로 가정한다고 주장합니다. 즉, 어떤 방향으로의 이동도 동등한 비용으로 간주한다는 것입니다. 그러나 LLM 표현 공간은 본질적으로 **이방성 (anisotropic)**입니다. 특징들이 얽혀 있어 특정 방향으로 활성화가 이동하면 여러 결합된 특징이 동시에 교란될 수 있으며, 이로 인해 관련 없는 작업 (예: 추론 또는 사실적 정확도) 에서 성능 저하가 발생합니다.

핵심 문제는 원하는 행동 변화를 달성하는 조작 성공과 하류 모델 성능 보존 사이의 트레이드오프입니다. 현재 접근법들은 높은 조작 성공을 달성하기 위해 성능을 희생하거나, 성능을 보존하기 위해 효과적인 조작에 실패합니다.

2. 방법론: COAST

저자들은 **COllateral-damage Minimizing Activation STeering (COAST)**을 제안합니다. 이는 조작을 제약 최적화 문제로 모델링하는 원칙적인 프레임워크입니다.

2.1 수학적 형식화

목표는 고정된 정렬 예산 (alignment budget) (조작 방향 $d$에 대한 목표 코사인 유사도 $\alpha$) 을 만족하면서 비목표 특징과의 정렬에서 발생하는 예상 제곱 변화량을 최소화하는 새로운 활성화 벡터 $x$를 찾는 것입니다.

목적 함수는 부수적 피해 $J(x)$를 최소화합니다:
$$\min_{x \in \mathcal{M}} (x - h)^\top \Sigma (x - h)$$
여기서:

• $h$는 원래 활성화입니다.
• $\mathcal{M}$은 노름 보존 ($\|x\|=1$) 과 정렬 예산 ($d^\top x = \alpha$) 으로 정의된 실현 가능 집합입니다.
• $\Sigma$는 활성화의 경험적 2 차 모멘트 ($\Sigma = \mathbb{E}[hh^\top]$) 를 나타내는 부수적 가중 행렬입니다.

모든 방향을 동등하게 벌하는 단위 행렬을 사용하는 등방성 방법과 달리, COAST 는 $\Sigma$를 사용하여 표현 공간의 이방성 기하학을 인코딩합니다. 분산이 높거나 빈번하게 공활성화되는 방향은 더 엄격하게 벌하여, 최적화가 "민감한" 특징 클러스터에서 벗어나도록 유도합니다.

2.2 최적화 알고리즘

실현 가능 집합 $\mathcal{M}$은 단위 초구 (unit hypersphere) 위의 $(p-2)$-구 (위도) 를 형성합니다. COAST 는 **리만 기하적 경사 하강법 (Riemannian gradient descent)**을 사용하여 최적화 문제를 해결합니다:

1. 초기화: 알고리즘은 매니폴드 $\mathcal{M}$ 위로의 $h$의 유클리드 사영에서 초기화됩니다.
2. 경사 계산: 유클리드 경사 ($2\Sigma(x-h)$) 를 $\mathcal{M}$의 접평면으로 사영하여 리만 기하적 경사를 계산합니다.
3. 측지선 업데이트: 알고리즘은 구 위의 지수 사상 (exponential map) 으로 정의된 측지선 (대원) 을 따라 활성화를 업데이트하여, 모든 단계에서 정렬 예산이 엄격하게 충족되도록 합니다.

2.3 이론적 특성

• 일반화: COAST 는 Slerp(구면 선형 보간) 를 엄격하게 일반화합니다. 부수적 피해가 등방적인 시나리오 (예: 특징이 목표에 직교하거나 균일하게 분포된 경우) 에서는 COAST 가 폐쇄형 Slerp 해로 축소됩니다.
• 수렴: 논문은 연속 시간 리만 기하적 경사 흐름이 단일 정상점으로 수렴함을 증명합니다. 또한, 사용된 특정 기하학적 초기화로 인해 흐름은 부수적 피해 목적 함수의 전역 최소점으로 수렴합니다.
• 효율성: 이 방법은 "플러그 앤 플레이" 방식이며, 추론 시 오버헤드를 최소화합니다 (실험에서 0.9%–4.0%). 실제로는 단일 측지선 단계만 필요합니다.

3. 주요 기여

1. 부수적 피해의 형식화: 논문은 부수적 피해를 예상된 의도치 않은 정렬 이동으로 수학적으로 정의하며, 이를 활성화의 경험적 2 차 모멘트 행렬과 직접 연결합니다.
2. 이방성 인식 조작: 이전 연구의 등방성 가정을 넘어 LLM 표현의 이방성 기하학을 명시적으로 고려하는 프레임워크를 도입합니다.
3. COAST 알고리즘: 정렬 예산 구면 상에서 "가장 안전한" 조작된 활성화를 찾아 비목표 특징에 대한 교란을 최소화하는 새로운 최적화 알고리즘입니다.
4. 이론적 보장: 일반적인 이방성 조건 하에서 최적 조작 해로 전역 수렴함을 증명합니다.
5. 실증적 검증: 조작 효과성과 성능 보존 사이의 균형을 맞추는 데 있어 기존 베이스라인 (ActAdd, Angular Steering, Slerp) 보다 COAST 가 우수함을 보여주는 광범위한 실험 결과입니다.

4. 실험 결과

저자들은 tinyBenchmarks 스위트와 안전성 평가를 위한 HarmBench를 사용하여 네 가지 지시 미세 조정 LLM (Llama-3.2-3B, Llama-3.1-8B, Qwen2.5-14B, Gemma-2-9B) 에서 COAST 를 평가했습니다.

• 트레이드오프 완화: ActAdd 는 급격한 트레이드오프 (높은 조작 성공률이지만 상당한 정확도 하락) 를 보였고, Angular Steering 은 높은 성공률 달성에 어려움을 겪은 반면, COAST 는 조작되지 않은 모델과 비교 가능한 작업 정확도를 유지하면서 높은 공격 성공률 (ASR)(조작 효과성) 을 일관되게 달성했습니다.
• 정량적 개선:
  • COAST 는 Angular Steering 대비 ASR 에서 최대 30% 개선을 달성했습니다.
  • 동등한 ASR 수준에서 ActAdd 대비 정확도에서 최대 20% 개선을 보였습니다.
  • 특정 모델 (Gemma-2-9B, Llama-3.2-3B) 에서 COAST 는 Slerp 대비 ASR 과 작업 정확도를 동시에 개선했습니다.
• 대리 지표로서의 부수적 피해: 연구는 제안된 부수적 피해 지표가 성능 저하에 대한 신뢰할 수 있는 대리 지표임을 실증적으로 검증했습니다. 여섯 가지 벤치마크에서 부수적 피해와 모델 정확도 사이에 강한 음의 피어슨 상관관계 ($r < -0.9$) 가 관찰되었습니다.
• 계산 비용: COAST 는 마진 수준의 추론 오버헤드 (초당 토큰 수 0.9%–4.0% 감소) 를 발생시켜 실시간 배포에 적합함을 확인했습니다.

5. 중요성과 주장

이 논문은 COAST 를 "우리가 조작할 수 있는가?"에서 "우리가 책임 있게 조작할 수 있는가?"로의 전환으로 위치시킵니다. 부수적 피해를 명시적으로 최소화함으로써, 이 방법은 관련 없는 역량을 희생하지 않고 표적 행동 변화를 가능하게 합니다.

저자들은 COAST 가 다음과 같은 특징을 가진 책임 있는 활성화 개입의 기반을 제공한다고 주장합니다:

• 명시적 목적: 조작은 명확한 비용 함수를 가진 최적화 문제로 프레임됩니다.
• 투명한 제약: 정렬 예산은 사용자가 정의하고 해석 가능한 매개변수입니다.
• 예측 가능한 부작용: 표현 공간의 기하학을 모델링함으로써 의도치 않은 행동 편향이나 역량 저하의 위험을 줄입니다.

이 연구는 모델의 내부 표현이 가진 이방성 특성이 개입 시 존중된다면, 정렬, 개인화, 또는 콘텐츠 검열을 위한 조작 기반 제어의 향후 배포가 더 신뢰할 수 있고 안전할 수 있음을 시사합니다. 저자들은 조작이 강력한 도구이지만, 오용을 방지하기 위해 부작용에 대한 투명한 보고와 함께 다양한 작업에 걸쳐 평가되어야 함을 강조합니다.