기술 요약: 미세 조정 활성화 스티어링 (AUSteer)

1. 문제 정의

활성화 스티어링(Activation steering)은 추가 학습 없이 대규모 언어 모델(LLM)의 행동을 수정할 수 있는 비용 효율적인 패러다임으로 부상했습니다. 그러나 기존 방식들은 주로 멀티 헤드 어텐션(MHA), 피드 포워드 네트워크(FFN), 또는 잔차 연결(residual stream)의 묶인 활성화 값에 개입하는 **블록 수준(block level)**에서 작동합니다.

저자들은 이러한 접근 방식의 결정적인 결함을 지적합니다: 블록 수준의 활성화는 본질적으로 이질적(heterogeneous)이라는 점입니다. 단일 블록 활성화 벡터는 수백 또는 수천 개의 차원을 포함하며, 각 차원은 서로 다른 특징(feature)에 대응합니다. 어떤 차원은 유익한 토큰 분포를 제어하는 반면, 다른 차원은 무관하거나 심지어 해로운 것을 제어하기도 합니다. 결과적으로 블록 수준의 스티어링은 다음과 같은 문제를 가집니다:

1. 너무 거칠다(Too coarse): 블록을 하나의 개체로 취급하여 정밀한 타겟팅을 방해합니다.
2. 비효율적이다(Inefficient): 유익한 신호와 해로운 신호를 동시에 증폭시켜 종종 성능 저하를 초래합니다.
3. 과도하게 침습적이다(Overly intrusive): 불필요한 많은 차원을 수정함으로써 개입의 흔적(intervention footprint)을 키웁니다.

본 논문은 블록 수준의 개입에서 미세한 원자 단위(Atomic Unit, AU) 수준의 개입으로 전환함으로써 "적게 스티어링할수록 더 많은 것을 달성한다(steering less achieves more)"는 가설을 제시합니다.

2. 방법론: AUSteer

제안된 방법론인 AUSteer는 블록 활성화를 **원자 단위(AU)**로 분해합니다. AU는 블록 활성화의 단일 차원으로 정의되며, 이는 해당 블록 가중치 행렬의 특정 열(column/slice)에 대응합니다. AU 수준의 활성화를 스티어링하는 것은 그와 연관된 AU를 스티어링하는 것과 같습니다.

AUSteer는 두 가지 주요 구성 요소로 이루어집:

A. 활성화 모멘텀을 통한 원자 단위(AU) 국소화

학습 없이 어떤 AU가 작업 관련성이 높은지 식별하기 위해, 저자들은 **활성화 모멘텀(activation momentum)**을 제안합니다.

• 대조 샘플(Contrastive Samples): 이 방법은 양성(정답/고품질) 샘플과 음성(오답/저품질) 샘플 쌍을 활용합니다.
• 모멘텀 계산: 각 AU $i$와 샘플 쌍 $j$에 대해, 활성화 모멘텀 $m_i^j$는 양성 샘플에서의 활성화($x_{i, pos}^j$)와 음성 샘플에서의 활성화($x_{i, neg}^j$)의 차이로 계산됩니다.
  $$m_i^j = x_{i, pos}^j - x_{i, neg}^j$$
• 판별 점수(Discriminative Scoring): 이 방법은 모든 쌍에 걸쳐 양성 및 음성 모멘텀의 발생 횟수를 계산하여, 특정 AU가 원하는 출력을 일관되게 촉진하는지 혹은 억제하는지를 결정합니다. 판별 점수 $s_i$는 일관된 촉진 또는 억제의 최대 비율로 정의됩니다:
  $$s_i = \max(r_{pos}^i, r_{neg}^i)$$
  여기서 $r_{pos}^i$와 $r_{neg}^i$는 각각 모멘텀이 양수이거나 음수인 쌍의 비율입니다.
• 선택: AU는 판별 점수에 따라 전역적으로 순위가 매겨지며, 상위 $k$개의 AU가 개입 대상으로 선택됩니다.

B. 적응형 스티어링(Adaptive Steering)

식별된 AU에 대해, AUSteer는 다양한 입력과 AU에 걸쳐 견고성을 보장하기 위해 적응형 스티어링을 적용합니다.

• 입력 적응성(Input Adaptivity): 상수 벡터를 더하는 대신, 현재 활성화를 스케일링합니다: $\hat{x}_i = x_i + \gamma_i x_i$. 이는 원래 활성화의 부호와 방향을 유지하면서 그 크기에 적응합니다.
• AU 적응성(AU Adaptivity): 스티어링 강도 $\gamma_i$는 각 AU의 판별력에 맞춰 조정됩니다.
  $$\gamma_i = \begin{cases} \alpha \cdot r_{pos}^i & \text{if } r_{pos}^i > r_{neg}^i \\ -\alpha \cdot r_{neg}^i & \text{otherwise} \end{cases}$$
  여기서 $\alpha$는 전역 스티어링 강도 계수입니다. 판별 점수가 높은 AU에 더 강한 스티어링이 적용됩니다.

3. 주요 기여

1. 이질성에 대한 이론적 및 경험적 분석: 저자들은 서로 다른 AU가 별개의 출력 토큰 분포를 관장하기 때문에 블록 수준의 활성화가 이질적임을 입증합니다. 단일 AU를 스티어링하면 모델의 출력이 해당 AU의 특정 분포로 이동하지만, 블록 수준의 스티어링은 유익한 분포와 해로운 분포를 혼합합니다.
2. AUSteer 프레임워크: 활성화 모멘텀을 사용하여 판별력 있는 AU를 국소화하고 적응형, 입력 특화형 스티어링 강도를 적용하는 새로운 방법을 제시합니다.
3. 효율성 및 정밀도: AUSteer는 수천 개의 활성화를 수정하는 기존 최첨단(SOTA) 방식과 달리, 훨씬 적은 수의 활성화(최대 100개)에 개입함으로써 우수한 성능을 달성합니다.

4. 실험 결과

AUSteer는 세 가지 작업 범주(상식 추론, 수학 문제 풀이, 개방형 생성)에 대해 여러 LLM(LLaMA2-7B-Chat, Gemma2-9B-it, Qwen3-8B 및 더 큰 변체들)을 대상으로 평가되었습니다.

• 상식 추론(Commonsense Reasoning): BoolQ, COPA, WinoGrande.
• 수학 문제 풀이(Math Problem Solving): SVAMP, MAWPS.
• 개방형 생성(Open-Ended Generation): 독성 제거(Detoxification, RealToxicPrompts) 및 정렬(Alignment, BPO).

주요 결과:

• 성능: AUSteer는 모든 작업에서 SOTA 베이스라인(ITI, CAA, SADI, STA)을 일관되게 능가했습니다. 예를 들어, LLaMA2-7B-Chat의 경우, AUSteer-FFN은 추론/수학 작업에서 평균 정확도 61.34%를 기록하여, 수천 개의 활성화를 수정하는 SADI(59.49%)를 앞지르면서도 100개 이하의 활성화만을 스티어링했습니다.
• 생성 품질: 개방형 생성에서 AUSteer는 SADI보다 독성 제거율을 2~3% 향상시켰으며, 인간 선호 행동에 대한 승률을 4.5%에서 8.5%까지 높였습니다.
• 확장성: 이 방법은 더 큰 모델(최대 70B 파라미터)과 다양한 아키텍처(희소 MoE 모델 포함)에서도 효과적으로 작동했습니다.
• 절제 연구(Ablation Studies): 활성화 모멘텀 국소화 또는 적응형 스티어링을 제거하면 성능이 크게 저하되었으며, 이는 두 구성 요소의 필요성을 확인시켜 줍니다.
• 효율성: AUSтеer는 베이스라인보다 계산 오버헤드가 적고 개입 흔적이 작았으며, 추론 시간은 일반 모델과 유사했습니다.

5. 의의 및 주장

본 논문은 전통적인 블록 수준 개입 패러다임이 활성화 공간의 이질성으로 인해 근본적인 한계가 있다고 주장합니다. 개입을 원자 단위(AU) 수준으로 분해함으로써, AUSteer는 선택적이고 미세한 스티어링이 광범위하고 거친 개입보다 더 효과적임을 보여줍니다.

핵의 핵심 의의는 **"적게 스티어링하여 더 많이 달성한다"**는 원칙에 있습니다. 저자들은 다음을 입증했습니다:

• 블록 내의 모든 차원이 유용한 것은 아니며, 많은 차원이 중립적이거나 해롭습니다.
• 가장 판별력 있는 AU만을 식별하고 스티어링하는 것(활성화 모멘텀 사용)이 더 높은 정밀도를 제공합니다.
• 입력 및 AU 중요도에 따른 적응형 스케일링은 유용한 신호의 왜곡을 방지합니다.

이 연구는 왜 타겟팅된 개입이 글로벌 개입보다 우수한지에 대한 이론적 근거를 제공하며, LLM의 행동을 제어하는 데 필요한 계산 및 개입 흔적을 크게 줄이는 실용적이고 학습이 필요 없는(training-free) 프레임워크를 제공합니다.