기술 요약: 언어 모델의 내생적 활성화 스티어링 저항성 (Endogenous Resistance to Activation Steering in Language Models)

문제 정의

대규모 언어 모델(LLM)은 특정 방향(흔히 희소 오토인코더(SAE)에서 유도된)을 추론 과정 중 잔차 스트림(residual stream)에 더하여 모델의 행동을 변화시키는 기법인 **활성화 스티어링(activation steering)**에 취약하다. 스티어링은 특정 주제를 벗어나거나 특정 행동을 유도하는 데는 성공적이지만, 모델이 생성 도중 인위적인 섭동(perturbation)을 감지하고 회복할 수 있는 내부 메커니즘을 보유하고 있는지 여부는 여전히 불분명하다. 선행 연구들은 모델이 성찰적 능력을 갖추고 있을 수 있음을 시사하지만, 지속적인 섭동이 발생하는 상황에서 이러한 자기 인식(self-awareness)이 진행 중인 생성에 어느 정도 영향을 미치는지에 대해서는 충분히 규명되지 않았다. 본 논문은 LLM이 작업과 정렬되지 않은 스티어링으로부터 자발적으로 회복하여, 명시적인 언어적 재시작(verbal restart)을 생성하고 스티어링 벡터가 여전히 활성화되어 있음에도 불구하고 원래의 작업으로 복귀할 수 있는지 조사한다.

방법론

저자들은 스티어링을 위한 해석 가능한 특징 방향을 식별하기 위해 **희소 오토인코더(SAE)**를 사용하는 체계적인 실험 프로토콜을 채택하였다.

1. 실험 설정:

   • 모델: Llama-3 및 Gemma-2 제품군에서 추출한 5개의 모델 (2B에서 70B 파라미터 범위).
   • 프롬프트: 다양한 주제(수학, 비즈니스, 가사 기술 등)를 다루는 38개의 "설명하시오(explain how)" 유형의 객체 수준 프롬프트.
   • 스티어링 개입: 모델은 프롬프트와 의미론적으로 관련이 없는 SAE 잠재 변수(예: 확률에 대해 묻는 도중 "신체 자세" 잠재 변수를 증폭)를 사용하여 스티어링된다. 스티어링 강도는 첫 번째 시도가 낮은 판정 점수(~100점 만점에 30점)를 받는 "임계값"까지 보정되어, 섭동이 유의미하지만 무의미(incoherent)하지는 않은 수준을 유지하도록 한다.
   • 평가: 판정 모델(Claude 4.5 Haiku)은 명시적인 언어적 재시작 표식(예: "잠깐, 이게 아니네")을 기준으로 응답을 "시도(attempt)" 단위로 분할한다. 각 시도가 원래 프롬프트와 얼마나 관련이 있는지 점수를 매긴다.

2. 주요 지표:

   • 다중 시도율 (Multi-attempt rate): 2회 이상의 시도를 포함하는 응답의 비율.
   • 조건부 개선율 (Conditional improvement rate): 다중 시도 응답 중 최종 시도가 첫 번째 시도보다 높은 점수를 받은 비율.
   • ESR 비율: 위 두 지표의 곱으로, 모든 응답 중 성공적으로 자기 수정을 수행한 응답의 비율을 나타낸다.

3. 메커니즘 분석:

   • 대조 검색 (Contrastive Search): 일치하는(주제에 맞는) 경우와 섞인(주제에서 벗어난) 프롬프트-응답 쌍 사이에서 차별적으로 활성화되는 SAE 잠재 변수를 식별하는 데 사용된다.
   • 절제 (Ablation): "자기 수정과 연관된" 것으로 식별된 특정 잠재 변수들을 추론 중에 0으로 클램핑(clamping)하여 인과적 기여도를 테스트한다.
   • 대조군 (Controls):
     • 프리필링 대조군 (Prefilling Control): 스티어링된 생성물에서 추출한 주제 이탈 접두사(off-topic prefix)를 스티어링되지 않은 모델에 제공하여, 회복이 순수하게 텍스트에 의해 조건화된 것인지 테스트한다.
     • 매칭된 접두사 실험 (Matched-Prefix Experiment): 자연스러운 사후 교정 텍스트를 길이만 맞춘 주제 적합 접두사와 비교하여 자기 회복의 효과를 고립시킨다.
     • 무작위 절제 (Random Ablation): 활성화된 잠재 변수를 비활성화하는 것이 미치는 비특이적 효과를 제어한다.

주요 기여 및 결과

1. ESR의 경험적 특성화

본 연구는 **내생적 스티어링 저항성(Endogenous Steering Resistance, ESR)**이라 명명된 현상을 식별한다: 이는 무관한 활성화 스티어링으로부터 회복하는 모델의 능력이다.

• 규모 의존성: 테스트된 모델 중 오직 가장 큰 모델인 Llama-3.3-70B만이 상당한 수준의 명시적 ESR(3.8% 비율)을 보였다. 작은 모델들(Llama-3.1-8B, Gemma-2 변형 모델들)은 1% 미만의 비율을 보였다.
• 일반화: ESR은 SAE 유도 방향에 국한되지 않는다. Llama-3.3-70B에 대해 Wikipedia에서 유도된 대조 벡터로 스티어링했을 때도 유사한 3.6%의 ESR 비율이 나타났다.

2. 탐지 vs. 저항의 분해

저자들은 자기 수정 이벤트를 두 가지 구성 요소로 분리한다:

• 탐지 (텍스트 조건화): 프리필링 대조군 결과, 주제 이탈 접두사가 주어진 스티어링되지 않은 모델은 7~13.5%의 빈도로 자기 수정을 수행하며 약 95%의 성공률을 보였다. 이는 재시작의 트리거가 스티어링 섭동에 대한 내부 상태 모니터링을 필요로 하기보다는, 주로 텍스트에 의해 조건화됨(자신의 주제 이탈 출력을 읽는 것)을 시사한다.
• 저항 (지속성): 매칭된 접두사 실험에 따르면, 최근의 주제 적합 토큰들에 대한 자기 회귀적 조건화가 사후 교정 품질의 약 절반을 설명하지만, 스티어링 하에서의 자연스러운 사후 교정 텍스트는 길이만 맞춘 일반적인 주제 적합 접두사보다 2.1배 더 우수한 성능을 보였다. 이는 단순한 텍스트 조건화를 넘어선 "지속적 저항" 구성 요소가 존재함을 나타낸다.

3. 메커니즘 식별

• 잠재 변수 식별: 대조 검색을 통해 자기 수정과 연관된 26개의 SAE 잠재 변수를 식별하였다.
• 인과적 절제: 이 26개의 잠재 변수를 0으로 절제했을 때, ESR 비율은 27% 감소(3.8%에서 2.8%로)하였고, 다중 시도율은 25% 감소하였다.
• 특이성: 활성화 빈도를 맞춘 무작위 잠재 변수 절제는 ESR을 감소시키지 않았으며, 이는 식별된 집합의 특이성을 확인해 준다.
• 시간적 역학: 활성화 궤적을 보면, 이 잠재 변수들은 주제 이탈 콘텐츠 중에 4.4배 더 높게 발화되며, 자기 수정이 시작된 후 감소하지만 베이스라인보다는 여전히 높은 수준을 유지한다.

4. 의도적 강화 및 미세 조정

• 메타 프롬프팅 (Meta-Prompting): 모델에게 "멈추고 다시 궤도에 오르도록 스스로를 강제하라"고 지시했을 때, Llama-3.3-70B의 다중 시도율이 4.3배 증가(7.4%에서 31.7%로)했다.
• 미세 조정 (Fine-Tuning): 합성된 자기 수정 예시로 Llama-3.1-8B를 학습시켰을 때, 시도(attempt) 비율은 증가했으나 성공(success) 비율은 개선되지 않았다. 이는 재시작이라는 행동 패턴은 학습 가능하지만, 효과적인 지속적 저항을 위한 근본적인 능력은 이 특정 학습 레시피만으로는 유도되지 않을 수 있음을 시사한다.

의의 및 시사점

본 논문은 ESR이 AI 안전 및 정렬(alignment)에 두 가지 측면의 함의를 가진다고 주장한다:

1. 방어적 잠재력: ESR은 공격자가 유도한 적대적 활성화 공간 조작으로부터 모델을 보호할 수 있다. 모델이 공격자에 의해 유도된 주제 이탈 드리프트를 자발적으로 감지하고 거부할 수 있기 때문이다.
2. 안전 개입에 대한 간섭: 반대로, ESR은 유익한 스티어링 기반 안전 개입(예: 추론 시 개입 또는 표현 공학)을 방해할 수 있다. 모델은 적대적 섭동과 유익한 섭동을 구분할 수 없으므로, 적대적 스티어링에 저항하는 것과 동일한 방식으로 안전하게 정렬된 스티어링에 저항할 수 있다.

저자들은 ESR이 텍스트 조건화에 의해 크게 결정되는 것처럼 보이는 '탐지'와 달리, '지속적 저항'은 단순한 자기 회귀적 조건화를 넘어선 메커니즘, 즉 모델의 규모와 학습에 민적한 특정 내부 회로를 포함할 가능성이 높다고 결론짓는다. 이 연구는 지속적인 외부 섭동 하에서 모델이 자신의 출력 일관성을 어떻게 추적하는지에 대한 현재의 이해에 존재하는 격차를 강조한다.