Bridging Mechanistic Interpretability and Prompt Engineering with Gradient Ascent for Interpretable Persona Control

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 통제되지 않은 행동적 페르소나 (예: 아첨성, 환각, 단기 보상 추구 등) 는 AI 안전에 심각한 위협이 됩니다. 기존 페르소나 제어 방법론은 다음과 같은 딜레마에 직면해 있습니다:

• 수동 프롬프트 엔지니어링: 직관적이지만 확장성이 부족하고 정밀도가 낮으며, 복잡한 행동 특성을 제어하기 위해 높은 전문성이 필요합니다.
• 자동 최적화 (블랙박스): 효과적이지만 모델 내부 작동 원리와 연결되지 않아 해석 불가능합니다.
• 밀집 벡터 주입 (Dense Steering): 모델의 표현 공간에 직접 벡터를 주입하는 방식은 효과적일 수 있지만, 모델의 자연스러운 활성화 분포를 왜곡시키고 해석 가능한 메커니즘을 제공하지 못합니다.

이러한 한계를 극복하기 위해, 기계적 해석 가능성 (Mechanistic Interpretability) 과 자동 프롬프트 발견을 결합하여 모델 내부의 의미 있는 특징을 기반으로 페르소나를 제어할 수 있는 새로운 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 RESGA (RESidual Gradient Ascent) 와 SAEGA (Sparse Autoencoder Gradient Ascent) 라는 두 가지 알고리즘을 제안합니다. 이 프레임워크는 페르소나 제어 벡터 구축, 유창한 경사 상승 (Fluent Gradient Ascent) 을 통한 프롬프트 최적화, 그리고 초기화 및 선택 전략으로 구성됩니다.

가. 페르소나 조향 벡터 구축 (Persona Steering Vectors)

원치 않는 페르소나를 억제하기 위한 방향 벡터 $v$를 정의합니다.

• RESGA (표현 기반): 페르소나를 보이는 예시 ($D^+$) 와 보이지 않는 예시 ($D^-$) 간의 평균 표현 차이 (Residual Stream) 를 계산하여 조향 벡터를 생성합니다.
  $$v_{repr} = \frac{1}{|D^+|}\sum_{x \in D^+} e(x) - \frac{1}{|D^-|}\sum_{x \in D^-} e(x)$$
• SAEGA (SAE 기반): 희소 오토인코더 (SAE) 의 잠재 변수 (Latents) 를 활용합니다. 페르소나와 관련된 SAE 잠재 변수를 식별하고, 이들의 활성화 차이를 기반으로 조향 벡터를 구성합니다. 이는 모델의 인과적으로 관련된 특징 (Features) 을 직접적으로 타겟팅합니다.

나. 유창한 경사 상승 (Fluent Gradient Ascent)

목표 페르소나에서 멀어지도록 프롬프트를 최적화하되, 자연스러운 언어를 유지하기 위해 유창성 (Fluency) 과 조향 효과 (Steering) 사이의 균형을 맞춥니다.

• 목적 함수: $L_\lambda(t) = f(t) - \lambda H(t)$
  • $f(t)$: 프롬프트 표현이 조향 벡터와 반대 방향을 향하도록 하는 목표 (페르소나 감소).
  • $H(t)$: 모델이 생성한 토큰 시퀀스의 엔트로피 (유창성).
  • $\lambda$: 유창성과 조향 효과 간의 트레이드오프를 조절하는 가중치.
• 최적화 알고리즘: 진화적 프롬프트 최적화 (EPO, Evolutionary Prompt Optimization) 를 사용합니다. 토큰 임베딩에 대한 경사를 계산하여 유망한 토큰을 선택하고, 이를 기반으로 프롬프트 집단을 진화시킵니다. 이는 이산적인 토큰 공간에서 경사 하강을 가능하게 합니다.

다. 초기화 및 선택 전략

• 랜덤 초기화: 무작위 토큰으로 시작하여 다양한 Pareto Frontier(유창성 vs 효과) 를 탐색합니다.
• 시드 초기화 (Seed Initialization): "정직하게 답변하세요"와 같은 자연어 문장으로 시작하여 최적화를 언어 매니폴드 (Manifold) 에 가깝게 유도합니다. 이는 해석 가능한 프롬프트를 발견하는 데 유리합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 기계적 해석 가능성 (SAE 및 표현 분석) 과 자동 프롬프트 발견을 연결하여, 모델 내부 구조를 이해하면서 페르소나를 제어하는 RESGA와 SAEGA를 제안했습니다.
2. 해석 가능한 제어: 블랙박스 최적화가 아닌, SAE 잠재 변수와 같은 기계적으로 의미 있는 특징을 기반으로 프롬프트를 발견하여 제어 메커니즘을 해석 가능하게 만들었습니다.
3. 유창한 경사 상승: 이산적인 토큰 공간에서 경사 기반 최적화를 수행하면서도 자연어 유창성을 유지하는 새로운 최적화 기법을 도입했습니다.
4. 밀집 조향의 한계 규명: 기존 밀집 벡터 주입 방식이 모델의 자연스러운 활성화 분포를 왜곡시키는 반면, 제안된 방법 (특히 SAEGA) 은 분포를 왜곡시키지 않고 정밀하게 제어함을 증명했습니다.

4. 실험 결과 (Results)

Llama 3.1, Qwen 2.5, Gemma 3 모델에서 아첨성 (Sycophancy), 환각 (Hallucination), 단기 보상 추구 (Myopic Reward) 세 가지 태스크로 평가되었습니다.

• 성능:
  • 아첨성: RESGA 와 SAEGA 는 아첨성 오류율을 약 50% (완전한 중립) 수준으로 낮췄으며, 이는 수동 프롬프트 (약 70% 이상) 나 밀집 조향 방법보다 월등히 우수했습니다. (예: Llama 3.1 에서 72.48% $\to$ 49.86%)
  • 기타 태스크: 환각과 단기 보상 태스크에서도 모든 베이스라인 (수동 프롬프트, GCG, ProTeGi 등) 을 능가하는 일관된 개선을 보였습니다.
• 메커니즘 분석:
  • 분포 왜곡 방지: 밀집 조향은 활성화 분포의 분산을 유지하며 평균만 이동시키는 반면, SAEGA 는 분산 자체를 0 에 가깝게 축소하여 개별 사례 단위의 중립성을 달성했습니다.
  • 희소성 보존: 밀집 조향은 활성화된 특징 수 ($L_0$ norm) 를 급격히 증가시켜 자연스러운 매니폴드를 벗어났으나, SAEGA 는 기본 모델과 유사한 희소성을 유지했습니다.
  • 특징 수준 제어: SAEGA 는 아첨성과 관련된 인과적 특징을 선택적으로 억제하고 관련 없는 특징은 방치하는 정밀한 제어를 수행했습니다.
• 프롬프트 특성:
  • 발견된 프롬프트 중 일부는 의미적으로 불연속적일 수 있으나, 시드 초기화를 사용하면 자연어 구조를 유지하면서도 높은 제어 효과를 가진 프롬프트를 얻을 수 있었습니다.
  • 발견된 프롬프트를 추가해도 모델의 일반 언어 모델링 능력 (Perplexity) 에는 미미한 영향만 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 의 안전성을 높이기 위해 내부 표현 구조를 이해하는 것이 외부 프롬프트를 단순히 수정하는 것보다 더 효과적이고 해석 가능함을 입증했습니다.

• 패러다임 전환: "블랙박스" 최적화에서 "화이트박스" (해석 가능) 기반의 자동 프롬프트 발견으로의 전환을 제시했습니다.
• 안전성 강화: 아첨성이나 환각과 같은 유해한 페르소나를 모델의 내부 메커니즘을 통해 정밀하게 중립화할 수 있음을 보였습니다.
• 향후 과제: 레이블이 지정된 데이터 필요성, 모델 간 전이성 (Transferability) 문제, 그리고 유창성과 효과성 간의 트레이드오프를 해결하기 위한 언어적 사전 지식 (Linguistic Priors) 통합 등이 향후 연구 과제로 제시되었습니다.

결론적으로, 이 논문은 기계적 해석 가능성과 프롬프트 엔지니어링을 결합하여 LLM 의 행동을 더 안전하고 통제 가능하게 만드는 새로운 표준을 제시했습니다.