ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 활성화 공간에서 학습된 방향 (latent directions) 이 인코딩하는 특징 (features) 을 이해하기 위해서는 해당 방향을 강력하게 활성화하는 입력을 식별해야 합니다. 기존에는 대규모 데이터셋을 검색하여 최적의 입력을 찾는 방식 (Dataset Search) 을 주로 사용했으나, 이는 계산 비용이 매우 높고 특정 하위 구성 요소나 복잡한 회로에 적용하기 어렵다는 한계가 있습니다.

대안으로 특징 시각화 (Feature Visualization) 기법이 제안되었으나, 텍스트의 이산적 (discrete) 인 특성으로 인해 기존 시각화 기법 (예: 직접적인 경사 하강법) 을 LLM 에 적용하는 데 어려움이 있었습니다. 또한, 기존 프롬프트 최적화 기법들은 이 도메인에서 자주 발생하는 국소 최적점 (local minima) 문제에 취약하여, 원하는 특징을 효과적으로 활성화하는 프롬프트를 찾지 못하는 경우가 많았습니다.

2. 방법론: ADAPT (Methodology)

저자들은 이러한 한계를 극복하기 위해 ADAPT (Adaptive DynAmic Prompt Tuning) 라는 하이브리드 프롬프트 최적화 알고리즘을 제안했습니다. ADAPT 는 빔 서치 초기화와 적응적 경사 유도 변이 (gradient-guided mutation) 를 결합하여 설계되었습니다.

핵심 구성 요소

1. 빔 서치 초기화 (Beam-Search Initialization):

   • GCG(Greedy Coordinate Gradient) 와 같은 기존 방법들이 무작위 초기화에 의존하여 국소 최적점에 빠지는 문제를 해결하기 위해 도입되었습니다.
   • 여러 개의 빔 (beam) 을 병렬로 유지하며, 모델의 예측 확률 분포를 기반으로 토큰을 오른쪽에 추가하거나 중간에 삽입하는 방식으로 초기 프롬프트를 생성합니다.
   • 이는 최적화 시작점을 유리한 영역으로 설정하여 탐색 공간을 더 넓게 탐색하게 합니다.

2. 하이브리드 후보 생성 (Hybrid Candidate Generation):

   • GCG 스타일 스왑: 경사 기반 추정치를 사용하여 토큰을 교체하는 방식 (exploitation).
   • Logit-스왑 (Logit-swap): 모델의 자체 예측 확률에서 토큰을 샘플링하여 교체하는 무경사 방식 (exploration).
   • ADAPT 는 이 두 가지 변이 메커니즘을 적응적으로 혼합하여, 경사 기반 방법의 정밀함과 무경사 방법의 탐색 능력을 균형 있게 활용합니다.

3. 다양성 보존 평가 및 선택 (Diversity-Preserving Evaluation & Selection):

   • 그룹 관리: 프롬프트를 여러 그룹으로 나누어 각 그룹 내에서 독립적으로 최적화를 수행합니다. 이는 모든 프롬프트가 동일한 국소 최적점으로 수렴하는 것을 방지합니다.
   • 슬롯 관리: 각 그룹의 '보장된 슬롯 (guaranteed slots)'과 전역적으로 가장 개선된 후보를 선택하는 '자유 슬롯 (free slots)'을 통해 다양성과 성능을 동시에 유지합니다.
   • 유창성 페널티 (Fluency Penalty): 최적화 과정에서 생성된 텍스트가 의미 없는 '지저분한 (gibberish)' 문장이 되지 않도록, 교차 엔트로피를 기반으로 한 점진적인 페널티를 적용합니다.

3. 주요 기여 (Key Contributions)

1. ADAPT 알고리즘 개발: 빔 서치 초기화와 경사 유도 변이를 결합하여 기존 베이스라인 (GCG, BEAST, EPO) 을 능가하는 새로운 알고리즘을 제안했습니다.
2. 체계적인 평가 지표 도입: Gemma 2 2B 모델의 희소 오토인코더 (SAE) 잠재 변수를 대상으로 평가하며, 데이터셋 활성화 통계에 기반한 새로운 지표 (활성화 비율, 활성화 순위) 를 도입하여 다양한 기법의 정량적 비교를 가능하게 했습니다.
3. 경사 기반 최적화의 신뢰성 분석: GCG 와 같은 경사 기반 방법의 신호 - 잡음비 (signal-to-noise ratio) 가 낮고 초기화에 민감하다는 것을 실증적으로 규명했습니다.
4. 유창성의 역할 규명: 특징 시각화 도메인에서 유창성 (fluency) 페널티가 해석 가능성에 미치는 영향을 분석하고, ADAPT 의 설계가 인간이 이해할 수 있는 패턴을 더 잘 복원함을 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: Gemma 2 2B 모델의 16k-폭 잔여 스트림 (residual stream) SAE 에서 추출한 486 개의 잠재 변수 (latents) 를 사용하여 평가했습니다.
• 성능 비교:
  • ADAPT 는 모든 레이어와 잠재 변수 유형에서 일관되게 다른 방법들 (GCG, BEAST, EPO) 보다 우수한 성능을 보였습니다.
  • 특히 GCG 는 초기 레이어에서는 우세하지만 깊은 레이어로 갈수록 성능이 저하되는 반면, ADAPT 는 모든 레이어에서 안정적인 성능을 유지했습니다.
  • 전체 특징의 **70.4%**에서 GCG 보다 높은 활성화 값을 기록했습니다 (Wilcoxon 부호 순위 검정, p < 10⁻²⁸).
• 실패 모드 분석:
  • GCG 는 초기 프롬프트와 탐색 경로에 따라 결과가 크게 달라지며, 국소 최적점에 쉽게 빠지는 경향이 있었습니다.
  • BEAST 는 빠른 속도를 가지지만 세밀한 정제 능력이 부족했습니다.
  • ADAPT 는 이 두 방법의 보완적 특성을 결합하여 실패를 최소화했습니다.
• 해석 가능성 (Interpretability):
  • 인간 평가자 (raters) 를 통한 평가 결과, ADAPT 가 생성한 프롬프트는 GCG 나 유창성 페널티가 적용된 GCG 보다 현저히 더 높은 해석 가능성 점수를 받았습니다.
  • 높은 활성화 비율이 인간이 인지하는 패턴의 명확성과 강한 상관관계 (r = 0.645) 를 보였으며, ADAPT 는 이러한 고활성화 프롬프트를 더 잘 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 의 특징 시각화가 실현 가능 (tractable) 하지만, 텍스트의 이산적 특성과 비직교성 (non-orthogonality) 으로 인한 국소 최적점 문제 등 도메인 특유의 난제에 맞춰 설계된 가정이 필요함을 입증했습니다.

ADAPT 는 기존 방법들의 한계를 극복하고, LLM 의 내부 작동 원리를 해석하는 데 있어 강력한 도구를 제공합니다. 이는 단순한 특징 발견을 넘어, 모델 회로 (model circuits) 나 스티어링 벡터 (steering vectors) 와 같은 복잡한 객체의 시각화로 확장될 수 있는 가능성을 제시하며, LLM 해석 가능성 연구의 중요한 이정표가 됩니다.