Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal

"Beyond I'm Sorry, I Can't: Dissecting Large-Language-Model Refusal" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

안전성을 위해 정렬된 대규모 언어 모델 (LLM) 은 해로운 프롬프트를 거부할 때 거부 행동(예: "죄송하지만 그걸 도와드릴 수 없습니다"라고 응답) 에 크게 의존합니다. 그러나 이러한 행동을 주도하는 내부 메커니즘은 잘 이해되지 않고 있습니다. 현재의 안전 장치는 행동 기반 훈련 (RLHF, SFT) 과 사후 필터에 의존하는데, 이는 종종 취약하며 '보상 해킹 (reward hacking)'에 취약하고, 모델이 왜 거부하거나 수용하는지 설명하지 못합니다.

• 격차: 기존 기계적 해석성 도구 (선형 프로브 등) 는 특징들이 독립적이고 선형적으로 기여한다고 가정합니다. 이들은 비선형 상호작용과 중복성(히드라 효과) 을 포착하지 못하는데, 이는 여러 특징이 동일한 기능을 구현하며 하나를 억제하면 다른 것이 그 행동을 유지하기 위해 활성화되는 현상입니다.
• 목표: 시행착오식 정렬을 넘어, 거부를 구체적인 인과적 희소 오토인코더 (SAE) 특징으로 추적하고 복잡한 상호작용을 이해하여 세밀한 감사와 표적 개입을 가능하게 하는 것입니다.

2. 방법론

저자들은 Gemma-2-2B-IT와 LLaMA-3.1-8B-IT 두 가지 지시 튜닝 모델에서 거부를 지배하는 인과적 특징을 식별하기 위한 엔드 - 투 - 엔드 파이프라인을 제안합니다. 이들은 잔류 스트림 활성화에 대해 훈련된 **희소 오토인코더 (SAE)**를 사용하여 중첩된 벡터를 해석 가능한 잠재 특징으로 분리합니다.

파이프라인은 세 가지 명확한 단계로 구성됩니다:

1 단계: 거부 매개 방향 및 후보 선정

• 조향 벡터 (Steering Vector): Arditi 등 (2024) 에 따라, 해로운 프롬프트 (거부) 와 매칭된 benign 프롬프트의 잔류 스트림 활성화 차이를 계산하여 "거부 조향 벡터"를 생성합니다.
• 특징 선정: 이 조향 벡터와 SAE 특징의 디코더 가중치 간의 코사인 유사도를 계산합니다. 문법을 인코딩하는 초기 레이어 (1-2) 를 제외하고 거부 방향과 가장 잘 정렬된 Top-K 특징을 레이어 전반에 걸쳐 초기 후보 집합으로 선정합니다.

2 단계: 탐욕적 필터링 (최소 충실 집합)

• 목표: Top-K 집합을 가지치기하여, 해당 특징들을 제거 (zeroing out) 했을 때 모델이 거부에서 수용 (자일브레이크) 으로 전환되는 최소 부분집합을 찾습니다.
• 알고리즘: 블록별 선택 알고리즘 (알고리즘 1) 을 사용합니다. 반복적으로 특징 블록을 샘플링하여 제거합니다. 모델이 "I" 토큰을 생성할 확률에 미치는 영향을 측정합니다 ("I" 토큰은 강력한 거부 지표입니다).
• 충실성 확인: 블록 제거가 "I" 토큰 확률을 유의미하게 변화시키면 해당 블록을 유지하고, 그렇지 않으면 폐기합니다. 이를 통해 인과적 특징의 "최소 충실 집합"이 도출됩니다.

3 단계: 상호작용 발견 (팩토리제이션 머신)

• 히드라 효과: 1 단계에서 식별된 "중요한" 특징들이 자일브레이크 도중에는 비활성 상태인 경우가 있음을 초기 테스트에서 발견했습니다. 이러한 비활성 특징을 제거하면 자일브레이크가 실패하는 것으로 나타났는데, 이는 활성 특징을 제거하면 잠복해 있던 "중복" 특징이 보상하기 위해 활성화되었음을 시사합니다.
• 팩토리제이션 머신 (FM): 이러한 비선형 의존성을 포착하기 위해 저자들은 SAE 활성화에 대해 2 차 팩토리제이션 머신을 훈련합니다.
  • FM 은 선형 가중치뿐만 아니라 저차원 잠재 임베딩을 사용한 쌍별 특징 상호작용도 모델링합니다.
  • 새로 발견된 특징들을 2 단계 특징들의 FM 임베딩과 코사인 유사도를 기반으로 순위 매깁니다.
  • 이러한 추가 특징들을 제거 집합에 추가하여 "인과적 이웃"을 완전히 매핑합니다.

3. 주요 기여

1. 최초의 엔드 - 투 - 엔드 파이프라인: SAE, 탐욕적 가지치기, 팩토리제이션 머신을 결합하여 인과적 거부 특징을 분리해 내는 새로운 프레임워크.
2. 비선형 상호작용 모델링: 선형 프로브가 놓치는 비선형 상호작용을 통해 인과적으로 연결된 특징들을 복원하기 위한 FM 도입.
3. 중복성 발견: 안전 메커니즘 내 "히드라 효과"에 대한 실증적 증거. 즉, 중복 특징들은 주된 특징이 억제될 때까지 잠복하다가 거부 행동을 유지하기 위해 활성화됨.
4. 오픈 리소스: 해석 가능하고 안전한 LLM 에 대한 향후 연구를 촉진하기 위한 코드 및 특정 특징 인덱스 공개.

4. 주요 결과

• 자일브레이크 성공률 (ASR):
  • LLaMA-3.1-8B: 2 단계 제거로 **71%**의 ASR 을 달성했습니다. 3 단계 (FM 으로 발견된 특징 추가) 는 고유 특징 수를 늘렸으나, 비선형적으로 기여하는 중복 특징을 제거함에 따라 ASR 을 **57%**로 약간 조정했습니다.
  • Gemma-2-2B: 2 단계는 모델 크기/난이도로 인해 **4%**의 ASR 을 기록했으나, 3 단계는 고유 특징을 크게 증가시켜 **31%**의 ASR 을 달성했습니다.
• 특징 의미론:
  • 특징들은 Coconot 안전 분류 체계에 매핑되었습니다.
  • 일부 특징은 해악/폭력을 인코딩했지만, 대다수는 프로그래밍 구조, 구두점, 법률/규제 관련 내용과 연관되었습니다.
  • 인간 연구: 활성화 기반 레이블과 인간 해석을 비교한 인간 주석 연구는 정확도가 **13.42%**에 불과함을 보여주었습니다. 이는 현재 SAE 특징이 인간 직관을 위해 완벽하게 분리되지 않았음을 시사하지만, 기능적으로는 인과적임을 의미합니다.
• 중복성 분석:
  • LLaMA 에서 **74%**의 중복 특징들은 주된 활성 집합이 제거된 후에만 시스템 토큰 (특히 <|begin of text|>) 에서 활성화되었습니다.
  • 조향 실험: benign 프롬프트에서 이러한 중복 특징을 높은 양의 값으로 고정 (clamp) 하면 거부나 해악처럼 들리는 응답 (예: "명상은 불법입니다") 이 유도되어, 안전 행동에서 이들의 인과적 역할을 확인했습니다.
• 선형 프로브와의 비교: 선형 프로브 접근법은 FM 기반 결과에 비해 현저히 적은 수의 자일브레이크 (101 개 샘플) 만을 유발하는 특징들을 식별하여, 거부 메커니즘이 비선형 특징 상호작용에 크게 의존함을 증명했습니다.

5. 의의 및 향후 작업

• 기계적 이해: 이 연구는 거부를 "블랙박스" 행동 출력으로 보는 패러다임에서, 복잡하고 비선형적인 상호작용 및 중복성을 포함하는 희소 서브회로로 이해하는 패러다임으로 전환합니다.
• 표적 개입: 특정 "히드라 머리"(중복 특징) 를 식별함으로써, 안전 엔지니어는 가장 명백한 특징뿐만 아니라 거부 특징의 전체 네트워크를 억제하는 더 견고한 개입을 설계할 수 있습니다.
• 향후 방향:
  • 중복성의 안전상 이점/위험 특성화.
  • 다양한 자일브레이크 전략 (역할극, 다중 턴) 이 활성화 공간을 어떻게 교란하는지 분석.
  • 특정 추론 유형 (예: 법률 추론) 에 대한 거부 강화.
  • 특징과 인간 직관의 정렬을 개선하기 위한 SAE 차원성 향상.

결론: 본 논문은 LLM 거부가 단일 행위가 아니라 분산되고 중복적이며 비선형적으로 상호작용하는 특징들의 집합임을 보여줍니다. 이러한 잠재 공간을 이해하고 조작하는 것은 더 투명하고 감사 가능하며 견고한 AI 안전 메커니즘을 향한 길을 제시합니다.