Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

다음은 "정렬된 대규모 언어 모델 (LLM) 의 FFN 행동 회로에 대한 진단을 위한 Perturbation Probing: 프롬프트당 2 회 통과" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 의 정렬된 행동 (예: 안전 거부, 지시 따르기) 뒤에 있는 신경 메커니즘을 식별하는 기존 방법들은 비용, 인과성, 작업 특이성 사이의 근본적인 트레이드오프에 직면해 있습니다:

• 프로빙 분류기 및 SAE: 표현을 식별하지만 인과성을 확인할 수는 없습니다.
• 활성화 패치 및 자동 회로 발견: 인과적이지만 계산 비용이 많이 듭니다 (구성 요소당 $O(n)$회 순전파).
• 기반도 Attribution: 저렴하지만 작업과 무관합니다. 이는 일반적으로 중요한 뉴런을 식별할 뿐 특정 행동에 고유한 뉴런을 식별하지 못하며, 부호 없는 순위는 행동을 촉진하거나 억제하는 뉴런을 구분하지 못합니다.

동시에 저렴함 (프롬프트당 상수 시간), 인과성 (개입에 의해 검증됨), 작업 특이성, 그리고 실행 전 개입 성공을 예측하는 진단적 성격을 모두 갖춘 방법이 부족합니다.

2. 방법론: Perturbation Probing

저자들은 Perturbation Probing을 제안합니다. 이는 프롬프트당 2 회의 순전파만 필요하고 역전파가 필요 없는 2 단계 파이프라인입니다.

A. 파이프라인

1. 행동 관측 가능 변수 정의:

   • 이 방법은 이진 결정 (예: 거부 vs. 준수) 을 나타내는 스칼라 "로그잇 간격"($F$) 을 정의합니다.
   • $F = \bar{z}_R - \bar{z}_A$이며, 여기서 $\bar{z}$는 거부 토큰 집합 ($R$) 의 평균 로그잇에서 승인 토큰 ($A$) 의 평균 로그잇을 뺀 값입니다.
   • 이 간격은 모델의 최종 은닉 상태의 선형 함수입니다: $F = d_F^\top h^{(L)} + b$.

2. 부호 있는 중요도 계산 (가설 생성):

   • 이 방법은 원본 프롬프트 ($X$) 와 교란된 프롬프트 ($\tilde{X}$) 에 대한 두 번의 순전파를 사용하여 각 FFN 뉴런 $n$에 대한 부호 있는 중요도 점수($I_n$) 를 계산합니다.
   • 교란: 핵심 내용을 변경하지 않고 목표 결정을 반전시키기 위해 휴리스틱 반사실적 가정이 적용됩니다 (예: 안전을 위한 BPE 토큰 뒤섞기, 아첨을 위한 잘못된 대 옳은 전제).
   • 공식: $I_n = c_n \cdot \Delta a_n$
     • $c_n$ (구조적 결합): 행동 방향 $d_F$와 뉴런의 출력 투영 가중치 ($W_{down}$) 의 내적입니다. 이는 정적이며 가중치에서 한 번 계산됩니다.
     • $\Delta a_n$ (교란 반응): 교란된 입력과 원본 입력 사이의 뉴런 활성화 변화 ($a_n(\tilde{X}) - a_n(X)$) 입니다.
   • 순위 매기기: 뉴런은 $|I_n|$으로 순위가 매겨집니다. 부호는 해당 뉴런이 행동을 촉진하는지 억제하는지를 나타냅니다.

3. 인과적 검증 및 진단:

   • 검증: 상위 순위 뉴런은 제거 (Ablation)(가중치 0 으로 설정), 패치(활성화 교체), 복원(교란 되돌리기) 을 통해 검증됩니다.
   • FFN/스킵 진단: 회로 구조를 예측하기 위해 비율이 계산됩니다:
     $$\text{FFN/스킵} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$$
     • 높은 비율 (>0.3): 대립 회로(행동이 FFN 에 집중됨) 를 나타냅니다.
     • 낮은 비율 (<0.2): 라우팅 회로(행동이 어텐션 또는 스킵 연결을 통해 분산됨) 를 나타냅니다.

3. 주요 기여 및 발견

A. 두 가지 회로 구조의 발견

이 연구는 FFN/스킵 비율에 의해 결정되는 LLM 행동이 두 가지 뚜렷한 위상 구조로 조직화되어 있음을 밝힙니다:

1. 대립 회로 (FFN/스킵 > 0.3):

   • 메커니즘: RLHF 가 사전 학습 경향 (예: 유해한 요청에 대한 거부 대 사전 학습된 준수 경향) 에 대립하도록 모델을 학습시킬 때 발생합니다.
   • 구조: 제어는 소수의 FFN 뉴런 (예: 약 50 개 뉴런, 또는 전체 파라미터의 0.014%) 에 집중됩니다.
   • 개입: 이러한 뉴런은 제거(모드 1) 또는 증폭(모드 2) 에 적합합니다.
   • 예시: Qwen3-4B 에서 50 개 뉴런을 제거하면 80% 의 프롬프트에서 거부 템플릿이 변경되었으나, 유해한 준수는 거의 0% 로 유지되었습니다.

2. 라우팅 회로 (FFN/스킵 < 0.2):

   • 메커니즘: RLHF 가 대립하는 것이 아니라 강화하는 사전 학습 행동 (예: 언어 선택, 수학 추론) 의 경우 발생합니다.
   • 구조: 행동은 어텐션 메커니즘과 스킵 연결에 걸쳐 분산됩니다. 식별된 FFN 뉴런은 단순히 "읽기 전용"(높은 활성화 반응이지만 낮은 구조적 결합) 일 뿐입니다.
   • 개입: 제거는 영향이 없습니다. 대신 방향 주입(모드 3) 이 작동합니다: 특정 계층에서 잔여 스트림에 행동 방향 벡터 ($d_F$) 를 직접 주입합니다.
   • 예시: 이중 언어 Qwen 모델에서 영어에서 중국어로의 방향을 주입하면 99.1% 의 프롬프트에서 출력 언어가 전환되었습니다. 이는 이중 언어 학습이 없거나 극단적인 FFN/스킵 비율을 가진 Llama/Gemma 모델에서는 실패했습니다.

B. 안전 위상 스펙트럼

이 논문은 13 개 모델과 4 가지 아키텍처 패밀리 (Qwen, Llama, Gemma) 에 걸쳐 안전 메커니즘을 매핑합니다:

• Qwen: 집중된 FFN 병목 현상에 안전을 집중시킵니다 (높은 제거 효과).
• Llama: 안전을 스킵 연결에 분산시킵니다 (중간 정도의 제거 효과).
• Gemma: 사후 정규화 뒤에 안전을 보호합니다 (0% 제거 효과).
• 통찰: FFN/스킵 비율은 이 스펙트럼을 정량화하며 뉴런 수준의 편집이 가능한지 예측합니다.

C. 소형 모델의 정밀 편집

Qwen3.5-2B 모델에서 저자들은 단 20 개 뉴런에 의해 지배되는 "두 번째 추측" 회로를 식별했습니다:

• 제거: 다중 턴 아첨적 항복을 제거 (36.7% $\to$ 0%) 했지만 단일 턴 사실 수정은 억제했습니다.
• 증폭: 10 개 특정 뉴런을 2 배 증폭하면 TruthfulQA 에서 사실 수정률이 재학습 없이 52% 에서 88% 로 향상되었습니다.
• 의의: 특정 행동 결함은 특정 뉴런을 스케일링함으로써 "정밀 템플릿 계층 편집"을 통해 수정될 수 있음을 보여줍니다.

4. 결과 요약

• 안전: 50 개 뉴런이 Qwen3-4B 의 거부 템플릿을 제어합니다. 제거는 80% 의 응답 형식을 변경하지만 근본적인 안전 지식 (사전 학습 경고 생존) 을 유지합니다.
• 언어 라우팅: 방향 주입은 이중 언어 Qwen 모델에서 99.1% 의 언어 전환을 달성하지만, 비이중 언어 모델이나 비선형 행동 (수학/코드) 에서는 실패합니다.
• 효율성: 이 방법은 2 회 순전파로 가설을 생성하고 한 번의 스윕 (~총 150 회) 으로 검증하여 $O(n)$ 회로 발견 방법보다 훨씬 저렴합니다.
• 비교: Qwen 모델에서는 기반도 방법보다 우수합니다 (작업 특이적 인과적 발견) 하지만, 안전이 어텐션 매개인 Llama 모델에서는 효과가 적습니다.

5. 의의 및 함의

• 메커니즘적 이해: RLHF 가 행동을 조직화하는 방식을 설명하는 통합 프레임워크를 제공하며, "작성자"(대립 회로의 FFN 뉴런) 와 "읽기 전용"(라우팅 회로의 뉴런) 을 구분합니다.
• 실용적 도구집: 비싼 편집을 시도하기 전에 올바른 개입 전략 (제거 대 방향 주입) 을 결정하기 위한 진단 도구 (FFN/스킵 비율) 를 제공합니다.
• 안전 감사: 안전이 종종 견고한 사전 학습 지식 위에 얇은 "템플릿 계층"임을 드러냅니다. 이는 표면적 거부는 취약하고 편집 가능하지만, 깊은 안전 지식은 견고함을 시사합니다.
• 정렬 편집: 아첨과 같은 특정 행동 결함이 식별된 뉴런의 증폭을 통해 수정될 수 있음을 보여주며, 전체 모델 재학습 없이 "정밀 정렬"로 가는 길을 제시합니다.
• 이론적 검증: RLHF 정렬 행동의 맥락에서 메커니즘적 해석 가능성의 핵심 가정 (선형성, 국소성, 희소성, 구성성) 을 검증합니다.

결론적으로, Perturbation Probing은 저렴한 상관관계와 비싼 인과성 사이의 간극을 메우며, 정렬된 LLM 의 행동 회로를 이해하고 편집하기 위한 확장 가능한 진단 프레임워크를 제공합니다.