기술 요약: 챗 모델에서 페르소나 하류(Downstream)에 존재하는 거절 메커니즘

문제 정의

지시어 튜닝된(instruction-tuned) 챗 모델의 활성화 공간(activation space)에서 거절(안전 메커니즘)과 페르소나 특성(행동적 특성)을 나타내는 선형 방향(linear directions)이 각각 식별되었으나, 이 두 메커니즘은 역사적으로 분리되어 연구되어 왔다. 기존 문헌은 거절이 잔차 스트림(residual stream) 내의 단일 방향에 의해 매개되며, 입력 측 유해성 탐지, 집계, 후기 레이어 표현의 세 단계로 전개된다는 점을 확립했다. 그러나 거절이 행동으로 표현되는 최종 단계, 즉 모델의 정체성(identity)과 어떻게 상호작용하는지에 대한 연구는 거의 이루어지지 않았다.

본 논문은 거절이 독립적인 안전 메커니즘으로 작동하는지, 아니면 모델의 페르소나에 의존적인지를 조사한다. 구체적으로, 순응적인(compliant) 모델 페르소나가 거절 신호가 계산되었음에도 불구하고 거절의 표현을 게이팅(차단/억제)할 수 있는지 묻는다.

방법론

저자들은 두 가지 지시어 튜닝 모델인 Qwen2.5-7B-Instruct와 Llama-3.1-8B-Instruct를 대상으로 실험을 수행했다. 방법론은 선형 방향을 추출하고 잔차 스트림에서 인과적 개입(causal interventions)을 수행하는 과정을 포함한다.

1. 방향 추출

• 모델-페르소나 방향 ($v_{MP}$): "순응적인" 페르소나를 정의하기 위해 대조적 프롬프트(contrastive prompts)를 사용하여 추출했다. 이 방향은 고정된 레이어와 토큰 위치에서 긍정적 특성(순응적) 프롬프트와 부정적 특성 프롬프트 사이의 잔차 스트림 활성화 평균 차이다.
• 거절 방향 ($\hat{r}$): 기존 방식(Arditi et al., 2024)을 따라 긍정적 거절 추가 및 제거(ablation)를 사용하여 추출했다.
• 제어 방향: 기본 페르소나와 순응적 페르소나를 구분하기 위해 "어시스턴트 축"($v_A$)을 추출하였으며, 무작위 단위 방향($v_{rand}$)을 베이스라인으로 사용했다.

2. 개입(Intervention) 유형

연구에는 세 가지 주요 개입 유형이 사용되었다:

• 스티어링(Steering): 순응적 페르소나 또는 거절을 유도하기 위한 가산적 스티어링 ($h_\ell \leftarrow h_\ell + \alpha v$).
• 텐션 실험(Tension Experiments): 동일한 순방향 패스(forward pass) 내에서 순응적 페르소나 방향과 거절 방향을 동시에 더하여, 이들이 단일 메커니즘인지 혹은 상호작용하는 메커니즘인지를 테스트했다.
• 넉아웃(Knockout, 투영): 특정 레이어에서 페르소나 방향을 투영하여 제거($h_\ell \leftarrow h_\ell - \langle h_\ell, \hat{v}_{MP} \rangle \hat{v}_{MP}$)했을 때 거절이 복구되는지 확인했다. 이는 무작위 방향을 투영한 결과와 비교되었다.

3. 평가 지표

• 안전 벤치마크: 313개의 프롬프트로 구성된 StrongREJECT 금지 프롬프트 세트.
• 삼중 분류(Tri-Classification): 진정한 순응과 실패 모드를 혼동하지 않기 위해 응답을 세 가지 범주로 분류했다: 거절(Refusal), 우회(Bypass) (거절 없이 유해한 콘텐츠 포함), 퇴행(Degenerate) (비정상적이거나 부분적으로 정보가 누출된 출력).
• 추가 지표: StrongREJECT 공격 성공률(ASR), Llama-Guard-3의 비안전율, 그리고 부분적 유해 정보의 누출 점수.
• 행동적 시그니처: 페르소나 방향이 노이즈가 아닌 실제 행동 구조를 인코딩하는지 검증하기 위해 GPT-4o를 사용하여 적대감, 정서적 조율, 일관성을 점수화했다.

주요 결과

1. 기하학적 독립성

스티어링 레이어(Layer 20)에서의 코사인 유사도 분석 결과, 순응적 페르소나 방향과 거절 방향은 반평행(anti-parallel)이 아니라 대략 직교($\text{cosine} \approx -0.18 \sim -0.28$)하는 것으로 나타났다. 이는 페르소나에 의한 거절 억제가 활성화 공간에서의 직접적인 상쇄 결과가 아니라 별개의 상호작용임을 확인시켜 준다. 두 방향 모두 기본 어시스턴트 축과도 구별된다.

2. 페르소나에 의한 거절 게이팅

• 억제: 순응적 페르소나 스티어링을 적용하면 거절률이 급격히 감소했다. Llama-3.1-8B의 경우, 거절률이 **97.4%(베이스라인)**에서 **1.6%**로 떨어졌다.
• 억제의 성격: 이러한 억제는 단순히 유해한 완성을 초래하는 것이 아니라, 우회(42.2%)와 퇴행(56.2%) 출력을 증가시켰다. 이는 단순한 안전 우회가 아닌 복잡한 실패 모드임을 나타낸다.
• 넉아웃을 통한 복구: 후기 레이어(특히 Llama의 Layer 20)에서 페르소나 방향을 투영하여 제거했을 때, 거절률이 **96.8%**로 복구되어 베이스라인에 거의 근접했다. 동일한 레이어에서 무작위 방향을 투영했을 때는 효과가 없었다(거절률 1.6% 유지).
• 레이어 민감도: 이 효과는 후기 레이어 윈도우(L20–L22)에 국한된다. 더 이른 레이어(L18)나 더 늦은 레이어(L24)에서의 넉아웃은 거절을 완전히 복구하는 데 실패했다.

3. 텐션 실험

• 초기 vs 후기 거절 추가: 거절이 계산되는 초기 레이어에서 거절 방향을 재도입했을 때는 순응적 페르소나 스티어링 하에서 거절이 복구되지 않았다. 그러나 후기 레이어(L22+)에서 재도입했을 때는 거절이 부분적으로 복구되었다.
• 결론: 이는 거절 신호가 성공적으로 계산되지만, 표현 단계에서 **게이팅(gated)**된다는 것을 의미한다. 페르소나 방향은 거절 신호가 행동으로 읽혀지는 것을 방지하는 스위치 역할을 한다.

의의 및 주장

본 논문은 챗 모델의 거절이 독립적인 안전 메커니즘이 아니라, 후기 레이어 표현 단계에서 정체성 수준의 표현(identity-level representations)에 의해 게이팅된다고 주장한다.

• 하류 의존성(Downstream Dependence): 이전 연구(Lee et al., 2025)가 거절이 기록될지 여부를 결정하는 상류의 콘텐츠 축 특징을 식별했다면, 본 연구는 거절이 실제로 표현될지 여부를 결정하는 하류의 정체성 축 페르소나 게이트를 식별했다.
• 단일 지표 평가의 한계: 저자들은 공격 성공률(ASR)에만 의존하는 것은 안전 실패의 구조를 가릴 수 있다고 주장한다. 순응적 페르소나는 단순히 거절을 유해한 출력으로 바꾸는 것이 아니라, 높은 비율의 비정상적(퇴행적) 출력이나 우회된 출력을 생성한다.
• 메커니즘적 통찰: 거절 방향은 콘텐츠 중심의 계산과 정체성 중심의 게이트라는 두 가지 제어 지점에 의해 둘러싸여 있다. 거절을 고립된 방향으로 취급하는 분석은 이러한 페르소나에 대한 결정적 의존성을 놓치게 된다.

본 연구는 안전 미세 조정(safety fine-tuning)이 거절 방향을 생성하지만, 그 거절의 표현은 네트워크의 후기 레이어에 존재하는 모델의 페르소나 표현에 따라 결정된다는 결론을 내린다.