기술 요약: 전반부에서의 거절 메커니즘 파괴

문제 정의

정렬된 언어 모델은 유해한 요청을 거절하도록 설계되었으나, 이러한 거절 메커니즘은 취약합니다. "프리필(prefill) 탈옥"으로 알려진 특정 유형의 공격은 모델 자신의 응답 턴에 긍정적인 접두사(예: "물론히, 여기는")를 삽입하는 방식을 포함합니다. 이 간단한 한 줄의 개입은 모델이 안전 정렬을 우회하여, 원래라면 거절했을 유해한 콘텐츠를 생성하게 만듭니다.

이러한 공격의 행동적 효능은 잘 문서화되어 있지만, 근저에 있는 기계론적 실패 원인은 여전히 불분명합니다. 구체적으로, 이 공격이 모델의 내부 유해성 표현을 저하시키는 것인지, 아니면 모델이 요청을 유해하다고 강하게 인식하면서도 단순히 거절 결정을 무시하는 것인지는 알려져 있지 않습니다. 또한, 거절 결정이 내려지고 이후 패배하는 정확한 계산 위치와 성격 또한 인과적으로 국지화되지 않았습니다.

방법론

본 연구는 오픈 웨이트 인스트럭션 튜닝 모델(Qwen2.5-1.5B/3B, SmolLM2-1.7B, Phi-3-mini-3.8B)에 대한 화이트박스 접근법을 사용하여 기계론적 접근 방식을 채택합니다. 방법론은 표현 프로빙(representation probing), 활성화 패칭(activation patching), 그리고 인과적 개입(causal intervention)을 결합하여 거절 과정을 해부합니다.

1. 표현 프로빙(Representation Probing): 마지막 프롬프트 토큰의 은닉 상태(hidden state)에서 "유해성"을 탐지하도록 선형 프로브를 훈련합니다. 이는 모델이 응답 토큰을 생성하기 전, 요청을 얼마나 강력하게 유해하다고 표현하는지에 대한 기준점을 설정합니다.
2. 프리필 공격 시뮬레이션: 모델의 응답이 긍정적인 접두사로 시작하도록 강제하여 공격을 시뮬레이션하며, 이를 통해 모델이 생성을 계속할 수 있도록 합니다.
3. 인과적 패칭 및 복구(Causal Patching and Restoration):
   • 유해 방향 주입(Harm Direction Injection): 공격 중 "유해 방향"(일반적인 유해 프롬프트로부터 학습됨)을 응답 위치에 다시 주입하여, 신호를 복구했을 때 거절이 회복되는지 테스트합니다.
   • 상태 전이(State Transfer): 모델 자신의 "거절 상태"(일반적인 거절과 공격받은 순응 사이의 잔차 스트림 차이)를 공격 시나리오로 이식합니다.
   • 어텐션 넉아웃(Attention Knockout): 초기 응답 토큰에서 강제된 프리필 토큰으로 향하는 어텐션 엣지를 제로(zero) 처리하여(knock out), 프리필의 영향력이 직접적인 어텐션에 의존하는지 테스트합니다.
4. 대조군 및 베이스라인: 모든 개입은 다음과 같은 엄격한 대조군을 통해 테스트됩니다:
   • 질량 매칭 어텐션 대조군(Mass-matched attention controls): 효과가 프리필에 특이적인지 확인하기 위해 프리필 이외의 키(key)에 대한 어텐션을 제거합니다.
   • 양호한 잔차 대조군(Benign residual controls): 일반적인 교란과 유해 특이적 효과를 구분하기 위해 양호한 상태를 패칭합니다.
   • 베이스 모델 대조군: 안전 튜닝되지 않은 베이스 모델에서 동일한 실험을 수행하여, 안전 특화 메커니즘과 일반적인 자기회귀적 조건화(autoregressive conditioning)를 구분합니다.
   • 위치 대조군(Positional controls): 효과를 국지화하기 위해 서로 다른 응답 윈도우(전반부 대 후반부)에 걸쳐 용량 매칭된 주입을 수행합니다.

주요 기여 및 결과

1. 표현과 행동의 해리(Dissociation)

본 연구는 정량적 해리를 입증합니다: 전체 강도의 프리필 공격 하에서 모델의 행동적 거절은 확률 수준으로 붕괴되지만, 내부의 유해성 표현은 온전하고 강력하게 유지됩니다.

• 모델이 공격으로 인해 순응하는 프롬프트에서, 유해 프로브는 해당 요청을 유해하다고 판정(0.91–0.98)하며, 이는 모델이 성공적으로 거절하는 프롬프트의 점수와 동일합니다.
• 이는 4개의 모델과 3개의 제품군(1.5B에서 14B까지) 전체에서 나타납니다.
• 결론: 거절 실패는 모델이 유해성을 인식하지 못해서 발생하는 것이 아닙니다. 유해성 표현은 프롬프트 측에 보존되어 있으나, 거절 결정이 이를 무시하는 것입니다.

2. 초기 응답 윈도우로의 국지화

본 논문은 생성 과정 중 특정 시간적 윈도우로 실패 원인을 인과적으로 국지화합니다:

• 전반부 충분성(First Half Sufficiency): 응답의 전반부(프리필 토큰 + 생성된 첫 ~7개 토큰)에 걸쳐 유해 신호(또는 거절 상태)를 복구하면, 전체 응답에 걸쳐 복구하는 것만큼 효과적으로 거절율을 회복합니다.
• 후반부 관성(Second Half Inertia): 응답의 후반부에 신호를 복구하는 것은 미미한 효과(두 배의 강도에서도 약 6%의 거절만 회복)를 보입니다.
• 결론: 거절 결정은 생성의 깊고 전역적인 속성이 아니라, 응답 위치의 초기 멀티 토큰 윈도우에서 발생하는 "얕은(shallow)" 계산입니다.

3. 메커니즘: 수동적 조건화 vs. 능동적 억제

어텐션 넉아웃 실험과 베이스 모델 비교를 통해, 본 논문은 공격의 메커니즘을 식별합니다:

• 일반적 자기회귀적 조건화: 초기 응답의 프리필 토큰에 대한 어텐션을 차단하면 유해한 지속성이 선택적으로 붕괴됩니다. 결정적으로, 이 효과는 안전 튜닝되지 않은 베이스 모델에서도 지속됩니다(베이스 모델에서 유해 콘텐츠가 64%에서 25%로 감소하는 현상이 인스트럭트 모델과 유사함).
• 수동적 읽기(Passive Reading): 프리필은 안전 게이트를 능동적으로 억제하는 것이 아니라, 일반적인 자기회귀적 조건화를 통해 "움켜쥐는(grip)" 힘을 발휘합니다. 모델은 초기 프리필에 대한 어텐션이 생성을 고정하기 때문에 긍정적인 궤적을 따라갑니다.
• 거절로서의 폴백(Fallback): "거절 복구"는 모델 의존적인 폴백입니다. 프리필의 움켜쥐기가 깨지면, 안전 튜닝된 모델은 거절로 돌아가는 반면, 베이스 모델은 단순히 일관성이 떨어지거나 무해하게 지속됩니다. 작은 안전 특화 유인자(attractor)가 존재하지만(logit-trace concentration 0.24 vs 0.03), 지배적인 메커니즘은 수동적입니다.

4. 거절 결정의 성격

• 분산적이며 비압축적(Non-compact): 거절 결정은 디코딩 가능하지만 분산되어 있습니다. 단일 방향, 어텐션 헤드, 또는 레이어가 거절을 선택적으로 제거할 수 있는 "깨끗한 핸들" 역할을 하지 않습니다. 단일 "거절 방향"을 조절하는 것은 양호한 입력에 대한 과잉 거절을 유발하지 않고 거절을 선택적으로 복구하는 데 실패합니다.
• 유해성 우선(Harm-Primary): 거절은 표면적인 "무서운" 키워드가 아니라 유해성 표현을 추적합니다. 유해성과 표면 트리거를 분리한 2x2 실험에 따르면, 거절은 유해성에 의해 주도되며(β_harm = 5.12), 표면적 위협(β_scary = 2.20)은 양호하지만 무서운 프롬프트에 대한 과잉 거절을 일으키는 부차적인 편향만을 가집니다.

5. 방어적 결과

본 연구는 메커니즘에 기반한 구조적 방어를 제안합니다:

• 프롬프트 측 면역성(Prompt-Side Immunity): 프리필 공격은 전적으로 응답 위치에서 작동하며 프롬프트 측 표현을 건드리지 않으므로, 프롬프트 측의 유해성 표현을 읽는 모니터는 구조적으로 이 공격으로부터 면역이 있습니다.
• 범위: 이 면역은 응답 위치 공격에 특화된 것입니다. 프롬프트 표현을 변경하는 탈옥은 여전히 모니터의 신호를 저하시킬 수 있습니다.

의의 및 주장

본 논문은 왜 유해성 표현이 온전함에도 불구하고 프리필 공격이 성공하는지에 대한 기계론적 질문을 해결한다고 주장합니다.

• 얕은 계산: 거절은 깊고 견고한 안전 정렬이라기보다, 생성의 즉각적인 맥락에 의해 쉽게 무시될 수 있는 얕은 응답 위치의 계산임이 밝혀졌습니다.
• 수동적 메커니즘: 공격의 성공은 특정 안전 게이트가 능동적으로 억제되는 것이 아니라, 일반적인 자기회귀적 조건화(모델이 "Sure, here is" 궤적을 따르는 것) 때문입니다.
• 설계 사실: 주요 실무적 기여는 설계 통찰력입니다: 프롬프트 측에 배치된 안전 분류기는 구조적으로 응답 위치 프리필 공격에 면역이 있는 반면, 행동적 게이트는 그렇지 않습니다.
• 한계: 저자들은 "유해 방향"이 복구를 위한 부분적인 핸들일 뿐이라는 점과, 현재의 결과가 특정 모델 제품군 및 크기(14B까지)에 국한되어 있으며, 프런티어 규모의 동작은 여전히 미지의 영역임을 언급했습니다. 모니터의 면역성은 응답 위치 공격에 엄격히 제한되며, 프롬프트 수정형 탈옥에는 일반화되지 않습니다.