기술 요약: 탈옥 공격 하에서의 강건한 유해 특징 (Robust Harmful Features Under Jailbreak Attacks)

1. 문제 정의

탈옥(Jailbreak) 공격은 대규모 언어 모델(LLM)의 안전 정렬(safety alignment)을 성공적으로 우회하여 유해한 콘텐츠를 생성하도록 유도한다. 그러나 이러한 공격의 내부 메커니즘은 여전히 명확히 이해되지 않고 있다. 근본적인 질문이 남아 있다: 탈옥이 성공했을 때, 모델은 안전 표현(safety representations)을 포괄적으로 제거하는가, 아니면 특정 구성 요소만을 선택적으로 억제하고 다른 것들은 그대로 두는가? 기존 연구들은 일반적인 조건 하에서 안전 관련 뉴런, 레이어 또는 거절 방향(refusal directions)을 식별하는 데 집중해 왔으나, 성공적인 우회 과정 중 공격 메커니즘과 내부 안전 신호 사이의 구체적인 상호작용에 대해서는 추가적인 조사가 필요하다.

2. 방법론

저자들은 세 가지 입력 조건—양질의 지시문(benign instructions), 유해한 지시문(모델이 거절하는 경우), 탈옥 공격 지시문(성공하는 경우)—하에서의 동작을 기준으로 어텐션 헤드(attention heads)를 분류하고 정보 흐름을 추적하는 기계론적 해석 가능성(mechanistic interpretability) 프레임워크를 제안한다.

2.1. 거절 방향의 역투영 (Back-Projection of Refusal Direction)

거절 행동이 활성화 공간 내의 단일 방향에 의해 매개된다는 발견(Arditi et al., 2024)을 바탕으로, 저자들은 중간 레이어 $L^*$에서 거절 방향 $r(L^*)$를 추출한다. 그 후, 이 거절 방향을 모든 레이어에 걸친 어텐션 헤드의 출력-값(Output-Value, OV) 회로를 통해 역전파한다. OV 회로는 선형 변환이므로, 거절 방향을 각 개별 헤드의 출력 공간으로 정확하게 투영하여 각 헤드가 거절 신호에 기여하는 정도를 정량화할 수 있다.

2.2. 활성화 수집 및 분류

저자들은 양질, 유해, 공격 데이터셋에 대해 명령 종료(End-of-Instruction, EOI) 토큰에서의 어텐션 헤드 활성화 점수를 수집한다. 저자들은 커널 밀도 추정(KDE)과 중첩 계수(Overlap Coefficient, OVL)를 기반으로 한 2단계 필터링 절차를 사용한다:

1. 유해 vs 양질: 중첩이 낮은 헤드를 "유해-돌출적(harmful-salient)" 헤드로 식별하며, 이는 이들이 유해한 콘텐츠에 차별적으로 반응함을 의미한다.
2. 유해 vs 공격: 유해-돌출적 헤드 중, 유해한 입력과 공격 입력 간의 중첩이 높은 헤드는 안정적인 활성화 분포를 유지한다. 반면 중첩이 낮은 헤드는 공격에 의한 변화를 보인다.
   • 적대적으로 훼손된 헤드 (Adversarially Compromised Heads, ACHs): 공격 입력 하에서 활성화가 크게 억제되는 헤드 ($z_{attack} < z_{harmful}$).
   • 안전 정렬 헤드 (Safety-Aligned Heads, SAHs): 공격 입력 하에서도 활성화가 강화되거나 견고하게 유지되는 헤드 ($z_{attack} > z_{harmful}$).

2.3. 절제 실험을 통한 인과적 검증

상관관계에서 인과관계로 나아가기 위해 저자들은 개입 실험을 수행한다:

• ACH 절제 (Ablation): 정상적으로 거절되는 유해 입력에 대해 식별된 ACH에 음의 특징(negative features)을 주입하여 공격 효과를 시뮬레이션한다.
• SAH 절제: 공격 입력 중 SAH를 억제하여 중간 레이어 활성화 강도에 미치는 영향을 측정한다.

2.4. 토큰 수준 귀속 (Token-Level Attribution)

어텐션의 선형성을 사용하여, 저자들은 헤드 활성화를 원래의 유해 토큰과 공격 템플릿 토큰의 기여분으로 분해하여 행동 차이의 근원을 이해한다.

3. 주요 결과 및 발견

3.1. 어텐션 헤드의 기능적 차별화

본 연구는 탈옥의 메커니즘을 설명하는 두 가지 뚜렷한 클래스의 어텐션 헤드를 식별한다:

• ACHs (Adversarially Compromised Heads): 초기 레이어(예: Llama-3의 레이어 0–3)에 집중되어 있다. 이 헤드들은 정상적인 유해 입력 시에는 활성화되지만, 공격 템플릿에 의해 강력하게 억제된다.
• SAHs (Safety-Aligned Heads): 중간 레이어(예: Llama-3의 레이어 5–12)에 분포한다. 이 헤드들은 탈옥을 통해 모델이 유해한 콘텐츠를 성공적으로 생성할 때조차 견고하고 상당한 활성화를 유지한다.

3.2. 인과적 메커니즘

• ACH 억제는 충분조건이다: 소수의 ACH(예: Llama-3-8B의 8개 헤드)를 절제하는 것만으로도 정상적으로 거절되는 유해 입력에 대해 탈옥과 유사한 행동을 유도하기에 충분하며, 공격 성공률(ASR)을 0%에서 95% 이상으로 높인다. 이는 공격이 이러한 핵심적인 초기 레이어 구성 요소들을 선택적으로 억제함으로써 거절을 우회함을 시사한다.
• SAHs는 강건한 특징을 유지한다: SAH를 절제하면 중간 레이어 활성화 강도가 실질적으로 약화된다(예: 평균 절대 활성화의 14–18% 감소). 이는 SAH가 "강건한 유해 특징(Robust Harmful Features)", 즉 공격이 제거하지 못하는 지속적인 유해한 의미론적 내부 표현의 주요 원천임을 확인시켜 준다.

3.3. 토큰 수준 귀속

토큰 수준 분석은 ACH 억제가 특히 공격 템플릿 토큰으로부터의 음의 기여에 의해 발생함을 보여준다. 반대로, SAH는 동일한 공격 템플릿에 대해 강한 양의 반응을 보인다. 이는 다음과 같은 현상을 설명한다: 공격은 유해성의 표현을 지우는 것이 아니라, "수호자(gatekeepers)"인 ACH를 선택적으로 억제하는 동시에 "유지자(sustainers)"인 SAH는 활성 상태로 남겨두는 것이다.

3.4. 실질적 검증: 훈련이 필요 없는 탐지 (Training-Free Detection)

이러한 강건한 특징의 지속성을 활용하여, 저자들은 훈련이 필요 없는 탐지기를 제안한다. 광범로한 변별적 구성 요소(ACH나 SAH에 국한되지 않음)로부터 표준화된 활성화를 집계함으로써, 이 탐지기는 안전 벤치마크에서 경쟁력 있는 성능을 달una한다.

• 결과: SALAD-Bench 및 WildJailbreak와 같은 적대적 벤치마크에서, 이 탐지기는 높은 Macro-F1 점수(예: Gemma-2B에서 0.976)를 기록하며, 적대적 환경에서 일반적인 모델의 거절 및 LlamaGuard와 같은 전용 안전 모델보다 훨씬 뛰어난 성능을 보인다.
• 의의: 이는 모델의 명시적 출력이 훼손되었을 때도 내부 안전 신호는 탐지 가능하다는 것을 입증한다.

3.5. 스케일링 분석

Llama-3-70B에 대한 예비 분석은 ACH/SAH의 기능적 차별화가 더 큰 모델로도 일반화됨을 확인시켜 주나, 탈옥을 유도하는 데 필요한 ACH 절제의 수는 모델 규모에 따라 증가한다.

4. 의의 및 주장

본 논문은 왜 탈옥 공격이 안전 표현을 완전히 파괴하지 않고도 성공하는지에 대한 기계론적 설명을 제공한다고 주장한다. 핵심 기여는 **강건한 유해 특징(Robust Harmful Features)**의 식별이다. 이는 SAH에 의해 유지되며 공격 중에도 지속되는 내부 안전 신호를 의미하며, 탈옥은 ACH의 선택적 억제를 통해 이루어진다.

저자들은 이러한 발견이 안전 정렬이 공격에 의해 "파괴되는 것"이 아니라 "우회되는 것"임을 시사한다고 강조한다. 이 통찰은 방어 측면에 실질적인 함의를 갖는다:

1. 기계론적 이해: 공격이 전체 안전 서브스페이스를 지우는 것이 아니라 특정 구성 요소(ACH)를 표적으로 삼는다는 점을 명확히 한다.
2. 탐지: 강건한 특징의 지속성은 모델이 성공적으로 탈옥되었을 때도 유해한 의도를 식별할 수 있는 화이트박스 기반의 훈련 불필요 탐지기 개발을 가능하게 한다.

5. 한계점

저자들은 몇 가지 한계점을 명시적으로 언급하였다:

• 범위: 본 분석은 어텐션 헤드에 집중하며 MLP 레이어나 LayerNorm을 명시적으로 모델링하지 않는다. 다만 어텐션 헤드가 주요 정보 라우팅 메커니즘이라고 주장한다.
• 거절 표현: 본 연구는 전체 거절 서브스페이스 대신 1차적 요약으로서 단일 거절 방향을 사용한다.
• 데이터 제약: 분석은 공격이 거절된 요청에 대해 성공하는 쌍(paired) 샘플에 의존한다. 매우 정렬된 모델(예: Llama-3-70B)의 경우 성공적인 공격 샘플이 매우 드물어(<0.5%), 통계적 힘이 제한될 수 있다.
• 배포: 제안된 탐지기는 내부 활성화에 대한 화이트박스 접근 권한을 필요로 하므로, 오픈 웨이트 모델이나 내부 설정에서의 직접적인 배포에는 제한이 있다.