Mechanistic Interpretability of LLM Jailbreaks via Internal Attribution Graphs

기술 요약: 내부 귀속 그래프를 통한 LLM 탈옥(Jailbreak)의 기계론적 해석 가능성

문제 정의
대규모 언어 모델(LLM)은 안전 학습에도 불구하고, 적대적 프롬프트와 탈옥 공격에 매우 취약한 상태로 남아 있으며, 이는 안전하지 않거나 부정확한 출력을 유도할 수 있다. 기존의 완화 전략은 주로 입력-출력 수준(예: 적대적 훈련, 프롬프트 필터링)에서 작동하거나, 단일 입력을 고립시켜 분석하는 기술적 귀속 방법론에 의존한다. 이러한 접근 방식은 적대적 섭동(perturbation)이 모델의 내부 추론 메커니즘을 어떻게 변화시키는지 설명하지 못한다. 결과적으로, 안전 실패를 초래하는 인과적 구조적 편차를 이해하는 데 있어 중요한 공백이 존재하며, 이는 원칙적인 방어 체계 개발을 제한한다.

방법론
저자들은 프롬프트별 추론을 **구조적 인과 계산 그래프(structured causal computation graphs)**로 표현하는 기계론적 프레임워크를 제안한다. 기존의 귀속 방법들과 달리, 이 접근 방식은 깨끗한 입력($x$)과 공격받은 입력($\tilde{x}$) 사이의 내부 계산 변환을 명시적으로 모델링하기 위해 **쌍을 이룬 그래프 정식화(paired graph formulation)**를 활용한다.

1. 인과 계산 그래프: 모델의 계산은 유향 그래프 $G_t(x) = (V_t, E_t, W_t)$로 모델링된다. 여기서 노드는 이질적인 내부 특징(토큰 임베딩, 어텐션 출력, MLP 특징, 잔차 상태 및 재구성 오차 성분)을 나타내며, 에지는 유향 인과적 영향을 나타낸다. 에지 가중치는 그래디언트 기반 민감도와 활성화 크기를 결합하여 근사화된다.
2. 쌍을 이룬 그래프 정렬: 깨끗한 프롬프트와 공격된 프롬프트에 대해 저자들은 대응하는 그래프를 구축하고, 아키텍처적 상응성과 특징 유사성(코사인 유사도)을 기반으로 노드를 정렬한다. 이 정렬을 통해 계산을 세 가지 집합으로 분해할 수 있다:
   • 불변 특징 ($S_{inv}$): 두 프롬프트 모두에서 보존되는 특징.
   • 억제된 특징 ($S_{sup}$): 깨끗한 프롬프트에서는 활성화되어 있으나 공격 시 감소하는 특징.
   • 발현된 특징 ($S_{emg}$): 공격 시에는 활성화되지만 깨끗한 프롬프트에는 존재하지 않는 특징.
3. 취약성 모티프(Vulnerability Motifs): 프레임워크는 공격으로 인한 편차를 특징짓는 특정 부분 그래프 패턴(모티프)을 식별한다. 여기에는 안전 억제(safety suppression), 공격 발현(attack emergence), 그리고 계산 경로 재설정(computation rerouting)(동일한 종단점을 연결하는 인과 경로의 발산)이 포함된다.
4. 인과적 개입(Causal Intervention): 인과성을 검증하기 위해 저자들은 특정 구조에 개입 연산자(예: 노드 억제, 활성화 복원)를 적용하고, 모델 행동(손실 또는 거부 생성)의 변화를 측정한다.

주요 기여

• 쌍을 이룬 그래프 정렬: 정적 분석이 놓치는 구조적 편차를 드러내기 위해, 깨끗한 계산에서 공격된 계산으로의 변환을 명시적으로 모델링하는 방법론.
• 취약성 모티프 식별: 공격이 내부 추론을 조작하는 방식을 설명하는 세 가지 주요 모티프 유형(억제, 발현, 재설정)의 특성화.
• 인과적 개입 프레임워크: 특정 노드, 경로 및 부분 그래프가 공격 성공에 기여하는 정도를 정량화하여, 기술적 귀속에서 인과적 진단으로 전환하는 메커니즘.
• 경험적 검증: 내부 계산 그래프의 구조적 편차가 탈옥 성공과 상관관계가 있음을 보여주는 한편, 표적 노드 수준의 개입은 분산된 계산으로 인해 종종 실패함을 입증함.

실험 결과
프레임워크는 30개의 적대적 프롬프트 쌍(접두사 주입, 역할 놀이, 컨텍스트 전환 포함)을 사용하여 Llama-2-7B-chat-hf에 대해 평가되었다.

• 공격 성공: 30개 중 4개의 프롬프트(13.3%)가 안전 메커니즘을 우회하는 데 성공했다.
• 지표 상관관계:
  • 경로 재설정(Path Rerouting): 깨끗한 그래프와 공격된 그래프 사이의 곱셈적 경로 가중치 편차를 측정하는 이 지표는, 공격 성공과 유의미한 양의 상관관계를 보였다 ($r = 0.461, p = 0.010$). 성공적인 공격은 근본적으로 계산 경로를 변경했다.
  • 정적 지표: 그래프 편차, 안전 억제, 공격 발현은 공격 성공과 유의미한 상관관계를 보이지 않았다. 성공적인 탈옥은 단순히 안전 특징을 억제하거나 새로운 특징을 활성화하는 것이 아니라, 계산을 재설정했다.
• 개입 실패: 성공적인 공격에서 상위 3개의 발현된 특징을 표적 제거(ablation)했을 때 **완화 성공률은 0%**였다. 모델은 계속해서 유해한 출력을 생성했으며, 이는 취약성이 개별적인 핵심 특징보다는 분산된 경로와 보상적 중복성으로부터 발생함을 시사한다.
• 사례 연구: 성공적인 공격(예: "요리"에서 "폭발물"로의 컨텍스트 전환)은 그래프 복잡도와 포크(fork) 모티프의 증가를 보였던 반면, 실패한 공격은 종종 그래프 구조를 단순화했다.

의의 및 주장
본 논문은 내부 계산 그래프가 LLM의 취약성을 이해하기 위한 원칙적인 토대를 제공한다고 주장한다. 주요 발견은 성공적인 탈옥이 단순히 안전 기능을 비활성화하는 것이 아니라, 대체 경로를 통해 계산을 재설정함으로써 작동한다는 것이다. 이는 안전 특징의 억제나 활성화를 가정하는 기존의 적대적 공격 모델에 도전한다.

저자들은 자신들의 프레임워크가 모델 실패에 대한 기술적 귀속에서 인과적 진단으로의 전환을 가능하게 한다고 단언한다. 본 연구는 (분산된 표현으로 인해) 개별 특징 제거를 통한 인과적 제어가 어렵다는 점을 강조하면서도, 정교한 공격을 탐지하기 위해서는 **경로 무결성(pathway integrity)**을 추적하는 것이 필수적임을 확립했다. 이 연구는 향후 방어 체계가 특징 수준의 개입에만 의존하기보다, 안전 학습 과정에서 계산 무결성을 강화하는 데 집중해야 함을 시사한다.

인정된 한계점
저자들은 다음과 같은 몇 가지 한계점을 언급했다:

• 본 연구는 Llama-2-7B-chat에 국한되어 있으며, 다른 아키텍처에 대한 일반화 가능성은 입증되지 않았다.
• 메모리 제약으로 인해 귀속 그래프가 초기 0-5층에서 10번째 트랜스포머 층까지로 제한되어, 더 깊은 층에 있는 안전 관련 계산을 놓쳤을 가능성이 있다.
• 분석은 단일 순전파(forward pass)를 다루며, 다회차(multi-turn) 적대적 역학은 포착하지 않는다.
• 개입 실험(성공 0/4)은 특징 수준의 인과적 제어가 분산된 적대적 표현에 대해 불충분함을 보여준다.
• 데이터셋 규모(30개 쌍, 4개 성공)는 통계적 검정력을 제한할 수 있으나, 경로 재설정에 대한 상관관계는 여전히 유의미하다.