기술적 요약: 정렬된 대규모 언어 모델 (LLM) 이 왜 여전히 탈출 (Jailbreak) 가능한가?

문제 제기

인간 피드백을 통한 강화 학습 (RLHF) 과 같은 안전 정렬 기술에도 불구하고, 대규모 언어 모델 (LLM) 은 여전히 탈출 공격에 취약합니다. 이러한 공격에는 적대적 접미사, 프롬프트 재작성, 자동화된 템플릿 검색 등이 포함되며, 유해한 출력을 유도하기 위해 거부 메커니즘을 성공적으로 우회합니다. 최근의 기계적 연구는 탈출 성공과 관련된 잠재적 특징 및 표현 변화를 식별했지만, 이러한 연구들은 여전히 현상론적 수준에 머무르고 있습니다. 근본적인 이론적 질문이 여전히 답을 찾지 못하고 있습니다: 왜 정렬된 LLM 은 여전히 탈출 가능한 것이며, 모델 아키텍처의 어떤 구체적인 구조적 취약점이 이를 가능하게 하는가?

방법론

저자들은 탈출 공격을 분석하기 위해 연속적인 입력 변환 관점을 제안합니다. 탈출 공격을 단순히 이산적인 프롬프트 구성으로만 취급하는 대신, 유해한 프롬프트에서 그 탈출 대응물로의 전환을 입력 임베딩 공간 내의 연속적인 곡선으로 모델링합니다.

1. 이론적 프레임워크: 거부 탈출 방향 (Refusal-Escape Directions, RED)

소개된 핵심 이론적 객체는 **거부 탈출 방향 (RED)**입니다.

• 정의: RED 는 유해한 입력 주변의 국소적 섭동 방향으로, 모델의 유해한 의미에 대한 해석을 유지하면서 모델의 행동을 거부에서 답변으로 전환시킵니다.
• 형식화: $X(\eta)$를 유해한 프롬프트 $X(\eta_0)$에서 탈출 프롬프트 $X(\eta_\star)$로의 연속적 변환이라고 합시다. RED 는 모델의 유해함 해석을 변경하지 않는 "유해 의미 보존 집합" $P(X)$ 내에 있지만, 동시에 거부와 답변을 구분하는 "목표 행동 신호" $\Phi_Y(X)$를 변경하는 접선 방향 $X'(\eta)$입니다.
• 의미: 비자명한 RED 의 존재는 모델이 공격자가 요청의 지각된 유해함을 변경하지 않고도 거부 행동을 조절할 수 있도록 하는 구조적 자유도를 보유하고 있음을 시사합니다.

2. 연산자 수준 분해

본 논문은 RED 가 모델의 연산자 구조 내 특정 소스들 (특히 LLaMA 계열 아키텍처와 같은 전 정규화 잔차 LLM 의 경우) 의 기여도로 정확히 분해될 수 있음을 증명합니다.

• 분해: RED $R_Y(X)$는 각 층의 **누출 소스 (leakage sources)**와 **종단 소스 (terminal source)**에서 운반된 기여도의 합입니다.
• 누출 소스: 이는 각 층에서 목표 행동 민감도와 유해 의미 민감 부분 공간 간의 상호작용에서 발생합니다. 이들은 다음과 같이 분류됩니다:
  • 정규화 소스: LayerNorm/RMSNorm 연산에서 비롯됨.
  • 자기 주의 (Self-attention) 및 MLP 소스: 표현력 모듈에서 비롯됨.
  • 잔차 배선 소스: 잔차 연결 (항등 및 본체 분기) 에서 비롯됨.
• 종단 소스: 최종 은닉 상태에서의 목표 행동 방향과 전파된 유해 의미 민감 부분 공간 간의 불일치입니다.

3. 분석적 제약 및 안전성 - 유용성 트레이드오프

저자들은 정규화, 잔차 배선, 그리고 종단 소스를 분석적으로 제약된 것으로 식별합니다.

• 제약: 이러한 소스를 제거하려면 입력 공간의 연결된 열린 영역 전반에 걸쳐 특정 분석적 소거 조건 (예: 입력/출력 부분 공간 간의 일관성) 을 만족해야 합니다.
• 정리: "유해 영역 RED 제거 필드"(유해 입력 근처에서 RED 를 제거하기 위해 필요한 조치) 와 "비유해 영역 행동 필드"(비유해 응답을 유지하기 위해 필요한 조치) 가 분석적으로 동일하지 않다면, 단 하나의 매개변수 설정으로도 두 요구 사항을 정확히 동시에 만족할 수 없습니다.
• 시사점: 이는 조건부 안전성 - 유용성 트레이드오프를 확립합니다. 유해 영역에서 RED 를 완벽하게 제거하는 것 (즉, 탈출 가능성 제거) 은 모델의 기하학이 완벽하게 정렬되지 않는 한, 수학적으로 비유해 영역에서의 비유해 행동 저하를 필연적으로 초래할 수 있습니다.

주요 기여

1. RED 의 도입: 연속적인 입력 변환 관점 하에서 탈출 가능성을 연구하기 위한 이론적 객체로서 거부 탈출 방향 (RED) 을 형식화함.
2. 정확한 분해: 모델 아키텍처에 기반하여 RED 가 연산자 수준 소스 (정규화, 자기 주의, MLP, 잔차 배선, 종단 소스) 의 기여도로 정확히 분해될 수 있음을 증명함.
3. 분석적 제약 식별: 정규화, 잔차 배선, 종단 소스를 분석적으로 제약된 것으로 식별함. RED 제거가 조건부 안전성 - 유용성 트레이드오프를 초래함을 보여주어, 정확한 제거 제약 하에서 완벽한 안전성과 유용성이 상호 배타적일 수 있는 이유를 설명함.
4. 실증적 검증: Qwen3, Llama-3.1, Gemma-3 등 5 개 모델과 GCG, AutoDAN, GPTFuzzer, TAP, ReNeLLM 등 5 가지 공격 방법에 대해 RED 를 분석함.

실험 결과

실험은 두 가지 보완적 관점에서 이론을 검증합니다:

1. 추가 토큰 차원이 RED 를 노출시킴:

   • "클린" 유해 입력 (패딩 없음) 에서는 다양한 연산자 수준 소스들의 기여도가 종종 서로 상쇄되어 거의 0 에 가까운 RED 를 초래합니다.
   • "플레이스홀더" 토큰 차원이 추가되면 (많은 탈출 공격의 구조를 모방), 이러한 상쇄가 깨집니다. 추가된 차원은 새로운 운송 채널을 생성하여 상당하고 0 이 아닌 RED 를 노출시킵니다.
   • 결과: 종단 소스가 노출된 RED 에 가장 안정적이고 두드러지게 기여하며, 이는 성공적인 탈출 공격이 모델의 주요 유해 의미 해석 외부의 사이드 채널을 악용함을 시사합니다.

2. 탈출 전환이 종단 소스와 정렬됨:

   • 유해 프롬프트에서 탈출 프롬프트로의 연속적 변환을 분석한 결과, 많은 경우 "거부에서 답변으로"의 전환은 변환의 전반부에서 주로 발생합니다.
   • 변환을 따른 국소적 행동 변화는 거의 전적으로 RED 에 의해 설명됩니다 ($\rho_R \approx 1$).
   • 결과: 변환 접선은 종단 소스 기여도와 가장 일관되게 정렬됩니다. 이는 성공적인 탈출 공격이 새로운 메커니즘을 생성하는 것이 아니라, 초기 유해 입력에서도 존재하는 기존 가시적 RED(특히 종단 사이드 채널) 를 악용함을 시사합니다.

의의 및 주장

본 논문은 현상론적 관찰을 넘어 연산자 수준 분해에 기반한 이론적 프레임워크로 이동하여, 정렬된 LLM 이 왜 여전히 탈출 가능한지에 대한 구조적 설명을 제공한다고 주장합니다.

• 구조적 취약점: 탈출 가능성은 단순히 훈련 데이터의 실패가 아니라, 모델이 의미 변화 없이 행동 조절을 가능하게 하는 "탈출 방향"을 유지하는 구조적 속성입니다.
• 트레이드오프: 본 논문은 완벽한 안전성 달성의 어려움이 단순히 최적화 과제가 아니라 근본적인 제한일 수 있다고 주장합니다. RED 제거 (안전성) 와 비유해 응답 유지 (유용성) 를 동시에 요구하는 것은 공유 표현 모듈 (Self-Attention 및 MLP) 에 상충되는 분석적 제약을 부과합니다.
• 방어 시사점: 저자들은 향후 정렬 전략이 완성된 탈출 프롬프트 나열에만 초점을 맞추지 말아야 한다고 제안합니다. 대신 방어는 유해 입력 주변의 국소적 RED 를 억제하는 데 목표를 두어야 하며, 특히 탈출 공격에 가장 안정적이고 악용 가능한 경로로 보이는 종단 소스 기여도에 주의를 기울여야 합니다.

본 논문은 이러한 구조적 취약점과 트레이드오프를 식별했지만, 실제 방어는 RED 를 정확히 제거하는 것이 아니라 유용한 임계값 이하로 억제하는 것으로 충분할 수 있으며, 안전성 - 유용성 트레이드오프의 구체적인 조건은 추가적인 실증 및 이론적 조사가 필요하다고 겸손하게 결론지었습니다.