기술 요약: 비텍스트 대상 공격 (NonTextual Target Attack, NTA)

1. 문제 정의

기존의 대규모 언어 모델(LLM) 대상 경사 기반 탈옥 공격(gradient-based jailbreak attacks)은 최적화 목표와 관련하여 근본적인 한계를 가집니다. 현재의 최첨단 방법론들(예: GCG, COLD-Attack, AdvPrefix)은 특정 텍스트 타겟(predefined textual targets)에 의존하며, 일반적으로 모델이 특정 긍정적 접두사(예: "Sure, here is...")를 출력하도록 강제합니다.

이러한 접근 방식은 두 가지 결정적인 문제를 야기합니다:

1. 과도하게 제약된 탐색 공간: 목표를 고정된 문자열로 제한함으로써, 이러한 방법들은 안전하지 않은 출력 공간의 방대한 부분을 무시합니다. 만약 타겟 LLM의 자연스러운 응답 패턴이 미리 정의된 접두사와 일치하지 않는 경우(예: Llama-3는 "Sure" 대신 "Here"로 시작하는 경우가 많음), 최적화 과정이 수렴하는 데 어려움을 겪으며, 이는 많은 반복 작업 후에도 낮은 공격 성공률(ASR)로 이어집니다.
2. 비효율성: 원래 모델의 출력과 경직된 타겟 접두사 사이의 큰 간극을 메우기 위해 수많은 최적화 반복이 필요하며, 이는 높은 계산 비용과 느린 수렴 속도를 초래합니다.

핵심 문제는 성공적인 탈옥이 특정 어휘 템플릿을 따르는 것이 아니라, 안전하지 않거나 정책을 위반하는 콘텐츠를 생성하는 것에 의해 정의된다는 점입니다. 그러나 "안전하지 않음(unsafety)"을 직접 최적화하는 것은 어렵습니다. 왜냐하면 안전성 평가는 일반적으로 미분 불가능하며, 전체 텍스트 디코딩이 완료된 후에만 발생하기 때문입니다.

2. 방법론: 비텍스트 대상 공격 (NTA)

저자들은 특정 응답 패턴을 강요하지 않고, 안전하지 않은 응답의 확률을 최대화하기 위해 비텍스트적 제약 목표를 최적화하는 최초의 경사 기반 공격인 **비텍스트 대상 공격(NTA)**을 제안합니다.

핵심 목표

이 공격은 가능한 이웃 $V(p_0)$ 내의 적대적 프롬프트 $p$가 주어졌을 때, 타겟 LLM의 응답 $L(p)$의 안전하지 않은 확률 $S(L(p))$를 최대화하는 것을 목표로 합니다:
$$\max_{p} S(L(p)), \quad \text{s.t. } p \in V(p_0)$$
여기서 $S(\cdot)$는 응답이 안전하지 않을 가능성을 추정하는 스코어링 모델(예: 안전성 분류기 또는 판별 모델)입니다.

분해 전략 (Decomposition Strategy)

$S(L(p))$는 이산적인 프롬프트 $p$에 대해 미분 불가능하므로, NTA는 이 문제를 두 개의 교차되는 미분 가능한 하위 목표로 분해합니다:

1. 응답 최적화 (타겟 찾기):
   먼저 스코어링 모델 $S$의 연속적인 로짓(logit) 공간에서 최적의 "유해한 응답" 표현 $r$을 탐색합니다. 이는 유해한 점수를 최대화하는 동시에 원래 프롬프트와의 의미론적 관련성을 유지하도록 정식화됩니다.
   $$\min_{z^J_r} \mathcal{L}_{unsafe}(z^J_r) + \lambda \mathcal{L}_{sem}(z^J_{L(p)}, z^J_r)$$
   여기서 $\mathcal{L}_{unsafe}$는 응답이 안전할 로그 가능성(negative log-likelihood)을 최소화하고, $\mathcal{L}_{sem}$은 타겟이 도달 가능한 상태로 유지되도록 현재 모델 출력으로부터의 의미론적 이탈에 대해 페널티를 부여합니다.

2. 프롬프트 최적화 (타겟 유도):
   최적의 응답 표현 $r$이 식별되면, 타겟 LLM이 $r$과 일치하는 응답을 생성하도록 강제하는 적대적 접미사 $\delta$를 탐색합니다. 이는 타겟 LLM의 출력 로짓과 최적화된 응답 로짓 사이의 평균 제곱 오차(MSE)를 최소화함으로써 달성됩니다.
   $$\delta^* = \arg \min_{\delta} \text{MSE}(z^L_{L(p_0 \oplus \delta)}, z^L_r)$$

주요 기술 구성 요소

• 어휘 투영 행렬 (Vocabulary Projection Matrix): 서로 다른 토크나이저를 사용할 수 있는 스코어링 모델(판사)과 타겟 LLM 사이의 간극을 메우기 위해, NTA는 투영 행렬 $W$를 구축합니다. 이는 스코어링 모델의 어휘 공간으로부터 타겟 LLM의 어휘 공간으로 적대적 증분을 매핑하며, 토큰 분할 및 병합(예: 판사의 단일 토큰을 타겟의 여러 서브 토큰으로 매핑)을 처리합니다.
• 반복적 교차 최적화 (Iterative Alternating Optimization): 알고리즘은 스코어링 모델의 공간에서 응답 표현을 최적화하는 것과 타겟 LLM의 공간에서 적대적 접미사를 업데이트하는 과정을 번갈아 수행합니다.
• 이론적 검증: 저자들은 연속적 완화(연속적인 확률 벡터로 토큰을 취급) 하에서, 하위 목표들의 순차적 솔루션이 원래의 비미분 가능 목표에 대한 최적 솔루션을 근사한다는 것을 증명하는 명제를 제공합니다.

3. 주요 기여

• 새로운 목표: NTA는 고정된 텍스트 타겟의 제약을 제거하고, 대신 안전하지 않은 행동의 확률을 직접 최적화하는 최초의 경사 기반 공격입니다.
• 확장된 탐색 공간: NTA는 특정 접두사로부터 공격을 분리함으로써, 더 넓고 다양한 유해 응답 공간을 탐색하며 고정 타겟 방식의 "지역 최적점(local optima)" 함정을 피합니다.
• 효율성: 미분 가능한 하위 목표로의 분해를 통해 빠른 수렴을 가능하게 하며, 기존 방법들보다 훨씬 적은 반복 횟수로 높은 성공률을 달성합니다.
• 강건성: 이 방법은 다양한 모델 아키텍처 간의 강력한 전이성(transferability)과 다양한 방어 메커니즘(예: 퍼플렉시티 필터링, 패러프레이징)에 대한 탄력성을 보여줍니다.

4. 실험 결과

저자들은 AdvBench 및 HarmBench 데이터셋을 사용하여 5개의 안전 정렬 오픈 소스 LLM(Llama3-8B, Qwen3-8B, Mistral-7B, Vicuna-7B, DeepSeek-7B)과 3개의 고급 폐쇄형 모델(Llama3-70B, DeepSeek-R1-671B, Grok-3)에 대해 NTA를 평가했습니다.

• 공격 성공률 (ASR): NTA는 단 100회의 최적화 반복 내에 AdvBench에서 평균 96.8%, HarmBench에서 **90.8%**의 ASR을 달성했습니다.
• SOTA와의 비교: NTA는 기존의 최상위 경사 기반 베이스라인(예: COLD-Attack, AdvPrompter)보다 ASR 측면에서 40% 이상 뛰어난 성능을 보였습니다. 예를 들어, Llama3-8B-it에서 NTA는 최상위 베이스라인인 AdvPrompter가 47%를 기록할 때 95%의 ASR-G를 달성했습니다.
• 수렴 속도: NTA는 첫 25회 반복 내에 평균 66.2%의 ASR에 도달하여, 종종 정체되거나 퇴보적인 시퀀스로 붕괴되는 베이스라인들과 비교해 빠른 수렴 속도를 입증했습니다.
• 응답 다양성: 고정 타겟 공격이 반복적이고 정형화된 출력을 생성하는 것과 달리, NTA는 더 높은 Distinct N-grams Score (DNS)와 낮은 Self-BLEU 점수로 입증되듯 의미론적으로 다양한 유해 응답을 생성했습니다.
• 방어 강건성: NTA는 다른 방법들이 완전히 실패한 표준 방어 메커니즘(예: GCG가 5%로 급락함) 상황에서도 높은 ASR(예: 퍼플렉시티 방어 하에서 97%)을 유지했습니다.
• 전이성: 작은 화이트박스 모델에서 최적화된 프롬프트는 더 크고 발전된 모델(예: Llama3-70B에서 35% ASR)로 성공적으로 전이되었으며, 이는 다른 전이 방법들을 능가하는 성능입니다.

5. 의의 및 주장

본 논문은 NTA가 최적화 목표와 실제 공격의 목표(유해 콘텐츠 생성 vs 문자열 일치) 사이의 근본적인 불일치를 해결함으로써, 경사 기반 탈옥의 패러다임 전환을 나타낸다고 주장합니다.

• 효율성: 저자들은 NTA가 기존 방법들에 필요한 계산 예산의 극히 일부만 사용하면서도 우수한 결과를 얻는다는 점을 강조하며, 이를 통해 더욱 실질적인 보안 평가 도구가 될 수 있음을 밝힙니다.
• 유연성: 엄격한 어휘적 제약을 제거함으로써, NTA는 고정 타겟 방식이 놓치는 취약점을 발견하여 LLM 안전성에 대한 더 포괄적인 평가를 제공합니다.
• 일반성: 다양한 모델에 걸친 효과와 다양한 스코어링 모델 및 방어 체계에 대한 강건성은, NTA가 특정 모델의 아티팩트에 과적합되는 것이 아니라 내재적인 안전 약점을 식별하고 있음을 시사합니다.

저자들은 결론적으로 NTA가 LLM 안전성을 평가하는 더 원칙적이고 효율적인 접근 방식을 제공하며, 현재 연구에서의 사전 정의된 타겟에 대한 의존이 안전 정렬된 모델의 취약성을 상당히 과소평가하고 있음을 드러낸다고 설명합니다.