기술 요약: Greedy Coordinate Diffusion (GCD)

1. 문제 정의

광범한 연구에도 불구하고, 대규모 언어 모델(LLM)에 대한 적대적 공격은 실제 배포 시 세 가지 주요 실패 모드로 특징지어지는 결정적인 "트릴레마(trilemma)"에 직면해 있습니다:

1. 높은 퍼플렉시티(비자연스러움): 그래디언트 기반 최적화 방법(예: Greedy Coordinate Gradient, GCG)은 높은 공격 성공률(ASR)을 달anam지만, 일관성이 없고 퍼플렉시티가 높은 접미사를 생성하여 퍼플렉시티 기반 필터에 의해 쉽게 탐지되고 차단됩니다.
2. 탈옥 세금(의미적 표류): 프롬프트 재작성 접근 방식(예: PAIR, AutoDAN)은 유창하고 인간이 읽을 수 있는 텍스트를 생성하지만, 종종 질의의 의미적 의도를 변경합니다. 결과적으로, 모델은 공격자의 원래 악의적인 목표가 아니라 완화된 질문에 순응하게 됩니다.
3. 강력한 모델에서의 낮은 성공률: 유창함과 의도 사이의 균형을 맞추려는 시도는 안전 정렬이 잘 된 모델, 특히 최적화가 공격 손실을 엄격한 제약 조건이 아닌 휴리스틱으로 취급할 때 순응을 유도하는 데 실패하는 경우가 많습니다.

현재의 방법들은 자연스러운 언어(필터를 피하기 위함)를 유지하는 것과 특정 유해한 출력을 강제하기 위한 정밀한 토큰 수준의 최적화 사이의 트레이드오프를 탐색할 수 있는 미세한 의미 제어 능력이 부족합니다.

2. 방법론: Greedy Coordinate Diffusion (GCD)

저자들은 그래디언트 기반의 토큰 선택을 제안 분포으로서의 이산 확산 모델(discrete diffusion model)로 대체하는 그레이박스(gray-box) 최적화 프레임워크인 **Greedy Coordinate Diffusion (GCD)**를 제안합니다. GCD는 모델 가중립에 직접 접근하지 않고, 출력 토큰 확률이나 안전 점수를 활용하여 작동합니다.

핵심 메커니즘

GCD는 프롬프트 구성을 유도된 이산 확산 과정으로 공식화합니다. 그래디언트를 통해 원-핫 토큰 임베딩을 최적화하는 대신(이는 비일관적인 텍스트를 생성함), GCD는 이산 확산 언어 모델($D_\phi$)을 사용하여 의미적으로 일관된 후보 토큰을 제안합니다.

최적화 루프는 다음과 같이 진행됩니다:

1. 초기화: 적대적 프롬프트 $x_{adv}$는 완전히 마스킹된 토큰($<|mask|>$) 시퀀스로 초기화되어, 확산 모델이 노이즈로부터 의미적 구조를 생성하도록 강제합니다.
2. 확률적 좌표 서브샘플링: 계산 비용을 줄이기 위해, GCD는 전체 시퀀스 대신 각 단계에서 무작위 부분 집합 $I^{(t)}$를 최적화합니다.
3. 확산 제안: 선택된 각 위치에 대해, 현재 토큰을 마스킹하고 전체 컨텍스트(좌우 모두)를 조건으로 하여 가장 확률이 높은 상위 $K$개의 토큰을 생성하도록 확산 모델 $D_\phi$를 쿼리합니다.
4. One-Shot Diffusion (OSD) Look-Ahead: 핵심적인 기술적 구성 요소는 확산 모델(마스크 처리된 시퀀스를 다룸)과 피해 대상인 자기회귀(autoregressive) LLM(마스크를 처리할 수 없음) 사이의 불일치를 해결합니다. 각 마스크를 포함하는 후보 시퀀스에 대해, GCD는 **원샷 확산 디노이징(one-step diffusion denoising)**을 수행하여 남은 모든 마스크 토큰을 동시에 채웁니다. 이는 피해 모델에 의해 평가될 수 있는 완전하고 일관된 초안 시퀀스를 생성합니다.
5. 탐욕적 선택(Greedy Selection): 피해 모델 $M_\theta$는 복합 손실 함수를 기준으로 완성된 초안들을 점수화합니다. 가장 성능이 좋은 후보가 프롬프트를 업데이트하는 데 선택됩니다.

목적 함수

프레임워크는 다음의 복합 손실 $L_{comp}$를 최소화합니다:
$$L_{comp}(x_{adv}) = L_{victim}(x_{adv}) + \lambda L_{guard}(x_{adv}) + \beta L_{PPL}(x_{adv})$$

• $L_{victim}$: 엄격하게 제약된 타겟 접두사(예: "Sure, here is...")의 음의 로그 가능도(negative log-likelihood)로, 모델이 특정 악의적 의도에 순응하도록 보장합니다.
• $L_{guard}$: 프롬프트가 가드 모델(예: Llama Guard)에 의해 안전하다고 분류될 확률의 음의 로그 가능도로, 플래그가 지정된 프롬프트에 페널티를 부여합니다.
• $L_{PPL}$: 프롬프트의 자기 퍼플렉시티(self-perplexity)로, 필터를 피하기 위해 부자연스러운 토큰 시퀀스에 페널티를 부여합니다.

2단계 파이프라인

• 1단계: 타겟 접두사를 트리거하는 프롬프트를 찾기 위해 최적화가 실행됩니다.
• 2단계: 접두사 매치가 발견되면, 시스템은 전체 연속 문구(512 토큰)를 생성하고 프록시 판사(Qwen2.5-7B)를 사용하여 유해성 척도로 점수를 매깁니다. 피해 모델이 회피적인 연속 문구를 생성하는 경우, 특정 실패 토큰을 억제하여 고유한 공격 궤적을 향하도록 유도하는 **다양성 손실(Diversity Loss)**이 적용됩니다.

3. 주요 기여

• 새로운 프레임워크: 높은 ASR과 의미적 일관성을 모두 달성하기 위해 적대적 최적화에 이산 확산 사전 지식(priors)을 통합하는 GCD를 도입했습니다.
• 그레이박스 역량: GCG와 달리, GCD는 그래디언트 접근이 필요하지 않아 API로 제공되거나 독점적인 모델에도 적용 가능하면서도 토큰 수준의 제어를 유지합니다.
  의미적 결합력을 높이기 위해 "One-Shot Diffusion" 메커니즘을 제안하여 마스크된 확산 상태와 자기회귀 피해 모델 간의 불일치를 해결함으로써, 중간 최적화 단계 동안 정확한 손실 평가를 가능하게 합니다.
• 의미적 준수: 타겟 접두사의 명시적 강제는 "탈옥 세금"을 방지하여, 모델이 완화된 버전이 아닌 원래의 악의적인 의도에 순응하도록 보장합니다.

4. 실험 결과

저자들은 네 가지 피해 모델(Llama-3-8B, Qwen-2.5-7B, Mistral-7B, Llama-3-70B)을 대상으로 GCD를 평가하였으며, 화이트박스(GCG, GBDA), 그레이박스(AutoDAN), 블랙박스(PAIR, TAP, Inpainting) 베이스라인들과 비교하였습니다.

• 공격 성공률 (ASR): GCD는 모든 모델에서 가장 높은 ASR을 달성했습니다. 특히, Mistral-7B에서 100% ASR을, Qwen-2.5-7B에서 97.92% ASR을 기록하며, 퍼플렉시티 방어 하에서 0%로 떨어진 GCG 및 기타 베이스라인들을 크게 앞질렀습니다.
• 방어 회피: 퍼플렉시티 기반 필터링 환경에서도 GCD는 높은 성공률(예: Llama-3-8B에서 85.42%, Mistral-7B에서 100%)을 유지한 반면, GCG 및 GBDA와 같은 그래디언트 기반 방법들은 0%로 떨어졌습니다.
• 응답 품질: GCD는 StrongReject (SR) 유해성 척도에서 높은 점수(예: Mistral-7B에서 0.8234)를 획득하였으며, 이는 생성된 응답이 성공적일 뿐만 아니라 실질적으로 유해하며 원래의 의도와 일치함을 나타냅니다.
• 탐지율: 구축된 적대적 프롬프트는 다른 방법들에 비해 퍼플렉시티 기반 및 가드 모델 필터에 의해 더 낮은 비율로 탐지되었습니다.

5. 의의 및 주장

본 논문은 GCD가 적대적 공격의 근본적인 트레이드오프를 성공적으로 해결했다고 주장합니다. 즉, 프롬프트 재작성 접근 방식의 유창함과 그래디언트 기반 최적화의 정밀한 토큰 수준 제어를 결합합니다. 이산 확산 모델의 생성적 사전 지식을 활용함으로써, GCD는 검색 공간을 일관되고 인간이 읽을 수 있는 텍스트로 제한하는 동시에, 특정 타겟 출력을 강제하기 위한 정밀한 최적화를 허용합니다.

저자들은 GCD를 희소한 블랙박스 피드백과 전체 정보 최적화 사이의 간극을 메우는 실질적인 단계로 포지셔닝합니다. 그들은 이 방법이 자연어 특성을 유지하면서도 악의적인 목표를 엄격히 준수하는 공격을 생성함으로써, 동시에 은밀하고(낮은 퍼플렉시티), 의미적으로 일관되며(낮은 탈옥 세금), 강력한 안전 정렬 모델에 대해 매우 효과적인 공격이 가능하다는 것을 입증한다고 주장합니다. 이 연구는 퍼플렉시티나 의미적 가드 모델에 의존하는 현재의 방어 체계가, 자연어 특성을 유지하면서 악의적 목표를 엄격히 따르는 확산 유도 검색(diffusion-guided search) 공격에 취약할 수 있음을 보여줍니다.