기술 요약: GPO-V: 전역 확률 최적화를 통한 확산 비전 언어 모델의 젤브레이크

문제 제기

확산 비전 - 언어 모델 (dVLMs) 은 전통적인 자기회귀 생성 패러다임에서 중요한 전환을 나타내며, 다중 모달 작업을 위해 비인과적, 반복적 탈노이즈 프로세스를 활용합니다. 자기회귀 모델은 적대적 위험을 완화하기 위해 광범위한 안전 정렬을 거쳤지만, dVLMs 의 보안 환경은 여전히 largely 미개척 상태로 남아 있습니다.

이 논문은 기존 젤브레이크 방법론, 특히 고정 접두사 최적화 (FPO)(예: 모델이 "물론, 여기 있습니다"로 시작하도록 강제하는 것) 가 dVLMs 에 대해 largely 비효율적이라는 중요한 격차를 식별합니다. 이러한 비효율성은 확산 아키텍처 고유의 거절 패턴에서 기인합니다:

1. 즉각적 거절: 모델이 위험을 감지하고 "뒤에서 앞으로" 방식으로 종료 토큰 (예: <end>) 을 생성하여 생성을 즉시 중단합니다.
2. 점진적 거절: 모델은 처음에는 긍정적 콘텐츠를 생성하지만, 반복적 정제 과정에서 안전하지 않은 의미론이 드러남에 따라 거절로 전환합니다.

국소 접두사를 최적화하는 기존 FPO 공격은 실패합니다. 이는 확산 모델의 전역적 정제 특성이 "교정기" 역할을 하여, 국소 접두사 조작을 점진적 거절로 결국 덮어쓰기 때문입니다. 논문은 이러한 전역 확률적 방어를 우회하기 위한 새로운 공격 전략이 필요하다고 주장합니다.

방법론

1. 휴리스틱 추론 및 이론적 기반

저자들은 이미지 확산과 텍스트 확산 사이의 유사점을 제시합니다. 이미지 생성에서 초기 탈노이즈 단계는 최종 출력을 결정하는 저차원 의미 구조를 복원합니다. 마찬가지로 dVLMs 에서 초기 생성 단계(낮은 타임스텝) 는 응답의 극성을 largely 결정합니다. 이러한 초기 단계에서의 전역 양방향 주의력 예측은 후속 생성 궤적을 제약합니다.

2. 전역 확률 최적화 (GPO)

이 취약점을 활용하기 위해 저자들은 마스킹 확산 모델을 위해 특별히 설계된 전역 확률 최적화 (GPO) 전략을 제안합니다. 고정 접두사를 최적화하는 FPO 와 달리, GPO 는 생성된 전체 시퀀스의 전역 확률 분포를 조작합니다.

GPO 손실 함수 ($L_{GPO}$) 는 두 가지 구성 요소로 이루어집니다:

• 전역 손실 ($L_{global}$): 시퀀스의 모든 위치, 특히 초기 타임스텝의 초기 및 최종 단계에서 부정적 원시 토큰 (거절 토큰인 <end>, <eos>, 또는 거절 구문) 이 생성될 확률을 최소화합니다. 이는 즉각적 거절과 점진적 거절 패턴 모두를 억제하는 것을 목표로 합니다.
• 앵커 손실 ($L_{anchor}$): 중간 위치에서 특정 "연결" 긍정 토큰 (앵커) 의 확률을 최대화합니다. 이러한 앵커는 일관된 긍정 응답으로 누적되는 안정적인 의미론적 축으로 작용하여 모델이 점진적 거절로 치우치는 것을 방지합니다.

총 손실은 다음과 같이 정의됩니다:
$$L_{GPO} = \lambda_1 L_{global} + \lambda_2 L_{anchor}$$

3. GPO-V 프레임워크

GPO 를 기반으로 저자들은 dVLMs 를 위한 최초의 젤브레이크 프레임워크인 GPO-V를 소개합니다.

• 메커니즘: GPO-V 는 입력 이미지 (또는 그 잠재 표현) 에 적대적 교란 ($\delta$) 을 적용하여 모델의 출력 분포를 유도합니다.
• 최적화: 교란은 $L_{GPO}$를 최소화하면서 교란 bound ($\|\delta\|_\infty < \epsilon$) 를 준수하도록 최적화됩니다.
• 유연성: 이 프레임워크는 픽셀 공간과 잠재 공간 (SigLIP 또는 DINOv2 와 같은 인코더 사용) 모두에서 최적화를 지원하며, 저자들은 효율성을 위해 잠재 공간 최적화를 채택했으나 동등한 결과를 산출한다고 명시합니다.

주요 기여

1. 거절 패턴 식별: 이 논문은 확산 언어 모델에서 즉각적 거절과 점진적 거절이라는 두 가지 뚜렷한 거절 행동을 체계적으로 식별하고 분류한 최초의 연구로, dVLMs 의 근본적인 방어 메커니즘을 밝혀냈습니다.
2. GPO 전략: 자기회귀 모델의 접두사 기반 최적화와 대조적으로, 전역적으로 부정적 토큰 확률을 억제하고 앵커 손실을 최적화함으로써 안전 가드를 우회하는 새로운 전략인 전역 확률 최적화를 제안했습니다.
3. GPO-V 프레임워크: dVLMs 를 위한 최초의 시각 모달리티 젤브레이크 프레임워크를 개발했습니다. 이는 dVLMs 가 FPO 에 대한 겉보기의 견고성에도 불구하고 전역 확률적 공격에 본질적으로 취약함을 입증했습니다.

실험 결과

저자들은 AdvBench 및 JailBreakBench 데이터셋을 사용하여 두 가지 최첨단 마스킹 확산 비전 - 언어 모델인 LLaDA-V와 LaViDA에서 GPO-V 를 평가했습니다.

• 공격 성공률 (JSR): GPO-V 는 LLaDA-V 에서 최대 93.2%, LaViDA 에서 **88.9%**의 젤브레이크 성공률을 달성했습니다. 반면, 기존 FPO 기반 베이스라인 (예: GCG) 은 무시할 만한 성공률 (종종 < 2%) 을 기록했습니다.
• 전이성: GPO-V 로 합성된 적대적 교란은 높은 모델 간 전이성을 보여주었습니다. 소스 모델에서 최적화된 공격은 이질적인 아키텍처를 가진 피해 모델 (예: LLaDA-V 에서 LaViDA 로 전이) 을 성공적으로 침해하여 성공률이 65% 를 초과했으며, 이는 모델에 무관한 취약점을 포착했음을 시사합니다.
• 견고성: 이 방법은 다양한 블록 길이와 Fast-dLLM 가속 기술 사용 등 다양한 생성 구성에서 효과적이었습니다.
• 절대 연구: 전역 손실 또는 앵커 손실 중 하나를 제거하면 공격 효과가 크게 감소하여, 거절 패턴의 억제와 긍정 앵커의 안정화 모두 성공에 필수적임을 확인했습니다.

중요성 및 주장

이 논문은 그 발견이 비순차적 생성 아키텍처의 중요한 보안 격차를 강조한다고 주장합니다. 주요 중요성은 다음과 같습니다:

• 지각된 견고성에 대한 도전: 결과는 dVLMs 가 기존 젤브레이크에 대해 가진 지각된 회복력이 기만적임을 보여줍니다. 국소 접두사 공격에 대한 방어로 작용하는 독특한 "점진적 거절" 메커니즘 자체가 전역 확률 최적화로 표적화될 때 취약점이 됩니다.
• 재평가의 필요성: 저자들은 현재 인과적 (자기회귀) 디코딩에 주로 최적화된 방어 패러다임이 확산 모델의 고유한 생성 다양성에는 불충분하다고 주장합니다.
• 행동 촉구: 이 작업은 확산 기반 생성의 위험을 해결하기 위해 dVLMs 의 안전 정렬에 대한 즉각적이고 근본적인 재평가가 필요하며, 연구 커뮤니티가 이러한 새로운 비순차적 위협에 대한 견고한 방어를 개발하도록 촉구합니다.

이 논문은 GPO-V 가 확산 프로세스 자체의 고유한 취약점을 노출시켰으며, 안전 정렬이 단순한 순차적 토큰 예측이 아닌 전역 확률적 역학을 고려하도록 진화해야 함을 시사하며 결론을 맺습니다.