기술 요약: UltraBreak – 시각-언어 모델(VLM)에 대한 보편적이고 전이 가능한 탈옥 공격을 향하여

문제 정의

시각-언어 모델(VLM)은 시각 인코더와 대규모 언어 모델(LLM)을 통합하여 다중 모드 입력을 처리함으로써, 안전이 중요한 영역에서의 활용도를 확장한다. 그러나 이러한 통합은 공격 표면을 넓히는 결과도 초래한다. 기존의 VLM 대상 경사 기반(gradient-based) 탈옥 방법들은 두 가지 결정적인 한계점을 가진다:

1. 낮은 전이성(Poor Transferability): 적대적 패턴이 훈련에 사용된 특정 대리 모델(white-box 설정)에 과적합되어, 보지 못한 피해 모델(black-box 설정)로 일반화되지 못한다.
2. 비보편성(Lack of Universality): 많은 방법들이 각 유해한 질의마다 타겟별 이미지를 요구하므로, 다양한 탈옥 목적에 걸쳐 작동하는 단일 "보편적(universal)" 트리거를 생성하는 것이 불가능하다.

본 논문은 단일 대리 모델을 사용하여 동시에 보편적(다양한 유해한 타겟에 대해 효과적)이고 전이 가능(다양한 모델 아키텍처에 대해 효과적)한 탈옥 프레임워크를 개발하는 과제를 다룬다.

방법론: UltraBreak

저자들은 보편적이고 전이 가능한 적대적 이미지를 생성하도록 설계된 프레임워크인 UltraBreak를 제안한다. 이 접근 방식은 두 가지 핵심 통찰, 즉 강건성을 유도하기 위한 최적화 공간의 제약과 손실 지형(loss landscape)을 매끄럽게 하기 위한 텍스트 타겟의 완화에 의해 유도된다.

1. 의미론적 구동 적대적 타겟 (Semantic-Driven Adversarial Targets)

전통적인 최적화 기반 공격은 특정 토큰 시퀀스를 출력하도록 강제하기 위해 교차 엔트로피(Cross-Entropy, CE) 손실에 의존한다. 저자들은 이것이 "뾰족한(spiky)" 손실 지형을 만들어 과적합을 유발한다고 주장한다. 대신, UltraBreak는 텍스트 임베딩 공간에서의 **의미 기반 손실(semantic-based loss)**을 채택한다:

• 투영(Projection): 모델 출력 로짓(logits)과 타겟 토큰을 공유 임베딩 공간으로 투영한다.
• 의미적 거리(Semantic Distance): 손실 함수는 모델 출력의 기대 임베딩과 미래 타겟 임베딩들의 가중치 합 사이의 코사인 거리를 최소화한다.
• 어텐션 메커니즘(Attention Mechanism): 모델이 무관하지만 의미적으로 유사한 출력을 생성하는 것을 방지하기 위해, 어텐션 메커니즘을 사용하여 의미적 유사성과 위치 인코딩에 따라 타겟 토큰에 동적으로 가중치를 할당한다. 이를 통해 최적화가 경직된 토큰 시퀀스가 아닌 가장 관련 있는 의미적 연속성에 집중할 수 있도록 한다.

2. 제약된 최적화 공간 (Constrained Optimization Space)

적대적 패턴이 단순한 픽셀 수준의 아티팩트가 아니라 모델 변화에 강건하도록 보장하기 위해, 최적화는 시각 공간 내에서 제약된다:

• 무작위 변환(Randomized Transformations): 훈련 과정 중 이미지에 무작위 변환(회전, 스케일링, 이동)을 적용한다. 이는 옵티마이저가 공간적 섭동(perturbation) 하에서도 불변하는 특징을 발견하도록 강제하여, 강건한 구조(예: 글자 또는 모양)의 출현을 장려한다.
• 전체 변동(Total Variation, TV) 손실: 취약한 고주파 픽셀 수준 노이즈를 억제하기 위해 TV 정규화 항을 추가하여 공간적 매끄러움을 강제한다.
• 아핀 투영(Affine Projection): 극단적인 값에 대한 의존도를 줄이기 위해 픽셀 값을 제약된 부분 공간으로 투영한다.

3. 타겟 프롬프트 가이드 (Targeted Prompt Guidance, TPG)

대리 모델이 훈련 중에 긍정적이고 유해한 출력을 내도록 편향시키기 위해, 프레임워크는 TPG의 변형을 사용한다. 이는 타겟 질의에 대한 절차적 단계를 열거하도록 모델에 명시적으로 지시하고 특정 긍정 문구로 시작하게 하는 프롬프트를 구성하는 과정을 포함하며, 이를 통해 의미적 감독을 강화한다.

최종 목적 함수는 어텐션 기반 의미 손실, TV 정규화, 그리고 무작위 변환 파라미터에 대한 기댓값을 결합한다.

주요 기여

본 논문은 다음과 같은 기여를 주장한다:

• UltraBreak 프레임워크: 단일 대리 모델을 사용하여 VLM에 대해 효과적인 교차 타겟 보편성과 교차 모델 전이성을 동시에 달acia하는 최초의 탈옥 프레임워크이다.
• 새로운 최적화 전략: 강건한 적대적 패턴을 유도하기 위한 제약된 최적화(무작위 변환 + TV 손실)와 손실 지형을 매끄럽게 하기 위한 의미론적 가중 타겟의 통합을 제공한다.
• 경험적 우월성: 블랙박스 설정에서 UltraBreak가 기존의 경사 기반 방법들(예: VAJM, UMK) 및 수동으로 설계된 공격들(예: FigStep)보다 실질적으로 우수함을 광범한 실험을 통해 입증하였다.

실험 결과

저자들은 6개의 오픈 소스 VLM(Qwen, LLaVA, Kimi, GLM 제품군 포함)과 3개의 독점 모델(GPT-4.1, Gemini, Claude)을 대상으로 UltraBreak를 평가하였다. 평가는 SafeBench, AdvBench, MM-SafetyBench 세 가지 벤치마크를 사용하였다.

• 전이성(Transferability): 블랙박스 설정(한 모델에서 훈련, 다른 모델에서 테스트)에서 UltraBreak는 SafeBench에서 평균 71.05%, AdvBench에서 **52.19%**의 공격 성공률(ASR)을 달성하였다. 이는 VAJM(각각 41.46% 및 5.61%)과 UMK(각각 20.00% 및 5.19%)와 같은 베이스라인을 크게 상회하는 수치이다.
• 보편성(Universality): UltraBreak에 의해 생성된 단일 적대적 이미지는 다양한 탈옥 목적에 걸쳐 유해한 응답을 성공적으로 유도하였으나, FigStep과 같은 방법은 각 타겟마다 별도의 이미지를 필요로 한다.
• 상용 모델: 더 강력한 안전 메커니즘을 가진 독점 모델들에 대해서도 UltraBreak는 모든 베이스라인을 능가하는 평균 **32.26%**의 ASR을 달성하였다.
• 공격 품질: StrongREJECT 평가기를 사용했을 때, UltraBreak가 생성한 응답은 베이스라인에 비해 더 높은 점수(더 구체적이고 설득력 있는 유해 콘텐츠를 나타냄)를 받았다.

Ablation 연구

• 제약 제거 시: 무작위 변환과 TV 손실이 없을 경우, 공격은 대리 모델에서는 높은 ASR을 보였으나 다른 모델로 전이되지 못했다. 이는 심각한 과적합을 확인시켜 준다.
• 의미 손실 제거 시: 제약 조건이 있는 상태에서 표준 CE 손실을 사용하면 전이성은 약간 개선되었으나, 대리 모델에서의 ASR은 현저히 낮아졌다. 이는 불규칙한 손실 지형으로 인해 최적화가 지역 최솟값(local minima)에 빠졌음을 나타낸다.
• 손실 지형 분석: 시각화를 통해 의미 손실이 토큰 수준의 교차 엔트로피 손실이 가진 뾰족한 지형에 비해 더 매끄럽고 볼록한(convex) 손실 지형을 생성함을 확인하였으며, 이는 더 나은 일반화를 용이하게 한다.

의의 및 주장

본 논문은 이전의 전이 가능한 탈옥 공격이 실패한 원인이 토큰 수준의 교차 엔트로피 목적 함수에 의해 유도되는 "뾰족한" 손실 지형에 있다고 상정한다. 의미론적 감독을 통해 이 지형을 매끄럽게 하고 시각 공간 제약을 통해 강건성을 확보함으로써, UltraBreak는 보편적인 적대적 패턴의 발견을 가능하게 한다.

저자들은 VLM이 LLM의 능력을 확장하는 동시에 더 넓은 공격 표면을 도입한다는 점을 강조한다. 본 연구는 VLM의 보다 안전한 정렬 전략을 개발하기 위해 이러한 취약성을 선제적으로 조사할 필요가 있음을 보여준다. 저자들은 이러한 위협이 실제 배포 환경에서 대규모로 나타나기 전에 이를 알려주는 것을 목표로 한다. 재현성과 방어 전략 연구를 지원하기 위해 코드는 공개되었다.