💬 NLP

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

이 논문은 멀티모달 거대 언어 모델의 스타일적 불일치를 활용하여 의미적 내용은 유지하면서 시각적 스타일 트리거를 최적화함으로써 탈옥 공격 성공률을 크게 향상시키는 GRPO 기반 프레임워크인 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 소개한다.

원저자: Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 우리처럼 세상을 보고 이해할 수 있지만, 특별한 초능력을 가진 세상을 상상해 보세요. 그 초능력이란 바로 당신의 마음을 읽고 "케이크를 어떻게 굽나요?"부터 "로봇을 만드는 가장 좋은 방법은 무엇인가요?"와 같은 어떤 질문에도 답할 수 있는 능력입니다. 이러한 모델들을 멀티모달 거대 언어 모델(MLLM)이라고 부릅니다. 이들은 우리가 매일 사용하는 챗봇의 더 똑똑하고 예술적인 사촌 격으로, 사진을 보고 그에 대한 이야기를 쓸 수 있는 능력을 갖추고 있습니다. 하지만 문 앞을 지키는 경비견처럼, 이 모델들에게도 안전 규칙이 있습니다. 이들은 만약 당신이 위험하거나 못된 행동을 요구한다면 "안 돼!"라고 말하도록 프로그래밍되어 있습니다.

오랫동안 연구자들은 이 경비견을 속이는 방법을 찾아내기 위해 노력해 왔습니다. 대부분의 시도는 금지된 물건을 상자 안에 숨기거나 상자에 비밀 코드를 적어 경비원을 통과하려 했던 것처럼, 상자 안에 '무엇'을 숨기는 방식이었습니다. 이것을 "콘텐츠 기반(content-based)" 공격이라고 합니다. 즉, 사진 속의 내용을 바꿈으로써 경비원을 속이려는 시도입니다. 하지만 만약 경비가 단순히 물건만을 보는 것이 아니라면 어떨까요? 만약 경비가 물건이 '어떻게' 보이는지에 의해 주의가 분산된다면 어떨까요? 예를 들어, 사진이 크레파스 그림이나 빈티지 사진, 혹은 만화책처럼 보인다면 경비가 덜 주의 깊어질 수도 있지 않을까요? 이 논문은 바로 이 아이디어, 즉 이미지의 '스타일'이 경비의 안전 규칙을 해제하는 비밀 열쇠가 될 수 있다는 점을 탐구합니다.

빙준 루(Bingjun Luo)와 그의 팀이 이끄는 이 연구진은 매우 흥-미로운 사실을 발견했습니다. 그들은 이 AI 모델들이 기묘한 "성격적 결함"을 가지고 있다는 것을 발견했습니다. 이 모델들은 그림이 어떻게 그려졌든 상관없이 사진에서 일어나고 있는 일을 이해하는 데 매우 뛰어납습니다. 하지만 그들의 안전 알람은 특정 예술적 스타일에 의해 혼란을 겪는 듯 보였습니다. 마치 모델이 "오, 이건 그냥 우스꽝스러운 연필 스케치일 뿐이야, 위험할 리가 없어"라고 생각하는 것과 같습니다. 비록 그 스케치가 실제로 해로운 것을 요청하고 있을지라도 말입니다.

이를 테스트하기 위해, 팀은 단순히 추측만 한 것이 아닙니다. 그들은 **적대적 스타일 최적화(Adversarial Style Optimization, ASO)**라는 영리한 시스템을 구축했습니다. ASO를 경비견을 속이기 위해 그림을 그리는 데 완벽한 방법을 찾는 명석한 미술 학생이라고 생각해 보세요. 먼저, 시스템은 유화, 픽셀 아트, 애니메이션 등 다양한 예술 스타일을 시도하며 어떤 스타일이 AI가 경계심을 풀게 만드는지 확인합니다. 이것이 "탐색(probing)" 단계입니다.

그들이 가장 잘 통하는 스타일(예를 들어 연필 스케치)을 찾으면, 거기서 멈추지 않습니다. 그들은 똑똑한 학습 로봇(GRPO 에이전트라고 불리는)을 사용하여 그 스케치를 미세하게 조정합니다. 로봇이 선을 조금 더 굵게 만들거나, 명암을 조금 더 어둡게 하거나, 원근법을 약간 이상하게 만드는 등 그림을 조금씩 수정하는 예술가라고 상상해 보세요. 매번 수정할 때마다 로봇은 AI에게 "이걸 통과시켜 줬니?"라고 묻습니다. 만약 AI가 "아니"라고 답하면, 로봇은 다시 시도합니다. 만약 AI가 "응"이라고 답하면, 로봇은 기뻐하며 그 특정 그림을 저장합니다.

팀은 GPT-4.1이나 제미나이(Gemini)와 같은 세계에서 가장 똑똑한 AI 모델들을 대상으로 이를 테스트했습니다. 결과는 눈을 뜨게 만들었습니다. 그들이 기존의 "탈옥(jailbreak)" 시도(AI를 속이려고 이미 시도 중이었던 공격들)에 자신들의 최적화된 스타일 수정을 적용했을 때, 성공률이 크게 높아졌습니다. 예를 들어, 한 인기 있는 모델에서 기존 공격이 약 39%의 성공률을 보였다면, 그들의 최적화된 스타일을 추가함으로써 44% 이상으로 뛰어올랐습니다. 다른 모델들에서도 개선 효과는 훨씬 극적이었으며, 일부 공격은 성공률이 몇 퍼센트 포인트 상승하여 "어쩌면 될지도 모르는" 상태를 "확실히 되는" 상태로 바꾸어 놓았습니다.

정말 놀라운 점은, 이것이 단순히 AI가 무해한 질문에 "예"라고 답하도록 속이는 것에 그치지 않는다는 것입니다. 연구진은 AI가 단순히 규칙을 우회한 것이 아니라, 오히려 해로운 답변을 내놓는 데 있어 더욱 확신을 갖게 되었다는 것을 발견했습니다. 이는 마치 AI가 단순히 문을 연 것이 아니라, 달려 나가서 열쇠를 건네주는 것과 같습니다.

이 논문은 모든 사람이 AI가 무엇을 보는지(콘텐츠)에만 집중하느라, 그것을 어떻게 보는지(스타일)를 잊고 있었다는 점에서 매우 중요한 의미를 갖는다고 주장합니다. 연구진은 안전 방어 체계가 변화해야 한다고 제안합니다. 단순히 나쁜 단어나 나쁜 이미지를 막기 위해 벽을 쌓는 것만으로는 부족하며, 그림이 귀여운 만화나 거친 스케치처럼 보일 때도 AI가 주의를 기울이도록 가르쳐야 합니다.

요약하자면, 이 논문은 이미지의 내용만큼이나 이미지가 어떻게 보이는지도 중요하다는 것을 보여줍니다. AI의 안전 시스템을 특정 접시에 담겨 나온 음식만 좋아하는 까다로운 미식가처럼 다룸으로써, 연구진은 경비원을 통과해 "금지된 음식"을 전달하는 방법을 찾아냈습니다. 그들은 단순히 벽에 생긴 틈을 찾은 것이 아니라, 아무도 몰랐던 새로운 문을 찾아낸 것이며, 이는 AI 안전의 세계에서 메시지의 스타일이 메시지 그 자체만큼이나 강력하다는 것을 증명합니다.

기술 요약: 적대적 스타일 최적화 (Adversarial Style Optimization, ASO)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각-언어 추론에서 상당한 성능을 달면 달성했으나, 그 안전 정렬(safety alignment)은 탈옥 공격에 여전히 취약하다. 기존 연구는 주로 이미지 내에 적대적 텍스트나 최적화된 객체를 직접 삽입하는 것과 같은 **콘텐츠 기반 트리거(content-based triggers)**에 집중해 왔다. 그러나 이러한 방법들은 이미지가 어떻게 제시되는지(예: 시각적 스타일, 조명, 구도)와 관련된 **비콘텐츠 기반 취약점(non-content-based vulnerabilities)**을 활용하는 데에는 한계를 보인다.

저자들은 MLLM의 결정적인 **스타일 불일치(Stylistic Inconsistency)**를 식별하였다. 즉, 이러한 모델들은 시각적 스타일과 관계없이 콘텐츠를 이해하는 데에는 강력한 능력을 보여주지만, 그들의 안전 방어 메커니즘은 특정 스타일 수정에 매우 민감하게 반응한다는 것이다. 현재의 탈옥 방법들은 이러한 스타일 파라미터를 체계적으로 최적화하지 못하고 있으며, 이는 광대하고 미개척된 공격 표면을 남겨두고 있다.

방법론: 적대적 스타일 최적화 (ASO)

본 논문은 스타일 트리거를 최적화하여 기존의 시각적 탈옥 성능을 증폭시키기 위해 설계된 플러그 앤 플레이(plug-and-play) 방식의 강화 모듈인 **적대적 스타일 최적화(ASO)**를 제안한다. 이 프레임워크는 두 단계의 순차적인 단계로 작동한다.

1. 스타일 민감도 프로빙 (Style Sensitivity Probing)

첫 번째 단계는 타겟 MLLM에 대해 가장 취약한 스타일 방향을 체계적으로 식별한다.

스타일 풀 구축: 네 가지 가설(매체 및 질감(예: 연필 스케치), 기하학적 및 추상적 왜곡(예: 픽셀 아트), 테마 및 분위기(예: 사이버펑크), 도메인 특화 일러스트레이션(예: 애니메이션))로 분류된 포괄적인 스타일 풀을 구축한다.
정량화: 시스템은 베이스 탈옥 공격 데이터셋에 "기성(off-the-shelf)" 스타일 필터를 적용한다. 각 스타일에 대한 공격 성공률(ASR)을 측정하여, 가장 높은 베이스라인 ASR을 생성하는 최적의 나이브 스타일( $S^*$ )을 경험적으로 선택한다.

2. GRPO 기반 스타일 강화 (GRPO-based Style Enhancement)

최적의 스타일 방향이 식별되면, 두 번째 단계에서는 강화 학습(RL)을 사용하여 이미지 편집 모델(예: FLUX-Kontext)을 미세 조정함으로써, 해당 스타일 내에서 공격 성공을 극대화하는 정밀하고 비직관적인 파라미터를 찾아낸다.

마르코프 결정 과정 (MDP): 이 작업은 에이전트(이미지 생성기)가 보상을 극대화하기 위해 행동(스타일 수정)을 선택하는 MDP로 프레임화된다.
동적 배치 GRPO (DB-GRPO): 희소한 보상(sparse rewards) 문제와 플로우 매칭(flow-matching) 모델의 결정론적 특성을 해결하기 위해, 저자들은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 채택한다. 이들은 모델의 상미분 방정식(ODE) 샘플링을 확률 미분 방정식(SDE)으로 변환하여 확률적 탐색을 가능하게 한다.
동적 커리큘럼 (Dynamic Curriculum): 알고리즘은 "미해결 풀(Unsolved Pool)"과 "성공 컬렉션(Success Collection)"을 유지한다. 해결되지 않은 샘플에 학습 자원을 집중하며, 성공적으로 우회되었거나 최대 시도 횟수( $K_{max}$ ) 이후에도 실패한 샘플은 퇴출시킨다.
구조적 계층 보상 함수 (Structurally-Tiered Reward Function): 희소한 보상 환경에서 밀도 높은 학습 신호를 제공하기 위해, 저자들은 계층적 보상 함수를 설계하였다:
- 레벨 1 (우회): 모델이 입력을 거부할 경우, 보상은 모델의 수용 확률 대비 거부 확률의 로그 오즈(log-odds)를 기반으로 하며, 이는 에이전트가 모델의 거부 확신도를 낮추도록 유도한다.
- 레벨 2 (성공): 모델이 입력을 수용할 경우, 강력한 "판단 모델(Judge Model)"이 응답을 평가한다. 보상은 응답의 유해함 대 무해함의 로그 오즈를 기반으로 하며, 이는 단순히 우회하는 것을 넘어 의미론적으로 유해한 콘텐츠를 생성하도록 유도한다.

주요 기여

스타일 민감도 식별: 본 논문은 MLLM이 특정 시각적 스타일에 대한 내재적 편향을 가지고 있음을 체계적으로 식별하고 검증하여, 새로운 비콘텐츠 기반 취약 표면을 제시한 첫 번째 연구이다.
ASO 프레임워크: 저자들은 기존의 SOTA 공격을 증폭시키는 범용적인 플러그 앤 플레이 프레임워크를 도입하였다. 이 프레임워크는 복잡하고 희소한 보상 공간을 효과적으로 탐색하기 위해 구조적 계층 보상 함수를 활용한다.
DB-GRPO 알고리즘: 본 연구는 플로우 매칭 이미지 생성기에 맞춤화된 동적 배치 GRPO 알고리즘을 도입하여, ODE 샘플링 및 레드팀 시나리오에서의 목적 함수 불일치와 관련된 기술적 과제를 해결하였다.

실험 결과

저자들은 MM-SafetyBench 및 VLBreakBench와 같은 벤치마크를 사용하여 GPT-4.1, Gemini-2.5와 같은 상용 모델 및 Qwen3-VL, LLaVA-OneVision-1.5와 같은 오픈 소스 모델을 포함한 다양한 최신 VLM에 대해 ASO를 평가하였다.

성능 증폭: ASO는 다양한 베이스 공격(예: FigStep, QR Attack, SI Attack, HIMRD)의 공격 성공률(ASR)을 일관되고 유의미하게 높였다. 예를 들어, GPT-4.1-mini에서 ASR은 QR Attack의 경우 54.26%에서 57.36%로, SI Attack의 경우 53.49%에서 57.36%로 상승했다.
유해성 점수 (Harmfulness Score, HS): 최적화는 성공적인 우회 빈도뿐만 아니라 콘텐츠의 심각성도 높였다. 유해함 대 무해함의 로그 확률 차이인 유해성 점수가 일관되게 개선되었으며, 이는 최적화된 스타일이 더 결정적으로 유해한 응답을 유도함을 나타낸다.
일반화 가능성: 이러한 향상은 테스트된 모든 모델과 공격 카테고리(예: 사기, 혐오 표현과 같이 베이스 공격의 초기 성공률이 낮은 "어려운" 카테기 포함)에서 관찰되었다.
절제 연구 (Ablation Study): 연구 결과, 초기 "프로빙(Probing)" 단계가 민감한 스타일을 식별함으로써 약간의 성능 향상을 제공하지만, 성능 향상의 대부분은 RL 기반의 "강화(Enhancement)" 단계에서 발생한다는 것이 확인되었으며, 이는 단순한 스타일 적용보다 적대적 최적화가 필수적임을 입증한다.

의의 및 주장

본 논문은 VLM의 안전성이 이미지가 무엇을(content) 묘사하는가뿐만 아니라, 어떻게(style) 제시되는가의 함수임을 주장한다. 스타일적 편향이 안전 메커니즘을 우회하기 위해 적대적으로 최적화될 수 있음을 보여줌으로써, 저자들은 MLLM을 위한 레드팀 작전을 위한 확장 가능한 벡터를 드러냈다.

이 연구는 콘텐츠 필터링에 주로 집중하는 현재의 방어 전략이 불충분함을 시사한다. 본 연구의 결과는 MLLM의 견고성을 실세계 애플리케이션에서 보장하기 위해, 비콘텐츠 기반 취약점, 특히 시각적 스타일을 고려해야 하는 미래의 방어 전략의 필요성을 강조한다. 저자들은 이러한 스타일적 취약점에 대한 추가 연구를 촉진하기 위해 코드를 공개하였다.