기술 요약: 대규모 비전-언어 모델에 대한 다회전 적응형 프롬프트 공격

문제 제기

다회전 탈옥 공격이 텍스트 전용 대규모 언어 모델 (LLM) 에 대해 점진적으로 악성 콘텐츠를 도입하여 안전 정렬을 우회함으로써 효과적임이 입증되었으나, 이러한 기법을 대규모 비전-언어 모델 (LVLM) 로 확장하는 연구는 여전히 미흡합니다. 저자들은 중요한 격차를 지적합니다. 즉, 다회전 공격에 시각적 입력을 단순히 포함시키는 것은 오히려 방어하기 쉽게 만든다는 것입니다. 안전 정렬이 된 LVLM 은 지나치게 악성인 시각적 콘텐츠가 제시될 때 방어 메커니즘을 더 쉽게 발동시켜 보수적인 응답을 내놓는 경향이 있습니다. furthermore, 기존 방법들은 텍스트와 비전이라는 서로 다른 모달리티 간의 해로운 단서를 효과적으로 조율하여 상호 보완적으로 작용하게 하지 못하고, 오히려 서로 모순되게 만들어 공격 효과를 제한합니다.

방법론: MAPA

이러한 과제를 해결하기 위해 저자들은 MAPA(Multi-Turn Adaptive Prompting Attack, 다회전 적응형 프롬프트 공격) 를 제안합니다. 이는 두 단계의 적응형 설계를 통해 점진적으로 더 악성인 응답을 유도하도록 고안된 프레임워크입니다.

1. 회차 수준: 교대 공격 행동

대화 각 회차에서 MAPA 는 세 가지 후보 중 가장 효과적인 공격 행동을 선택하기 위해 탐욕적 탐색 (greedy search) 전략을 사용합니다. 이 과정에는 초기 연결되지 않은 텍스트 프롬프트 ($ucQ_T$) 를 생성하는 공격자 LLM과 사고의 사슬 (Chain-of-Thought) 방식으로 작동하는 연결자 LLM이 포함됩니다. 연결자 LLM 은 다음 작업을 수행합니다:

• 텍스트 내 악성 개념을 식별합니다.
• 해당 이미지 생성 프롬프트를 생성합니다.
• 시각적 입력과 일치하도록 악성 개념을 대체하여 텍스트 프롬프트 ($cQ_T$) 를 정제합니다.
• Stable Diffusion 을 사용하여 악성 이미지 ($cQ_V$) 를 생성합니다.

이러한 구성 요소들을 바탕으로 세 가지 공격 행동이 수립되어 피해 LVLM 에 대해 테스트됩니다:

• 행동 1: 연결되지 않은 텍스트 프롬프트만 ($ucQ_T$).
• 행동 2: 연결되지 않은 텍스트 프롬프트 + 생성된 악성 이미지 ($ucQ_T + cQ_V$).
• 행동 3: 연결된 텍스트 프롬프트 + 생성된 악성 이미지 ($cQ_T + cQ_V$).

판정자 LLM 이 응답을 평가합니다. 만약 성공한 응답이 없다면, 탈옥 작업과의 **의미적 상관관계 (SEM)**가 가장 높은 행동을 현재 회차의 최적 행동으로 선택합니다.

2. 회차 간: 적응형 궤적 조정

회차 간에 MAPA 는 점진적으로 악성도를 증폭시키기 위해 반복적인 오고 가는 정제를 통해 공격 궤적을 조정합니다. 시스템은 현재 응답의 의미적 상관관계를 과거 문맥 및 이전 회차와 비교하여 다음 세 가지 정책 중 하나를 결정합니다:

• 전진 (Advance): 이전 회차 및 과거 문맥이 없는 버전과 비교하여 현재 의미적 상관관계가 증가한 경우 발동됩니다. 이는 악성 콘텐츠의 점진적 삽입이 성공했음을 나타냅니다.
• 후퇴 (Back): 이전 회차와 비교하여 현재 상관관계는 감소했으나 과거 문맥이 없는 버전과 비교하면 증가한 경우 발동됩니다. 이는 이전 회차의 문맥이 공격을 저해했다는 것을 시사합니다. 시스템은 이전 회차로 돌아가 재생성을 수행합니다.
• 재생성 (Regen): 상관관계가 증가하더라도 점진적이지 않거나, 전반적으로 감소한 경우 발동됩니다. 현재 회차의 프롬프트가 재생성됩니다.

또한 MAPA 는 **반성 메커니즘 (Reflection Mechanism)**을 포함합니다. 다회전 공격 시도가 회차 제한을 모두 소진한 후 실패할 경우, 공격자 LLM 은 실패 이력 (실패한 전략과 응답) 을 분석하여 후속 시도를 위한 더 효과적인 새로운 공격 체인을 설계함으로써 작업 내 학습을 가능하게 합니다.

주요 기여

1. LVLM 탈옥 실패 특성화: 본 논문은 기존 단일 회차 공격과 단순 확장된 다회전 공격이 종종 안전 정렬된 LVLM 에 대해 실패하는 이유를 밝혀냈습니다. 그 이유는 악성 시각적 콘텐츠를 직관적으로 삽입하는 것이 방어 메커니즘을 촉발시키기 때문입니다.
2. MAPA 프레임워크: 이러한 실패를 완화하기 위한 실용적인 솔루션으로, 회차 수준의 행동 교대와 회차 간 궤적 조정이라는 두 단계 설계를 활용합니다. 이는 텍스트와 비전 모달리티 간의 상호작용을 명시적으로 관리하여 공격 효과를 강화합니다.
3. 종합적 평가: MAPA 의 최첨단 방법 대비 우수성을 입증하는 광범위한 실험 및 제거 연구 (ablation studies) 를 수행했습니다.

실험 결과

저자들은 LLaVA-v1.6-Mistral-7B, Qwen2.5-VL-7B-Instruct, Llama-3.2-Vision-11B-Instruct, GPT-4o-mini 등 네 가지 대상 모델에 대해 네 가지 벤치마크 (HarmBench, JailbreakBench, AdvBench, RedTeam-2K) 에서 MAPA 를 평가했습니다.

• 성능: MAPA 는 CoA, ActorAttack, FootInTheDoor, VRP, MML 을 포함한 베이스라인보다 일관되게 우수한 성과를 보였습니다. HarmBench 에서 평균 공격 성공률 (ASR) 은 **96.66%**를 기록하여 두 번째로 좋은 방법보다 약 26.11% 향상되었습니다.
• 벤치마크 일관성: MAPA 는 모든 벤치마크에서 유의미한 향상을 보였으며, JailbreakBench 에서 평균 ASR 이 23.33%, AdvBench 에서 14.45%, RedTeam-2K 에서 32.22% 각각 개선되었습니다.
• 제거 연구: 반성 메커니즘을 제거하면 평균적으로 성능이 8.89% 감소했습니다. 정책 조정 (궤적 정제) 을 비활성화하면 12.23% 하락했습니다. 또한 연구는 적응형 정렬 (행동 3) 없이 시각적 입력을 단순히 추가하는 경우, 특히 Llama-3.2-Vision 과 같이 강력한 시각적 안전 메커니즘을 가진 모델을 상대로 성능이 저하될 수 있음을 밝혔습니다.
• 효율성: 고정된 쿼리 예산 하에서 MAPA 는 베이스라인보다 적은 쿼리를 소비하면서도 더 높은 성공률을 유지했습니다.

중요성과 주장

본 논문은 LVLM 에 대한 다회전 탈옥의 고통 지점을 체계적으로 조사하고 해결한 최초의 연구라고 주장합니다. 이는 교차 모달리티 다회전 대화 내에서 널리 사용되는 LVLM 의 안전 취약점을 드러냅니다. 저자들은 그들의 연구 결과가 표면적으로 정렬하는 것이 아니라 지능적으로 텍스트 - 비전 프롬프트를 최적화할 필요성을 강조한다고 주장합니다. 궁극적으로 이 연구는 이러한 특정 취약점을 노출함으로써 현실적이고 악의적인 환경에서 LVLM 을 위한 더 강력한 안전 정렬 개발을 촉진하는 것을 목표로 합니다.