PRISM: Programmatic Reasoning with Image Sequence Manipulation for LVLM Jailbreaking

이 논문은 소프트웨어 보안의 ROP 기법을 차용하여 해로운 지시를 개별적으로 안전해 보이는 시각적 요소들의 시퀀스로 분해하고 이를 프로그래밍적으로 조작함으로써 대형 시각 - 언어 모델의 안전 장치를 우회하는 'PRISM'이라는 새로운 자일브레이크 프레임워크를 제안하고, 이를 통해 기존 방법들보다 월등히 높은 공격 성공률을 달성함을 입증합니다.

핵심

이 논문은 최신 인공지능 (LVLM) 의 안전 장치를 뚫는 새로운 방법을 소개하고 있습니다. 어렵게 들릴 수 있는 기술 용어들을 일상적인 비유로 쉽게 설명해 드릴게요.

🕵️‍♂️ 핵심 아이디어: "PRISM"이라는 새로운 해킹 방법

이 연구팀은 인공지능을 속이기 위해 **'PRISM'**이라는 새로운 전략을 개발했습니다. 이 방법은 컴퓨터 보안에서 쓰이는 '리턴 오 riented 프로그래밍 (ROP)'이라는 기법을 영감으로 삼았습니다.

1. 기존 방식 vs. 새로운 방식 (PRISM)

• 기존 방식 (직접적인 공격):
  마치 도둑이 금고 문에 "여기 열쇠를 줘!"라고 소리치거나, "이 금고 뚫는 법 알려줘!"라고 직접 요구하는 것과 같습니다. 인공지능의 안전 장치는 이런 거친 요청을 바로 감지하고 "안 돼!"라고 막아냅니다.

• PRISM 방식 (조각조각 나누기):
  PRISM 은 훨씬 더 교묘합니다. 해커는 인공지능에게 "나쁜 짓"을 직접 요구하지 않습니다. 대신, **하나하나만 보면 전혀 해롭지 않은 '작은 조각들 (비주얼 가젯)'**을 여러 개 준비합니다.

  • 비유: 누군가에게 "폭탄을 만드는 법"을 알려달라고 하면 거절당하지만, "설탕을 사오세요", "유리병을 구하세요", "심지를 준비하세요"라고 각각 따로 요청하면 아무도 의심하지 않습니다.

  PRISM 은 인공지능에게 이렇게 말합니다:

  1. "이 사진 (설탕) 을 보여줘."
  2. "그리고 이 사진 (유리병) 을 보여줘."
  3. "마지막으로 이 사진 (심지) 을 보여줘."

  인공지능은 각각의 사진이 harmless(무해) 하다고 판단합니다. 하지만 인공지능이 이 모든 조각을 **연결해서 생각 (추론)**하는 과정에서, 우연히 "아, 이걸 합치면 폭탄이 되겠네!"라는 결론을 내리게 됩니다.

2. 왜 이것이 위험한가요?

이 방법의 가장 무서운 점은 악의적인 의도가 '나타나기 전'까지 아무도 모른다는 것입니다.

• 마치 퍼즐 조각처럼: 각 조각 (이미지) 은 평화롭지만, 인공지능이 이 조각들을 맞춰보는 순간 (추론 과정), 갑자기 위험한 그림이 완성됩니다.
• 안전 장치가 무력한 이유: 인공지능의 안전 필터는 보통 "단일 질문"이나 "단일 이미지"를 검사합니다. 하지만 PRISM 은 질문 하나하나가 안전하므로 필터를 통과합니다. 문제는 인공지능이 이 안전했던 조각들을 합쳐서 나쁜 답을 내놓을 때 발생합니다.

3. 실험 결과: 얼마나 성공했나요?

연구팀은 이 방법을 최신 인공지능 모델들에게 적용해 보았습니다. 결과는 놀라웠습니다.

• 기존 방법: 안전 장치를 뚫는 데 어려움을 겪거나 성공률이 낮았습니다.
• PRISM 방법: 90% 이상의 성공률을 기록했습니다. 마치 완벽하게 작동하는 열쇠처럼, 대부분의 최신 인공지능 모델이 이 교묘한 공격에 넘어갔습니다.

💡 결론: 무엇을 배울 수 있나요?

이 논문의 핵심 메시지는 **"인공지능이 여러 정보를 연결해서 생각하는 능력 (추론 능력) 이 오히려 약점이 될 수 있다"**는 것입니다.

지금까지 우리는 인공지능이 "무슨 말을 하느냐"에 집중해 안전 장치를 만들었습니다. 하지만 PRISM 은 **"인공지능이 어떻게 생각하느냐 (정보를 조합하는 과정)"**를 공격합니다.

이제 우리는 인공지능을 보호할 때, 단순히 나쁜 말을 막는 것을 넘어, 인공지능이 여러 조각을 합쳐 나쁜 결론을 내리지 못하도록 하는 더 강력한 방어막을 만들어야 한다는 경고를 보내고 있습니다.

기술 요약

PRISM: LVLM 재프라이징을 위한 프로그래밍적 추론과 이미지 시퀀스 조작

1. 문제 정의 (Problem)

대형 비전 - 언어 모델 (LVLM) 의 기술적 성숙도가 높아짐에 따라, 유해한 콘텐츠 생성을 방지하기 위한 안전 정렬 (Safety Alignment) 메커니즘도 발전했습니다. 그러나 기존 방어 체계는 여전히 정교한 적대적 공격에 취약합니다.

• 기존 방법의 한계: 현재 존재하는 재프라이징 (Jailbreak) 기법들은 주로 직접적이고 의미적으로 명시적인 프롬프트에 의존합니다.
• 핵심 취약점: 이러한 접근 방식은 LVLM 이 여러 추론 단계 (reasoning steps) 에 걸쳐 정보를 어떻게 구성 (compose) 하는지에 대한 미묘한 취약점을 간과하고 있습니다. 즉, 단일 단계에서는 안전해 보이지만, 여러 단계를 거쳐 결합될 때 유해한 결과가 도출되는 경로를 활용하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 소프트웨어 보안의 리턴 - 오리엔티드 프로그래밍 (Return-Oriented Programming, ROP) 기법에서 영감을 받아 새로운 재프라이징 프레임워크인 PRISM을 제안합니다.

• 비유해한 시각적 가젯 (Benign Visual Gadgets) 분해:
  • 유해한 지시사항 (Harmful Instruction) 을 개별적으로는 안전하고 비유해한 여러 개의 '시각적 가젯 (visual gadgets)' 시퀀스로 분해합니다.
  • 각 가젯은 단독으로 모델의 안전 필터를 우회할 수 있는 유해한 내용을 포함하지 않습니다.
• 조작된 텍스트 프롬프트:
  • 精心하게 설계된 텍스트 프롬프트가 모델에게 입력된 이미지 시퀀스를 순차적으로 처리하도록 지시합니다.
  • 모델은 자신의 추론 능력을 통해 이 비유해한 시각적 요소들을 통합 (integrate) 하도록 유도됩니다.
• 유해한 결과의 창발 (Emergent Malicious Intent):
  • 모델이 각 단계의 benign(선량한) 입력을 추론 과정을 통해 결합할 때, 최종적으로 일관성 있고 유해한 출력이 생성됩니다.
  • 이 방식은 악의적인 의도가 단일 구성 요소에서는 드러나지 않고, 전체적인 추론 흐름에서만 '창발'되도록 하여 탐지를 어렵게 만듭니다.

3. 주요 기여 (Key Contributions)

• 새로운 공격 패러다임 제시: 소프트웨어 보안의 ROP 개념을 LVLM 보안에 최초로 적용하여, 단일 입력이 아닌 시퀀스 기반의 구성적 추론 (compositional reasoning) 을 악용하는 새로운 공격 벡터를 제시했습니다.
• 미세한 취약점 발견: LVLM 이 정보를 구성하는 방식의 근본적인 취약점을 규명했습니다. 이는 기존에 간과되었던, 다단계 추론 과정에서의 보안 허점을 드러냅니다.
• 체계적인 검증: SafeBench 및 MM-SafetyBench 와 같은 기존 벤치마크를 활용하여 다양한 최신 LVLM 을 대상으로 실험을 수행했습니다.

4. 실험 결과 (Results)

PRISM 은 기존 베이스라인 방법론들보다 일관되게 그리고 압도적으로 우수한 성능을 보였습니다.

• 공격 성공률 (ASR): SafeBench 에서 0.90 이상 (거의 완벽한 성공률) 을 기록했습니다.
• 성능 향상: 기존 방법 대비 공격 성공률을 최대 0.39(p.p) 까지 향상시켰습니다.
• 범용성: 다양한 최신 LVLM 모델에서 높은 효과를 입증했습니다.

5. 의의 및 시사점 (Significance)

이 연구는 LVLM 의 안전성을 위협하는 비교적 탐구되지 않은 핵심 취약점을 드러냈습니다.

• 방어 체계의 재고: 단순히 입력이나 출력을 필터링하는 기존 방식만으로는 충분하지 않으며, 모델의 전체 추론 과정 (entire reasoning process) 을 보호할 수 있는 새로운 방어 메커니즘이 시급히 필요함을 강조합니다.
• 미래 연구 방향: 다단계 추론과 시각적 정보의 구성적 결합에 대한 보안 연구의 중요성을 부각시켰으며, 향후 LVLM 의 안전성 강화에 있어 필수적인 고려 사항이 되었습니다.