기술 요약: DMN – 다중 이미지 입력을 활용한 멀티모달 LLM 탈출을 위한 구성형 프레임워크

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 안전 가드레일을 우회하여 해로운 응답을 유도하는 탈출 공격에 점점 더 취약해지고 있습니다. 기존 연구는 주로 단일 이미지 입력에 집중해 왔으나, 많은 현대 MLLM(예: GPT-4o, Gemini-2.5-Pro, Claude Sonnet 4) 은 단일 쿼리 내에서 다중 이미지 입력을 지원합니다. 저자들은 현재의 안전 정렬 노력들이 주로 단일 이미지 시나리오를 위해 설계되어, 해로운 의도가 여러 이미지에 분산될 때 새로운 취약점이 의도치 않게 발생한다고 주장합니다.

기존 MLLM 탈출 방법들은 주로 타이포그래피 렌더링을 통한 악성 의도 임베딩 (예: FigStep) 이나 쿼리 관련 이미지 (예: QRA, HADES) 와 같은 단일 이미지 패러다임에 의존합니다. 이러한 접근법은 본질적인 한계에 직면해 있습니다:

• 의도를 흐리게 하기 위해 여러 이미지에 해로운 지시를 분배할 수 없습니다.
• 전달할 수 있는 정보의 양에 제한이 있습니다.
• 모델의 안전 메커니즘을 방해할 수 있는 보조 추론 작업을 도입할 수 있는 역량이 제한적입니다.

2. 방법론: DMN 프레임워크

이러한 한계를 극복하기 위해 본 논문은 다중 이미지 입력을 위해 특별히 설계된 구성형 탈출 프레임워크인 DMN을 제안합니다. DMN 은 전체 텍스트 프롬프트에 의해 안내되며, 단일 쿼리 내의 특정 이미지 하위 집합에 각각 대응하는 세 가지 고유한 모듈을 통합합니다.

2.1 분산 지시 (Distributed Instruction, DI)

이 모듈은 타이포그래피 텍스트를 여러 이미지에 분할하며, 각 이미지에는 해로운 지시의 단일 단어 또는 작은 부분만 포함됩니다.

• 메커니즘: 텍스트는 빈 번호가 매겨진 목록이 있는 흰색 배경에 렌더링되어 MLLM 이 빈칸을 채우도록 유도합니다.
• 목적: 해로운 의도를 분할함으로써, 프레임워크는 모델이 전체 악성 목표를 감지하는 난이도를 높여 단일 이미지에서 완전한 문장을 플래그하는 안전 필터를 우회합니다.

2.2 멀티모달 증거 (Multimodal Evidence, ME)

이 모듈은 해로운 콘텐츠에 대한 직접적인 요청을 대체하기 위해 풍부한 시각적 및 텍스트적 컨텍스트를 제공하는 현실적인 사례 자료를 생성합니다.

• 파이프라인:
  1. 보조 LLM 이 원래 해로운 요청에서 핵심 구를 추출하고 증언 기록, 현장 조사 등 상세한 증거 항목을 포함하는 고충실도 "현실적인 사례" 텍스트를 생성합니다.
  2. 이러한 텍스트 세부 사항은 객체 배치, 조명, 카메라 앵글과 같은 시각적 요소에 중점을 둔 텍스트 - 이미지 (T2I) 모델에 적합한 설명으로 변환됩니다.
  3. T2I 모델이 해당 시각적 증거를 생성합니다.
• 목적: 불법 행위에 대한 직접적인 요청이 아닌 "현실적인 사례" 생성으로 프레임함으로써 T2I 안전 필터의 거부율을 낮춥니다. 또한, 풍부한 세부 사항은 MLLM 의 응답 품질과 세부 사항 수준을 향상시킵니다.

2.3 숫자 체인 작업 (Number Chain Task, NC)

이 모듈은 모델이 복잡하고 지시된 이미지 시퀀스를 처리하도록 강제함으로써 모델의 안전 메커니즘을 약화시키기 위한 주의 분산 작업을 도입합니다.

• 메커니즘: "숫자 체인 프레임"이 이미지 시퀀스 내의 무작위 위치에 삽입됩니다. 각 프레임에는 숫자와 다음 프레임을 가리키는 인덱스가 포함됩니다. MLLM 에게 지정된 순서로 숫자를 추출하여 숫자 체인을 재구성하도록 지시합니다.
• 목적: 이 작업은 MLLM 이 특정 순서로 이미지 시퀀스를 처리하는 능력을 악용합니다. 작업의 복잡성은 주의 분산 역할을 하여, 모델이 안전 정렬보다 추론 작업을 우선시하게 만들 수 있습니다.

2.4 이미지 시퀀스 구성

최종 입력은 분산 지시 프레임, 멀티모달 증거 쌍, 그리고 무작위 간격으로 삽입된 숫자 체인 프레임이 결합된 이미지 시퀀스로 구성됩니다. 텍스트 프롬프트는 모델이 이 세 부분을 동시에 처리하도록 안내합니다.

3. 주요 기여

• 새로운 다중 이미지 공격 패러다임: DMN 은 기존 연구의 단일 이미지나 비디오 기반 (중복 프레임) 접근법을 넘어 다중 이미지 입력을 체계적으로 악용하여 탈출하는 최초의 프레임워크입니다.
• 구성형 설계: 분산 지시, 멀티모달 증거, 숫자 체인 작업의 통합은 단일 모듈 공격을 크게 능가하는 시너지 효과를 창출합니다.
• 방어 분석: 논문은 다중 이미지 인식 방어 필터를 제안하고 평가하여, 기존 방어책이 moderate 한 보호를 제공하지만 DMN 에는 불충분한 반면, 제안된 필터는 공격을 효과적으로 완화함을 입증했습니다.

4. 실험 결과

저자들은 세 가지 데이터셋(SafeBench, HADES, MM-SafetyBench) 과 10 개의 최첨단 MLLM(GPT-4o, GPT-5, Gemini-2.5-Pro, Claude Sonnet 4 포함) 을 대상으로 DMN 을 평가했습니다.

• 공격 성공률 (ASR): DMN 은 최상위 모델에서 놀라울 정도로 높은 ASR 을 달성했으며, 종종 90% 를 초과했습니다 (예: GPT-4V 에서 93.4%, Gemini-2.5-Pro 에서 95.2%, Claude Sonnet 4 에서 94.2%).
• 베이스라인과의 비교: DMN 은 기존 단일 이미지 베이스라인 (FigStep, HADES, QRA, CS-DJ) 과 다중 이미지 베이스라인인 VideoJail 을 크게 능가했습니다. 예를 들어, SafeBench 에서 DMN 은 평균 ASR **89.32%**를 달성한 반면, FigStep 은 20.22%, CS-DJ 은 30.18% 였습니다.
• Ablation 연구:
  • 모듈 대 이미지 수: 높은 ASR 은 단순히 이미지 수를 늘리는 것이 아니라 특정 모듈 (DI, ME, NC) 에 기인합니다. 빈 이미지로 패딩하는 것은 성능을 크게 향상시키지 못했습니다.
  • 분산 지시 대 단일 지시: 여러 이미지에 지시를 분할 (DI) 하는 것은 모든 텍스트를 단일 이미지에 렌더링 (SII) 하는 것보다 일관되게 우수한 성과를 보였습니다.
  • 작업 복잡성: "프레임당 정보 요구량 (PFIR)"이 가장 높은 숫자 체인 작업은 더 높은 ASR 과 더 높은 "핵심 프레임 주의 비율 (KFAR)"과 상관관계가 있어, 더 복잡한 주의 분산 작업이 안전 메커니즘을 약화시키는 데 더 효과적임을 시사합니다.
  • 증거 양: 증거 쌍의 수를 늘리면 ASR 과 생성된 응답의 세부 사항 수준이 모두 향상되었습니다.
• 방어 효과성: DMN 은 기존 방어책 (Self-Reminder, Adashield-S, ECSO, QwenGuard) 에 대해서도 효과적이었으며, ASR 을 65% 이상 유지했습니다. 그러나 저자들이 제안한 다중 이미지 인식 필터는 ASR 을 28.86% 로 성공적으로 감소시켰습니다.

5. 중요성과 주장

본 논문은 DMN 이 현재 MLLM 의 치명적인 취약점을 드러낸다고 주장합니다: 즉, 단일 이미지 입력에 비해 다중 이미지 입력을 처리할 때 안전 메커니즘이 현저히 약하다는 것입니다. 저자들은 해로운 의도를 여러 이미지에 분배하고 복잡한 추론 주의 분산을 도입할 수 있는 능력이 공격자로 하여금 단일 이미지 공격에 효과적인 안전 정렬을 우회하게 만든다고 주장합니다.

저자들은 그들의 목표가 해로운 행위를 조장하는 것이 아니라, 향후 다중 이미지 안전 정렬 및 평가 연구에 정보를 제공하기 위해 이러한 안전 취약점을 규명하는 것이라고 강조합니다. 그들은 MLLM 이 여러 이미지 입력을 지원해야 한다는 요구사항, 높은 계산 비용, 웹 인터페이스 업로드 제한으로 인한 현재 API 기반 상호작용에 대한 의존성 등 한계를 인정합니다.