Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

기술 요약: 모달리티를 가로지르는 적대적 확산(Adversarial Diffusion)

문제 정의
고위험 도메인에서의 대규모 언어 모델(LLM) 배포는 주로 레드 티밍(red teaming)을 통한 엄격한 안전성 평가를 필요로 한다. 레드 티밍 문헌은 성숙해 왔으나, 다음의 네 가지 서로 분절된 연구 트랙으로 파편화되어 있다: (1) 텍스트 및 LLM에 대한 확산 기반 공격, (2) 이미지 분류기에 대한 확산 기반 공격, (3) 시각-언语言 모델(VLM)에 대한 탈옥(jailbreak) 파이프라인, (4) 확산 기반 입력 정화 방어. 각 트랙은 고유한 어휘, 위협 모델 및 벤치마크를 가지고 운영된다. 결과적으로, 확산 모델과 적대적 공격의 교차점에 진입하는 연구자들은 현재의 최첨단 기술(state of the art), 방법론적 다양성 및 평가 격차를 설명하는 통합된 참조 자료를 갖추지 못하고 있다. 구체적으로, LLM에 대한 적대적 생성기로서 확산 모델을 사용하는 것에 관한 문헌은 (작성 시점 기준 단 4편의 논문만 존재할 정도로) 매우 적지만 방법론적으로는 다양하며, 성숙한 이미지 도메인 문헌은 아직 텍스트로 이식되지 않은 구체적인 레시피들을 제공하고 있다.

방법론
본 연구는 PRISMA 준수 체계적 문헌 검토와는 구별되는, 품질 평가를 포함한 내러티브 리뷰(narrative review)이다. 저자들은 주요 데이터베이스(arXiv, Google Scholar, IEEE Xplore, ACM Digital Library 등)와 학술 대회(NeurIPS, ICML, CVPR, ACL, USENIX Security 등)를 대상으로 "diffusion model"과 "adversarial", "jailbreak", "red teaming"을 결합한 키워드를 사용하여 구조화된 검색을 수행하였다.

• 선택: 초기 검색을 통해 154개의 후보 레코드를 확보하였다. 제목/초록 스크리닝 및 전문 적격성 검토를 거쳐 50편의 논문을 카탈로그에 포함하였다.
• 범위: 카탈로그 구성은 다음과 같다:
  • 텍스트/LLM에 대한 확산 기반 공격 논문 4편 (Family A).
  • 이미지 분류기에 대한 확산 기반 공격 논문 18편 (Family D).
  • VLM에 대한 확산 기반 공격 논문 10편 (Family E).
  • 텍스트/멀티모달 모델을 위한 확산 기반 방어 논문 4편 (Family C).
  • 인접 맥락으로서의 희생자 확산 모델 논문 4편 (Family B 포함).
  • 비교를 위한 10편의 비-확산 베이스라인.
• 품질 검사: 포함 규칙을 검증하기 위해 두 개의 독립적인 LLM 에이전트를 사용하여 보충적인 사후 일치도 검사를 수행하였으며, Cohen's $\kappa$ 값은 0.781을 기록하였다.
• 데이터 합성: 각 논문에 대해 저자들은 확산의 역할, 공식화, 학습 방법, 데이터셋, 지표, 대상 모델 및 코드 가용성을 추출하였다.

주요 기여

1. 확산 역할의 통합 분류 체계: 본 논문은 확산 모델이 적대적 파이프라인에서 기능하는 방식을 분류하는 6가지 클래스의 분류 체계를 제안한다:

   • 학습된 생성기 (Trained Generator): 확산 모델이 공격 목적 함수와 함께 엔드투엔드로 학습됨.
   • 잠재 공간 섭동을 동반한 고정 모델 (Frozen with Latent Perturbation): DDIM 역전(inversion) 및 잠재 공간 그래디언트 업데이트 (이미지 공격에서 흔히 나타남).
   • 스코어/분류기 가이던스를 동반한 고정 모델 (Frozen with Score/Classifier Guidance): 샘플링 중 역방향 SDE에 적대적 그래디언트가 주입됨.
   • 오프더쉘프 추론 (Off-the-Shelf Inference): 학습이나 최적화 없이 사전 학습된 확산 LLM을 사용 (예: 응답 조건부 인페인팅).
   • 파이프라인 전용 렌더러 (Pipeline-Only Renderer): 확산이 별도의 공격 채널에 입력으로 사용될 콘텐츠(이미지/장면)를 생성함; 샘플러를 통해 그래디언트가 흐르지 않음.
   • 희생자 확산 모델 (Victim Diffusion Model): 확산 모델 자체가 공격의 대상임.
     이 분류 체계는 위협 모델 축(공격자의 지식, 쿼리 접근 권한, 타겟 접근성)에 의해 보강된다.

2. 5차원 평가 프레임키: 저자들은 모달리티 간의 공격을 비교하기 위한 통합 프레임워크를 도입하였으며, 이는 다음으로 구성된다:

   • 공격 성공률 (ASR).
   • 전이성 (Transferability, 서로 다른 타겟 모델 간의 성공 여부).
   • 쿼리 예산 (Query Budget, 모델 호출/재시도 횟수).
   • 퍼플렉시티 (Perplexity, 입력 필터 회피의 대리 지표).
   • 방어 회피 (Defense Evasion, DiffPure, DiffuseDef 또는 CoDefend와 같은 정화기 성능).

3. 교차 모달리티 융합: 본 리뷰는 이전에 분리되어 있던 네 가지 스트림(텍스트/LLM, 이미지 분류기, VLM, 방어)에서 추출한 50편의 논문을 단일 개념적 프레임워크로 통합하여, 포괄적인 카탈로그와 포함된 모든 연구의 메타데이터가 담긴 공개 스프레드시트를 제공한다.

4. 이중 공격자-방어자 관점: 본 리뷰는 새로운 공격의 자연스러운 평가 배경으로서 4가지 확산 기반 방어(텍스트 분류기용 3개, 멀티모달 LLM용 1개)를 다루며, 급증하는 공격과 충분히 검증되지 않은 방어 사이의 비대칭성을 강조한다.

결과 및 발견

• 최첨단 기술 (텍스트/LLM): LLM에 대한 확산 기반 공격 문헌은 초기 단계(4편)이지만 다양하다. 접근 방식에는 Gumbel-Softmax를 이용한 연속적 잠재 디노이징(DiffusionAttacker), 근접 제약 조건 하의 임베딩 공간 섭동(DART), 그리고 사전 학습된 마스크 확산 LLM에서의 학습 없는 추론(Lüdke et al.) 등이 포함된다.
• 최첨단 기술 (이미지/VLM): 이미지 도메인은 DDIM 역전, 스코어 가이던스, 세그먼트 단위 역전파와 같은 레시피를 활용하여 성숙한 상태이다. VLM 공격은 확산 그래디언트를 직접 활용하기보다는 확산을 픽셀 공간 공격을 위한 이미지를 렌더링하는 용도로 사용하는 "파이프라인 전용" 사용이 지배적이다.
• 성능 격차:
  • 폐쇄형 모델 격차: 확산 기반 공격은 오픈 웨이트 모델에 비해 프런티어 폐쇄형 모델(예: GPT-4o, Claude-3.5)에서 현저히 낮은 성공률을 보인다. 예를 들어, IDEATOR는 MiniGPT-4에서 94%의 ASR을 달성했으나 Claude-3.5에서는 19.65%에 그쳤다.
  • 화이트박스 의존성: 4편의 텍스트 기반 공격 논문 중 3편은 훈련 과정에서 타겟 모델의 화이트박스 그래디언트에 의존하며, 이는 폐쇄형 시스템에 대한 직접적인 적용 가능성을 제한한다.
  • 이산적 확산(Discrete Diffusion)의 미사용: 진정한 이산적 확산 샘플러(예: D3PM, SEDD)를 명시적인 유해성 보상 및 대규모 평가(예: HarmBench)와 결합한 텍스트 공격은 발표된 바 없다.
  • 방어 회피: 현재의 텍스트 공격은 현대적인 입력 필터(예: Llama-Guard, SmoothLLM)를 대상으로 벤치마킹하는 경우가 드물다. 보고된 낮은 퍼플렉시티는 필요조건이지만 필터 회피를 입증하기에는 불충분한 증거이다.
  • 단일 턴 제한: 모든 텍스트 기반 확산 공격은 단일 샷 프롬프트를 생성하며, 멀티 턴 대화 공격을 위한 확산의 양방향 조건화(bidirectional conditioning)를 활용하지 못한다.

의의 및 주장
본 논문은 NLP 안전성, 적대적 강건성, 생성 모델 커뮤니티 간의 중복된 노력을 줄이는 중요한 "정보 융합 작업"으로서 자리매김한다. 본 논문의 주요 의의는 다음과 같다:

• 지형 명확화: 확산 그래디언트를 활용하는 방법과 확산을 블랙박스 렌더러로 사용하는 방법을 구분함으로써, 확산 기반 적대적 생성을 위한 최초의 통합된 참조 자료를 제공한다.
• 연구 격차 식별: 텍스트 측 문헌의 다섯 가지 반복되는 약점(화이트박스 의존성, 이산적 확산 부족, 약한 방어 평가, 단일 턴 제한, 제약된 레드 티밍 부족)을 명시적으로 강조한다.
• 의제 설정: 구체적인 연구 방향, 특히 확산 기반 텍스트 정화기(DiffuseDef, MaskPure, CoDefend)를 통해 역전파되는 적응형 공격의 필요성을 제시하며, 이는 아직 발표된 문헌에서 다뤄지지 않은 공백이다.
• 윤리적 입장: 저자들은 이 문헌을 통합하는 것이 유해한 페이로드를 재현하는 것보다 평가 격차와 방어 취약성을 식별하는 것을 우선시함으로써 방어자와 정책 입안자에게 순이익이 된다는 점을 강조한다.

본 리뷰는 LLM에 대한 확산 기반 공격이 적은 수의 대표 논문만을 가진 젊은 분야이지만, 특히 이미지 도메인의 기술을 텍스트 기반 안전성 평가로 연결하는 데 있어 상당한 방법론적 발전 여지가 있음을 시사하며 결론을 맺는다.