기술 요약: MM-POISONRAG

문제 제기

검색 증강 생성 (RAG) 은 외부 텍스트 및 시각적 컨텍스트를 검색함으로써 사실적 근거를 강화하고 환각을 완화하기 위해 멀티모달 대규모 언어 모델 (MLLM) 의 표준 관행이 되었습니다. 그러나 외부 지식베이스 (KB) 에 대한 이러한 의존성은 멀티모달 지식 중독이라는 치명적인 보안 취약점을 야기합니다. 큐레이션된 학습 코퍼스와 달리 외부 KB 는 종종 개방되어 있어 적대자가 악성 콘텐츠를 주입할 수 있습니다. 텍스트 전용 RAG 중독은 연구되었지만, 기존 연구에 따르면 텍스트 전용 공격은 멀티모달 시스템의 교차모달 검색 과정을 훼손하기에 불충분합니다. 또한, 이전 멀티모달 중독 연구는 주로 사용자가 이미지를 업로드하는 시나리오에 집중해 왔으며, 텍스트 쿼리에서 이미지 - 텍스트 쌍의 검색을 중독하는 위협은 대부분 탐구되지 않았습니다. 본 논문은 적대적 멀티모달 콘텐츠가 외부 KB 에 주입되어 멀티모달 RAG 파이프라인의 검색 및 생성 단계 모두를 방해하는 방식을 이해하는 데 존재하는 격차를 해소합니다.

방법론

저자들은 멀티모달 RAG 시스템에 대한 지식 중독 공격을 연구하고 실행하기 위해 MM-POISONRAG라는 체계적인 프레임워크를 소개합니다. 이 프레임워크는 멀티모달 KB, 검색기 (예: CLIP), MLLM 재순위화기, 그리고 MLLM 생성기로 구성된 파이프라인 내에서 작동합니다.

저자들은 서로 다른 위협 모델과 접근 수준에 맞춰 두 가지 새로운 공격 전략을 정의합니다:

1. 국소화 중독 공격 (LPA)

LPA 는 특정 쿼리 ($Q_i$) 에 대한 모델의 출력을 공격자가 정의한 잘못된 답변 ($A^{adv}_i$) 으로 조작하도록 설계된 표적 공격입니다.

• 메커니즘: 공격자는 단일 중독된 이미지 - 텍스트 쌍 $(I^{adv}_i, T^{adv}_i)$을 KB 에 주입합니다. 캡션 $T^{adv}_i$는 쿼리와 의미적으로 일관되지만 사실적으로 잘못된 내용으로 제작되며, 이미지 $I^{adv}_i$는 해당 캡션과 일치하도록 합성됩니다.
• 위협 모델:
  • LPA-BB (블랙박스): 공격자는 모델 내부에 접근할 수 없습니다. 대신 오해의 소지가 있는 캡션을 생성하기 위해 LLM(GPT-4) 을 사용하고, 일치하는 이미지를 생성하기 위해 확산 모델 (Stable Diffusion) 을 사용합니다.
  • LPA-Rt (화이트박스 검색기): 공격자는 검색기의 파라미터에 접근할 수 있습니다. 그들은 중독된 항목이 정답 (ground truth) 보다 우선 검색되도록 이미지 임베딩과 쿼리 임베딩 간의 코사인 유사도를 최대화하기 위해 경사 상승법을 사용하여 적대적 이미지 $I^{adv}_i$를 반복적으로 최적화합니다.

2. 전역화 중독 공격 (GPA)

GPA 는 단일 쿼리 무관 적대적 항목을 사용하여 모든 쿼리에 대한 시스템 성능을 방해하도록 설계된 비표적 공격입니다.

• 메커니즘: 공격자는 특정 쿼리와 의미적으로 무관하지만 보편적으로 관련 있어 보이도록 최적화된 단일 이미지 - 텍스트 쌍 $(I^{adv}, T^{adv})$을 주입합니다.
• 위협 모델:
  • GPA-Rt: 공격자는 작업 내 모든 쿼리 임베딩의 중심점 (centroid) 과 유사도를 최대화하도록 단일 이미지 임베딩을 최적화하여 어떤 쿼리에 대해서도 검색되도록 합니다. 캡션은 재순위화기가 "예 (Yes)" 쪽으로 편향되도록 제작됩니다.
  • GPA-RtRrGen: 공격자는 검색기, 재순위화기, 생성기에 대한 완전한 화이트박스 접근 권한을 가집니다. 그들은 검색 유사도, 재순위화기 관련성 점수, 그리고 생성기 준수 (예: 쿼리에 관계없이 출력 "죄송합니다" 강제) 를 최대화하기 위해 이미지를 공동 최적화합니다.

실험 설정

본 프레임워크는 MultimodalQA와 WebQA라는 두 가지 멀티모달 QA 벤치마크에서 평가되었습니다. 실험에는 다양한 검색기 (CLIP, OpenCLIP, SigLIP) 와 재순위화 및 생성을 위한 MLLM(LLaVA, Qwen-VL-Chat) 이 사용되었습니다. 연구는 다양한 구성 (예: 검색된 컨텍스트 수 $N$, 재순위화된 컨텍스트 $K$, 캡션 포함 여부) 하에서 공격 성공률을 평가했습니다.

주요 결과

공격의 효과성

• 국소화 중독 (LPA): 완전한 블랙박스 설정 (LPA-BB) 에서도 공격은 최대 **46.4%**의 중독된 답변 정확도를 달성했습니다. 공격자가 검색기에 접근할 수 있을 때 (LPA-Rt), 성공률은 크게 증가하여 MultimodalQA 에서 **56.8%**의 정확도와 중독된 컨텍스트에 대한 **88.8%**의 검색 재현율을 기록했습니다.
• 전역화 중독 (GPA): GPA 는 치명적으로 효과적이었습니다. 단일 중독된 항목만으로 GPA-Rt 는 MultimodalQA 에서 검색 재현율을 **1.6%**로, WebQA 에서 **0.0%**로 붕괴시켰습니다. GPA-RtRrGen 변형은 모든 쿼리에 대한 최종 답변 정확도를 **0%**로 끌어내려 전체 파이프라인을 사실상 무효화했습니다.
• 전이성: CLIP 을 위해 최적화된 LPA-Rt 공격은 재최적화 없이도 다른 검색기 (OpenCLIP, SigLIP) 로 강력한 전이성을 보여주어, 공격자가 대상 검색기를 알지 못하더라도 높은 성공률을 달성했습니다. GPA-Rt 는 전이성이 약했지만 여전히 상당한 방해를 일으켰습니다.

기존 방어 기법의 무력함

저자들은 여러 기존 방어 메커니즘을 평가하여 멀티모달 중독에 대해 대부분 무력하다는 사실을 발견했습니다:

• 개사 방어: 개사를 통해 쿼리를 수정하는 것은 공격을 방지하지 못했습니다.
• 퍼플렉시티 기반 필터링: 중독된 항목의 퍼플렉시티는 정상 응답과 구별되지 않아 탐지에 실패했습니다.
• 적대적 이미지 탐지: 특징 압축 및 기타 교란 기반 탐지기는 **0%**의 탐지 정확도를 기록했습니다.
• 멀티모달 감사:
  • CLIP 기반 일관성: 중독된 이미지가 캡션과 강력하게 정렬되도록 최적화되었기 때문에 공격을 탐지하지 못했습니다.
  • 이상 탐지: 결합된 텍스트/이미지 탐지기는 LPA-BB 에 대해 약 10%, GPA 에 대해 4% 미만의 탐지율을 보였습니다.

중요성 및 주장

본 논문은 엔드투엔드 멀티모달 RAG 시스템에서의 지식 중독을 연구하는 최초의 체계적인 프레임워크를 제시한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 교차모달 취약성 폭로: 본 연구는 멀티모달 RAG 가 교차모달 정렬에 대한 의존성으로 인해 고유하게 취약함을 입증합니다. 적대적 이미지는 유사도 점수를 조작하여 검색을 지배할 수 있으며, 이는 텍스트 전용 중독으로는 이용 불가능한 벡터입니다.
2. 블랙박스 공격의 실현 가능성: 결과는 내부 모델 접근 권한이 없는 공격자 (블랙박스) 가 대리 모델을 활용한 최적화를 통해 멀티모달 RAG 시스템을 성공적으로 훼손할 수 있음을 보여줍니다.
3. 최소 주입의 재앙적 영향: 전역화 중독 공격 (GPA) 은 단일 적대적 항목이 시스템 성능을 거의 0% 정확도로 저하시킬 수 있음을 보여주어, 외부 KB 에 의존하는 것의 취약성을 강조합니다.
4. 방어 격차: 본 논문은 텍스트 전용 RAG 또는 표준 컴퓨터 비전 적대적 예제를 위해 설계된 방어 기법이 멀티모달 RAG 에는 불충분함을 확립하여, 모달리티를 인지하는 전용 방어 전략의 긴급한 필요성을 강조합니다.

저자들은 MM-POISONRAG 가 지식 중독에 대한 멀티모달 RAG 프레임워크 보안을 위한 향후 연구의 기초를 마련한다고 결론지으며, 검증 없이 외부 지식원에 의존하는 현재의 관행이 MLLM 의 신뢰성에 상당한 위험을 초래한다고 강조합니다.