Technische Zusammenfassung: MM-POISONRAG

Problemstellung

Retrieval-Augmented Generation (RAG) hat sich als Standardpraxis für Multimodale Große Sprachmodelle (MLLMs) etabliert, um die faktische Fundierung zu verbessern und Halluzinationen zu mindern, indem externe textuelle und visuelle Kontexte abgerufen werden. Diese Abhängigkeit von externen Wissensdatenbanken (KBs) führt jedoch zu einer kritischen Sicherheitsanfälligkeit: multimodale Wissensvergiftung. Im Gegensatz zu kuratierten Trainingskorpora sind externe KBs oft offen, was Angreifern ermöglicht, bösartige Inhalte einzuschleusen. Während Vergiftungsangriffe auf textbasiertes RAG untersucht wurden, zeigen bestehende Forschungen, dass rein textbasierte Angriffe nicht ausreichen, um den cross-modalen Abrufprozess in multimodalen Systemen zu kompromittieren. Darüber hinaus haben frühere Studien zur multimodalen Vergiftung sich weitgehend auf Szenarien konzentriert, in denen Benutzer Bilder hochladen, sodass die Bedrohung durch Vergiftung des Abrufs von Bild-Text-Paaren aus Textabfragen weitgehend unerforscht bleibt. Dieser Beitrag schließt die Lücke im Verständnis, wie adversarielle multimodale Inhalte in externe KBs injiziert werden können, um sowohl die Abruf- als auch die Generierungsphasen multimodaler RAG-Pipelines zu stören.

Methodik

Die Autoren stellen MM-POISONRAG vor, ein systematisches Framework, das entwickelt wurde, um Wissensvergiftungsangriffe auf multimodale RAG-Systeme zu untersuchen und auszuführen. Das Framework operiert innerhalb einer Pipeline, die aus einer multimodalen KB, einem Retriever (z. B. CLIP), einem MLLM-Reranker und einem MLLM-Generator besteht.

Die Autoren definieren zwei neuartige Angriffsstrategien, die auf verschiedene Bedrohungsmodelle und Zugriffsebenen zugeschnitten sind:

1. Lokalisierte Vergiftungsangriff (LPA)

LPA ist ein zielgerichteter Angriff, der darauf ausgelegt ist, die Ausgabe des Modells für eine spezifische Abfrage ($Q_i$) in eine vom Angreifer definierte falsche Antwort ($A^{adv}_i$) zu manipulieren.

• Mechanismus: Der Angreifer injiziert ein einziges vergiftetes Bild-Text-Paar $(I^{adv}_i, T^{adv}_i)$ in die KB. Die Bildunterschrift $T^{adv}_i$ wird so gestaltet, dass sie semantisch kohärent mit der Abfrage, aber faktisch inkorrekt ist, und das Bild $I^{adv}_i$ wird synthetisiert, um zur Bildunterschrift zu passen.
• Bedrohungsmodelle:
  • LPA-BB (Black-Box): Der Angreifer hat keinen Zugriff auf die Modellinterna. Er verwendet ein LLM (GPT-4), um eine irreführende Bildunterschrift zu generieren, und ein Diffusionsmodell (Stable Diffusion), um ein passendes Bild zu erzeugen.
  • LPA-Rt (White-Box Retriever): Der Angreifer hat Zugriff auf die Parameter des Retrievers. Er optimiert das adversarielle Bild $I^{adv}_i$ iterativ mittels Gradientenanstieg, um die Kosinus-Ähnlichkeit zwischen dem Bild-Embedding und dem Abfrage-Embedding zu maximieren, wodurch sichergestellt wird, dass der vergiftete Eintrag vor dem Ground Truth abgerufen wird.

2. Globalisierter Vergiftungsangriff (GPA)

GPA ist ein unzielgerichteter Angriff, der darauf ausgelegt ist, die Leistung des Systems über alle Abfragen hinweg mit einem einzigen, abfrageirrelevanten adversariellen Eintrag zu stören.

• Mechanismus: Der Angreifer injiziert ein einziges Bild-Text-Paar $(I^{adv}, T^{adv})$, das für keine spezifische Abfrage semantisch relevant ist, aber so optimiert ist, dass es universell relevant erscheint.
• Bedrohungsmodelle:
  • GPA-Rt: Der Angreifer optimiert ein einzelnes Bild-Embedding, um die Ähnlichkeit mit dem Zentroid aller Abfrage-Embeddings in der Aufgabe zu maximieren, wodurch es für jede Abfrage abgerufen wird. Die Bildunterschrift wird so gestaltet, dass sie den Reranker zu „Ja" veranlasst.
  • GPA-RtRrGen: Der Angreifer hat vollen White-Box-Zugriff auf Retriever, Reranker und Generator. Er optimiert das Bild gemeinsam, um die Abrufähnlichkeit, die Relevanzwerte des Rerankers und die Generator-Konformität zu maximieren (z. B. Erzwingen der Ausgabe „Sorry" unabhängig von der Abfrage).

Experimentelles Setup

Das Framework wurde auf zwei multimodalen QA-Benchmarks evaluiert: MultimodalQA und WebQA. Die Experimente nutzten verschiedene Retriever (CLIP, OpenCLIP, SigLIP) und MLLMs (LLaVA, Qwen-VL-Chat) für das Reranking und die Generierung. Die Studie bewertete die Erfolgsraten der Angriffe unter variierenden Konfigurationen (z. B. Anzahl der abgerufenen Kontexte $N$, rerankierte Kontexte $K$ und Einbeziehung von Bildunterschriften).

Wichtige Ergebnisse

Wirksamkeit der Angriffe

• Lokalisierte Vergiftung (LPA): Selbst in einem vollständigen Black-Box-Setting (LPA-BB) erreichte der Angriff eine vergiftete Antwortgenauigkeit von bis zu 46,4 %. Wenn der Angreifer Zugriff auf den Retriever hatte (LPA-Rt), stieg die Erfolgsrate signifikant auf 56,8 % Genauigkeit und 88,8 % Abruf-Recall für den vergifteten Kontext auf MultimodalQA.
• Globalisierte Vergiftung (GPA): GPA erwies sich als verheerend effektiv. Mit nur einem vergifteten Eintrag kollabierte GPA-Rt den Abruf-Recall auf 1,6 % (MultimodalQA) und 0,0 % (WebQA). Die Variante GPA-RtRrGen drückte die finale Antwortgenauigkeit auf 0 % über alle Abfragen hinweg und machte die gesamte Pipeline effektiv unwirksam.
• Transferierbarkeit: LPA-Rt-Angriffe, die für CLIP optimiert wurden, zeigten eine starke Transferierbarkeit auf andere Retriever (OpenCLIP, SigLIP) ohne Neuoptimierung und erreichten hohe Erfolgsraten, selbst wenn der Ziel-Retriever dem Angreifer unbekannt war. GPA-Rt zeigte eine schwächere Transferierbarkeit, verursachte jedoch dennoch erhebliche Störungen.

Unwirksamkeit bestehender Verteidigungsmechanismen

Die Autoren evaluierten mehrere bestehende Verteidigungsmechanismen und stellten fest, dass diese gegen multimodale Vergiftung weitgehend unwirksam sind:

• Paraphrasierungs-Verteidigung: Die Modifikation der Abfrage durch Paraphrasieren verhinderte die Angriffe nicht.
• Perplexitätsbasierte Filterung: Versagte beim Erkennen vergifteter Einträge, da deren Perplexität von benignen Antworten nicht unterscheidbar blieb.
• Erkennung adversarieller Bilder: Feature-Squeezing und andere auf Perturbation basierende Detektoren erreichten 0 % Erkennungsgenauigkeit.
• Multimodale Prüfung:
  • CLIP-basierte Konsistenz: Versagte beim Erkennen der Angriffe, da die vergifteten Bilder so optimiert waren, dass sie stark mit ihren Bildunterschriften übereinstimmten.
  • Anomalie-Erkennung: Kombinierte Text-/Bild-Detektoren erreichten nur etwa 10 % Erkennung für LPA-BB und <4 % für GPA.

Bedeutung und Behauptungen

Der Beitrag behauptet, das erste systematische Framework zur Untersuchung von Wissensvergiftung in end-to-end multimodalen RAG-Systemen vorzustellen. Seine Hauptbeiträge sind:

1. Aufdeckung cross-modaler Schwachstellen: Die Studie zeigt, dass multimodales RAG aufgrund seiner Abhängigkeit von cross-modaler Ausrichtung einzigartig anfällig ist. Adversarielle Bilder können Ähnlichkeitswerte manipulieren, um den Abruf zu dominieren, ein Vektor, der durch rein textbasierte Vergiftung nicht ausnutzbar ist.
2. Durchführbarkeit von Black-Box-Angriffen: Die Ergebnisse zeigen, dass selbst Angreifer ohne internen Modellzugriff (Black-Box) multimodale RAG-Systeme erfolgreich kompromittieren können, insbesondere durch die Nutzung von Surrogatmodellen zur Optimierung.
3. Katastrophale Auswirkungen minimaler Injektion: Der globalisierte Vergiftungsangriff zeigt, dass ein einzelner adversarieller Eintrag die Systemleistung auf nahezu null Genauigkeit verschlechtern kann und damit die Fragilität der Abhängigkeit von externen KBs unterstreicht.
4. Verteidigungslücke: Der Beitrag stellt fest, dass Verteidigungen, die für textbasiertes RAG oder standardmäßige adversarielle Beispiele der Computer Vision entwickelt wurden, für multimodales RAG unzureichend sind, und betont den dringenden Bedarf an dedizierten, modalitätsbewussten Verteidigungsstrategien.

Die Autoren schließen, dass MM-POISONRAG die Grundlage für zukünftige Forschung zur Sicherung multimodaler RAG-Frameworks gegen Wissensvergiftung legt und betonen, dass die aktuelle Abhängigkeit von externen Wissensquellen ohne robuste Verifizierung ein erhebliches Risiko für die Zuverlässigkeit von MLLMs darstellt.