Technische Samenvatting: Lekken Multimodale RAG-systemen Gegevens?

Probleemstelling

De wijdverbreide adoptie van Multimodale Retrieval-Augmented Generation (mRAG)-pijplijnen voor visie-gerichte taken, zoals Visual Question Answering (VQA) en het genereren van afbeeldingstexten (image captioning), introduceert aanzienlijke privacyrisico's. Hoewel mRAG Vision-Language Models (VLM's) verbetert door antwoorden te verankeren in private databases van afbeelding-tekstparen, creëert het een kwetsbaarheid waarbij gevoelige informatie uit deze databases onbedoeld kan lekken tijdens inferentie.

Dit artikel adresseert een kritieke lacune in de bestaande literatuur door systematisch twee specifieke privacy-aanvallen tegen mRAG-systemen te evalueren vanuit het perspectief van een aanvaller:

1. Membership Inference Attack (MIA): Bepalen of een specifiek visueel bezit (afbeelding) bestaat binnen de private mRAG-database, ongeacht of deze in zijn oorspronkelijke vorm of een getransformeerde staat (bijv. gedraaid, bijgesneden) is opgeslagen.
2. Image Caption Retrieval (ICR): Als lidmaatschap wordt bevestigd, het extraheren van de bijbehorende metadata (tekst) die aan die afbeelding is gekoppeld uit de database.

De studie opereert onder een black-box-bedreigingsmodel, waarbij de aanvaller geen toegang heeft tot interne systeemparameters en uitsluitend kan interageren via een API met een doelafbeelding en een vervaardigde tekstuele prompt.

Methodologie

De auteurs hebben uitgebreide empirische experimenten uitgevoerd in diverse scenario's om de robuustheid van mRAG-pijplijnen tegen MIA en ICR te beoordelen.

Experimentele Opstelling

• Pijplijnarchitectuur: De evaluatie gebruikte een standaard visie-gerichte mRAG-pijplijn bestaande uit een retriever (met CLIP-embeddings), een reranker (Jina-Reranker) en een VLM.
• Datasets: Experimenten werden uitgevoerd op vier diverse datasets: Conceptual Captions, ROCOv2 (medische beeldvorming), MRAG-Bench en Pokemon BLIP captions.
• Modellen: Drie toonaangevende VLM's werden geëvalueerd: Qwen2.5-VL (7B), Cosmos-Reason1 (7B) en InternVL3.5 (8B).
• Aanvalvariaties:
  • Exact vs. Getransformeerd: Aanvallen werden getest tegen exacte afbeeldingskopieën en afbeeldingen die onderhevig waren aan transformaties, waaronder bijsnijden, maskeren, vervagen, cutout, rotatie en Gaussisch ruis.
  • Promptstructuur: De studie analyseerde de impact van promptvolgorde, specifiek het vergelijken van "RAG-First" (geretrieveerde context voor de query-afbeelding) versus "RAG-Last" (query-afbeelding voor de geretrieveerde context).
  • Configuratieablaties: De effecten van de retrievalgrootte ($k$), databasegrootte ($N$) en de aanwezigheid of afwezigheid van een rerank-stap werden onderzocht.

Aanvalsmechanismen

• MIA-prompt: De aanvaller vraagt het systeem of de invoerafbeelding identiek is aan een afbeelding in de geretrieveerde context (oorspronkelijk of getransformeerd). De binaire output ('Ja'/'Nee') van het model wordt geëvalueerd tegen de ground truth.
• ICR-prompt: Aannemende dat de afbeelding aanwezig is, instrueert de prompt de VLM om de invoerafbeelding binnen de geretrieveerde context te identificeren en de bijbehorende tekst letterlijk terug te geven. Prestaties worden gemeten met exact-match- en tekstgelijkheidsmetrieken (BLEU, ROUGE, METEOR).

Belangrijkste Resultaten

1. Membership Inference Attack (MIA)

• Hoge Kwetsbaarheid: mRAG-systemen zijn zeer vatbaar voor MIA. Onder exacte afbeeldingsinstellingen behaalde de aanval een gemiddelde F1-score van 0,993.
• Robuustheid tegen Transformaties: Zelfs wanneer afbeeldingen werden getransformeerd, bleef de aanval effectief. Hoewel de F1-scores daalden (variërend van 0,96 tot 0,60 afhankelijk van de transformatie), bleef het risico niet verwaarloosbaar.
  • Rotatie bleek de meest effectieve verdediging onder transformaties, waarbij de F1-score werd verlaagd tot ongeveer 0,60, waarschijnlijk door significante wijzigingen in ruimtelijke kenmerken.
• Gevoeligheid voor Promptvolgorde: De positie van de invoerafbeelding ten opzichte van de geretrieveerde context heeft een aanzienlijke impact op lekken. Het plaatsen van de invoerafbeelding na de geretrieveerde set (RAG-First) resulteerde in hoge lekkage. Omgekeerd verminderde het plaatsen van de invoerafbeelding voor de geretrieveerde set (RAG-Last) het aanvalssucces aanzienlijk, wat suggereert dat positionele bias in VLM's kan worden benut voor privacy.

2. Image Caption Retrieval (ICR)

• Aanzienlijke Lekkage: Wanneer de invoerafbeelding in de database bestaat, lekt het systeem frequent de exacte tekst. Op de Conceptual Captions-dataset bereikte het exact-match-succespercentage 0,835.
• Dataset-afhankelijkheid: Lekkagesnelheden varieerden per datasetcomplexiteit. Medische beeldvorming (ROCOv2) toonde lagere lekkage (0,41 exact-match) in vergelijking met eenvoudigere datasets (0,75), waarschijnlijk door visuele gelijkenissen in de geretrieveerde context die unieke associaties verhullen.
• Impact van Reranking: De opname van een cross-modale reranker verlaagde over het algemeen het ICR-succes door items te herschikken op basis van afbeelding-tekstalignatie, hoewel lekkage hoog bleef in bepaalde configuraties.
• Correlatie met Retrievelgrootte: Het verhogen van het aantal geretrieveerde items ($k$) in de promptcontext verhoogde consistent de ICR-succespercentages, wat aangeeft dat een grotere contextpool de kans vergroot om het doelkoppel op te halen.

3. Pogingen tot Mitigatie

• Systeemprompts: Eenvoudige instructies aan de VLM om meta-informatiequeries te weigeren, faalden om weigering te induceren.
• LLM-in-the-Middle: Het gebruik van een aparte, krachtigere LLM (bijv. GPT-4o, Llama-Guard) om prompts te screenen, toonde veelbelovende resultaten. Krachtigere modellen waren beter in het identificeren van kwaadaardige ICR-prompts, hoewel ze consistent faalden in het detecteren van MIA-prompts.

Belangrijkste Bijdragen

1. Systematische Analyse: De eerste uitgebreide evaluatie van MIA- en ICR-aanvallen op visie-gerichte mRAG-systemen onder realistische visuele transformaties.
2. Ablatiestudies: Gedetailleerd onderzoek naar hoe promptstructuur (afbeeldingsvolgorde), retrievalconfiguraties en rerankingsmechanismen privacylekken beïnvloeden.
3. Empirische Inzichten: Identificatie van specifieke ontwerpkeuzes die risico's verergeren of mitigeren, zoals het beschermende effect van het plaatsen van de query-afbeelding voor de geretrieveerde context en de kwetsbaarheid die wordt geïntroduceerd door het vergroten van de retrievalsetgroottes.

Betekenis en Claims

Het artikel claimt een fundamentele evaluatie te bieden van de privacyrisico's die inherent zijn aan mRAG-pijplijnen. De auteurs benadrukken dat hoewel mRAG de modelprestaties verbetert, het unieke cross-modale lekkagerisico's introduceert die niet aanwezig zijn in alleen-tekst RAG-systemen.

De bevindingen onderstrepen een opkomende behoefte aan privacy-bewuste mRAG-systemen. De auteurs betogen dat huidige implementaties kwetsbaar zijn voor zowel lidmaatschapsinferentie als metadata-extractie, zelfs wanneer afbeeldingen worden verstoord. Zij motiveren toekomstig onderzoek naar:

• Inhoudsgerichte verdedigingen: Zoals intentionele afbeeldingstransformaties (bijv. rotatie) om retrieval te verstoren.
• Structuurgerichte verdedigingen: Zoals het optimaliseren van de volgorde van invoer in de prompt om positionele bias in VLM's te benutten.
• Verbeterde Veiligheid: Het verbeteren van de ingebouwde privacybewustzijn van LLM's om extractiepogingen beter te detecteren en te weigeren.

De auteurs houden een bescheiden standpunt aan, waarbij zij opmerken dat hun werk zich richt op visie-gerichte mRAG en VLM's met kleinere parameters, en dat hun voorgestelde mitigatiestrategieën (zoals LLM-in-the-middle) voorlopig zijn en nog geen uitgebreide oplossingen vormen.