Hidden-in-Plain-Text: A Benchmark for Social-Web Indirect Prompt Injection in RAG

Technische Samenvatting: Hidden-in-Plain-Text: Een Benchmark voor Social-Web Indirecte Prompt Injectie in RAG

Probleemstelling
Retrieval-augmented generation (RAG)-systemen vertrouwen steeds vaker op door gebruikers gegenereerde inhoud van het Web en sociale media om de antwoorden van Large Language Models (LLM's) te onderbouwen. Hoewel dit de dekking en actualiteit verbetert, vergroot het het aanvalsoppervlak aanzienlijk. Het paper identificeert twee primaire dreigingen:

1. Indirecte Prompt Injectie (IPI): Kwaadaardige instructies die zijn ingebed in door derden gegenereerde inhoud (bijv. verborgen HTML-spans, off-screen CSS, alt-tekst, ARIA-attributen of zero-width karakters), die worden uitgevoerd wanneer de inhoud wordt opgehaald en verwerkt door de LLM.
2. Retrieval Poisoning (Retrieval-vergiftiging): Adversariële manipulatie van de retrieval-index of de retriever zelf om de rangschikking van resultaten te beïnvloeden, zodat kwaadaardige inhoud in de top-$k$ resultaten verschijnt.

Bestaande benchmarks missen vaak een compacte, web-gecentreerde focus die de specifieke "dragers" (HTML/Markdown/Unicode-mechanismen) dekt die de ingestie-pipelines overleven, noch evalueren ze praktische, goedkope mitigaties voldoende.

Methodologie: OpenRAG-Soc
De auteurs introduceren OpenRAG-Soc, een reproduceerbare benchmark en testomgeving ontworpen om RAG-systemen onder deze dreigingen te evalueren. Het framework werkt op basis van een discrete datapakket bestaande uit 6.200 pagina's in sociale-stijl.

• Corpusontwerp: De dataset bevat vijf specifieke dragers die bekend staan om het overleven van ingestie: verborgen spans, off-screen CSS, alt-tekst, ARIA-attributen en zero-width karakters. Het corpus is verdeeld in zichtbare en verborgen/off-screen varianten, waarbij elke pagina een payload/controle-tegenhanger heeft. Het bevat ook harde negatieven en een kleine sectie van PDF/SVG tekstlagen.
• Pipeline Architectuur: De testomgeving implementeert een ingest → retrieve → generate pipeline.
  • Retrievers: Ondersteunt uitwisselbare sparse (BM25) en dense (bijv. E5, BGE) retrievers.
  • Generatie: Gebruikt diverse LLM's (Llama-3, Mistral, Qwen) met een "no-new-instructions-from-context" prompt template.
  • Defensies: Het systeem integreert inzetbare mitigaties:
    1. Sanitatie: HTML/Markdown sanitatie om verborgen/off-screen constructen te neutraliseren.
    2. Normalisatie: Unicode-normalisatie (NFKC) om zero-width en verwarrende karakters te verwijderen.
    3. Attribution-Gating: Een prompting-strategie die inline citaties vereist voor elke zin, waardoor antwoorden beperkt worden tot opgehaalde spans.
• Metrieken:
  • Attack Success Rate (ASR): Het deel van de queries waarbij het model een geïnjecteerde instructie opvolgt.
  • Rank Shift: Veranderingen in Mean Reciprocal Rank (MRR) en genormaliseerde Discounted Cumulative Gain (nDCG) onder poisoning-condities.
  • Utility & Latency: Beantwoordbaarheid, consistentie van attributie en end-to-end latency overhead.

Belangrijkste Resultaten
De evaluatie over sparse en dense retrievers levert de volgende bevindingen op:

• Effectiviteit van Defensies: De "All Defenses" configuratie (Sanitatie + Normalisatie + Attributie) bereikt consistent de laagste ASR over alle dragers, waarbij de macro-gemiddelde ASR wordt teruggebracht van ~24,9% (Vanilla) naar ~4,7%.
  • Sanitatie is het meest effectief tegen HTML/Markdown dragers (bijv. het verminderen van de Hidden Spans ASR van 34,0% naar 12,3%).
  • Normalisatie is cruciaal voor zero-width aanvallen (het verminderen van de ASR van 23,2% naar 7,8%).
  • Attribution-gating vermindert de ASR voor zichtbare imperatieven aanzienlijk (een reductie van 78% in die specifieke categorie).
• Impact van Poisoning: Naarmate het poison budget toeneemt, verslechtert de kwaliteit van de rangschikking. Echter, de combinatie van Sanitatie en Normalisatie dempt deze verslechtering voor zowel BM25 als dense retrievers.
• Utility en Latency: De defensies brengen verwaarloosbare kosten met zich mee voor de utility. De beantwoordbaarheid daalt met slechts ~1,8–2,2 procentpunt onder Sanitized+Normalized configuraties. De latency overhead is minimaal: Sanitatie voegt ~3,1% (mediaan) toe aan de pipeline-tijd, terwijl Normalisatie <0,5% toevoegt.
• Robuustheid: De volgorde van defensies (All Defenses > Sanitized > Normalized > Vanilla) blijft standhouden, zelfs onder adaptieve red-team prompts en over verschillende LLM-groottes (8B tot 70B) en retriever-typen.

Betekenis en Claims
Het paper positioneert OpenRAG-Soc als een praktijkgerichte tool die bestaande agent-security en jailbreak studies aanvult. De primaire betekenis ligt in:

1. Standaardisatie: Het biedt een gestandaardiseerde, end-to-end evaluatie van ingestie tot generatie, wat "apples-to-apples" vergelijkingen mogelijk maakt tussen verschillende dragers en defensies.
2. Praktische bruikbaarheid: Het richt zich op laag-kosten, inzetbare mitigaties (sanitatie, normalisatie, attributie) die direct kunnen worden geïntegreerd in web-georiënteerde RAG-workflows zonder dat model-retraining vereist is.
3. Holistisch Perspectief: Door injectie-succes metrieken te koppelen aan retrieval rank shifts en utility/latency trade-offs, biedt het een uitgebreid beeld van het risicolandschap voor RAG-systemen die afhankelijk zijn van sociale webcontent.

De auteurs concluderen dat eenvoudige hygiënepraktijken gecombineerd met attributie-gestuurde prompting de instructie-opvolging aanzienlijk kunnen verminderen en provenance kunnen verbeteren met verwaarloosbare overhead, wat de veilige inzet van RAG-systemen die gebaseerd zijn op door gebruikers gegenereerde content mogelijk maakt.