Hidden-in-Plain-Text: A Benchmark for Social-Web Indirect Prompt Injection in RAG

Sintesi Tecnica: Hidden-in-Plain-Text: Un Benchmark per l'Indirect Prompt Injection Social-Web in RAG

Problematica
I sistemi di generazione aumentata dal recupero (RAG) si affidano sempre più ai contenuti generati dagli utenti sul Web e sui social media per fondare le risposte dei Large Language Model (LLM). Sebbene ciò ne migliori la copertura e la freschezza, espande significativamente la superficie di attacco. Il documento identifica due minacce primarie:

1. Indirect Prompt Injection (IPI): Istruzioni malevole incorporate in contenuti di terze parti (ad esempio, span HTML nascosti, CSS fuori schermo, testo alt, attributi ARIA o caratteri a larghezza zero) che vengono eseguite quando il contenuto viene recuperato ed elaborato dall'LLM.
2. Retrieval Poisoning (Avvelenamento del Recupero): Manipolazione avversaria dell'indice di recupero o del recuperatore stesso per influenzare la classificazione dei risultati, garantendo che il contenuto malevolo emerga nei primi $k$ risultati.

Gli existing benchmark mancano spesso di un focus compatto e centrato sul Web che copra i "carrier" specifici (meccanismi HTML/Markdown/Unicode) che sopravvivono alle pipeline di ingestione, né valutano sufficientemente mitigazioni pratiche e a basso costo.

Metodologia: OpenRAG-Soc
Gli autori introducono OpenRAG-Soc, un benchmark riproducibile e un framework di test progettato per valutare i sistemi RAG sotto queste minacce. Il framework opera su un pacchetto di dati discreto contenente 6.200 pagine in stile social.

• Design del Corpus: Il dataset include cinque specifici carrier noti per sopravvivere all'ingestione: span nascosti, CSS fuori schermo, testo alt, attributi ARIA e caratteri a larghezza zero. Il corpus è diviso in varianti visibili e nascoste/fuori schermo, con ogni pagina che ha un contrappeso payload/controllo. Include anche hard negatives e una piccola porzione di strati di testo PDF/SVG.
• Architettura della Pipeline: L'harness implementa una pipeline ingest → retrieve → generate.
  • Retrievers: Supporta recuperatori intercambiabili sparsi (BM25) e densi (ad es., E5, BGE).
  • Generazione: Utilizza vari LLM (Llama-3, Mistral, Qwen) con un template di prompt "no-new-instructions-from-context".
  • Difese: Il sistema integra mitigazioni implementabili:
    1. Sanitization (Sanificazione): Sanificazione HTML/Markdown per neutralizzare costrutti nascosti o fuori schermo.
    2. Normalization (Normalizzazione): Normalizzazione Unicode (NFKC) per rimuovere caratteri a larghezza zero e confusi.
    3. Attribution-Gating (Controllo tramite Attribuzione): Una strategia di prompting che richiede citazioni inline per ogni frase, limitando le risposte agli span recuperati.
• Metriche:
  • Attack Success Rate (ASR): La frazione di query in cui il modello segue un'istruzione iniettata.
  • Rank Shift: Cambiamenti nel Mean Reciprocal Rank (MRR) e nella nDCG normalizzata sotto condizioni di avvelenamento.
  • Utilità e Latenza: Tassi di rispondibilità, coerenza dell'attribuzione e latenza end-to-end.

Risultati Chiave
La valutazione attraverso retriever sparsi e densi produce i seguenti risultati:

• Efficacia delle Difese: La configurazione "All Defenses" (Sanitization + Normalization + Attribution) ottiene costantemente il più basso ASR in tutti i carrier, riducendo il macro-average ASR da ~24,9% (Vanilla) a ~4,7%.
  • La Sanitization è più efficace contro i carrier HTML/Markdown (ad esempio, riducendo l'ASR degli Hidden Spans dal 34,0% al 12,3%).
  • La Normalization è critica per gli attacchi a larghezza zero (riducendo l'ASR dal 23,2% al 7,8%).
  • L'Attribution-gating riduce significativamente l'ASR per gli imperativi visibili (una riduzione del 78% in quel particolare bucket).
• Impatto del Poisoning: All'aumentare del budget di avvelenamento, la qualità del ranking degrada. Tuttavia, la combinazione di Sanitization e Normalization attenua questa degradazione sia per BM25 che per i retriever densi.
• Utilità e Latenza: Le difese comportano costi di utilità trascurabili. La rispondibilità scende di solo ~1,8–2,2 punti percentuali nelle configurazioni Sanitized+Normalized. L'overhead di latenza è minimo: la Sanitization aggiunge circa il 3,1% (mediana) al tempo di pipeline, mentre la Normalization aggiunge <0,5%.
• Robustezza: L'ordine delle difese (All Defenses > Sanitized > Normalized > Vanilla) si mantiene valido anche sotto prompt red-team adattivi e attraverso diversi LLM (da 8B a 70B) e tipi di retriever.

Significatività e Claim
Il paper posiziona OpenRAG-Soc come uno strumento incentrato sulla pratica che integra gli studi esistenti sulla sicurezza degli agenti e sui jailbreak. La sua principale significatività risiede in:

1. Standardizzazione: Fornisce una valutazione standardizzata end-to-end, dall'ingestione alla generazione, permettendo confronti "apples-to-apples" tra diversi carrier e difese.
2. Praticità: Si concentra su mitigazioni a basso costo e implementabili (sanificazione, normalizzazione, attribuzione) che possono essere integrate immediatamente in flussi di lavoro RAG rivolti al web senza richiedere il retraining del modello.
3. Visione Olistica: Accoppiando le metriche di successo dell'iniezione con gli shift di ranking del recupero e i trade-off di utilità/latenza, offre una visione completa del panorama del rischio per i sistemi RAG che si affidano a contenuti social web.

Gli autori concludono che semplici pratiche di igiene, combinate con un prompting basato sull'attribuzione, possono ridurre significativamente il seguire le istruzioni e migliorare la provenienza con un overhead trascurabile, consentendo il deployment sicuro di sistemi RAG fondati su contenuti generati dagli utenti.