Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

1. Il Problema

Il documento affronta le vulnerabilità degli attacchi di avvelenamento del corpus (corpus poisoning) nei sistemi di recupero denso (Dense Retrieval). In questo scenario, un avversario cerca di compromettere le prestazioni di ranking di un motore di ricerca iniettando un numero limitato di documenti generati malevolmente nel corpus.

L'articolo identifica e mira a superare due limitazioni principali della letteratura esistente:

1. Disallineamento dello spazio di ottimizzazione: I metodi attuali (es. HotFlip) operano nello spazio lessicale discreto sostituendo parole token per token tramite gradienti. Tuttavia, il recupero denso avviene nello spazio continuo degli embedding. Questo crea un disallineamento tra l'obiettivo dell'attacco e il meccanismo di recupero, oltre a comportare un'alta complessità computazionale.
2. Assunzione di conoscenza delle query: La maggior parte degli attacchi esistenti assume che l'avversario conosca a priori la distribuzione delle query target. Il paper propone un scenario più realistico e difficile: l'avvelenamento non supervisionato, dove l'avversario non ha alcuna conoscenza delle query future e agisce solo basandosi sul documento target da corrompere.

2. Metodologia

L'approccio proposto è un attacco di avvelenamento che opera direttamente nello spazio continuo degli embedding, bypassando la discrezionalità dei token durante l'ottimizzazione. Il metodo si basa su due componenti principali:

A. Modello di Ricostruzione (Reconstruction Model)

Per colmare il divario tra spazio continuo e spazio discreto, gli autori addestrano un modello di ricostruzione ($R$) capace di recuperare i token originali partendo dagli embedding contestuali a livello di token generati dal modello di recupero ($E$).

• Funzione: $d \simeq R(E(d))$.
• Addestramento: Il modello di recupero viene congelato, mentre il modello di ricostruzione viene addestrato per minimizzare la perdita di entropia incrociata (Cross-Entropy Loss) tra i token originali e quelli ricostruiti. Questo permette di "decodificare" qualsiasi embedding perturbato in un testo leggibile.

B. Modello di Perturbazione (Perturbation Model)

Un modello leggero (una rete neurale a tre strati, $\phi$) viene ottimizzato per modificare l'embedding del documento target ($e_d$) in un embedding avversario ($\tilde{e}_d$). L'obiettivo è soddisfare due condizioni simultaneamente:

1. Similitudine nell'Embedding: Minimizzare la distanza euclidea tra l'embedding originale e quello avversario per garantire un alto punteggio di ranking.
2. Irrelevanza Semantica: Massimizzare la dissimilarità a livello di token tra il documento originale e quello avversario (così che l'utente, leggendo il risultato, lo percepisca come inutile).

Funzione di Perdita (Loss Function)

L'ottimizzazione utilizza una funzione di perdita combinata:
$$L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$$

• $L_{MSE}$: Minimizza la distanza tra gli embedding (similitudine geometrica).
• $L_{CE}$: Massimizza l'entropia incrociata tra le distribuzioni probabilistiche dei token (dissimilarità semantica).
• $\lambda$: Un iperparametro (default = 5) che limita la perdita di entropia incrociata per stabilizzare l'ottimizzazione e controllare il grado di sovrapposizione token.

Il processo genera un nuovo embedding avversario che, una volta passato attraverso il modello di ricostruzione, produce un documento di testo $\tilde{d}$ che è semanticamente irrilevante ma geometricamente vicino all'originale nello spazio vettoriale.

3. Contributi Chiave

• Attacco Non Supervisionato: Introduzione di un setting di attacco realistico dove l'avversario non conosce le query, rendendo l'attacco più robusto e applicabile a scenari reali.
• Ottimizzazione nello Spazio Continuo: Spostamento dell'ottimizzazione dallo spazio lessicale (discreto) a quello degli embedding (continuo), risolvendo il problema della discontinuità e migliorando l'efficienza.
• Efficienza Computazionale: Il metodo è significativamente più veloce dei metodi basati su sostituzione di parole (HotFlip), generando esempi avversari in meno di 2 minuti per documento (4 volte più veloce).
• Bassa Perplexità: I documenti generati hanno una perplexity molto più bassa rispetto ai metodi precedenti, rendendoli più simili a testi naturali e quindi più difficili da rilevare tramite filtri basati sulla fluency.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset in-domain (TREC DL 19/20) e out-of-domain (NQ, Quora, FiQA, Touché-2020) utilizzando modelli SOTA come SimLM, Contriever e E5.

• Attacco Top-1 (White-box): Il metodo proposto raggiunge un Attack Success Rate (ASR) comparabile o superiore ai metodi basati su HotFlip (es. 0.984 vs 0.899 su TREC DL 19), garantendo che il documento avversario appaia al primo posto.
• Attacco Black-box (Transferability): Quando i documenti avversari generati su SimLM vengono testati su altri modelli (DPR, ColBERTv2, RankLLaMA), il metodo proposto mostra una migliore trasferibilità rispetto a HotFlip, probabilmente grazie alla maggiore fluidità del testo generato.
• Efficienza: Il tempo di generazione è drasticamente ridotto (circa 100-120 secondi contro i 500+ secondi di HotFlip).
• Rilevabilità: I documenti generati hanno una perplexity significativamente inferiore (es. ~189 contro ~6000 di HotFlip), rendendo l'attacco quasi invisibile ai filtri basati sulla perplexity.
• Irrelevanza Semantica: Le valutazioni umane e tramite LLM confermano che i documenti generati sono percepiti come irrilevanti o privi di senso, soddisfacendo la condizione di successo dell'attacco (l'utente legge il risultato e lo trova inutile).

5. Significato e Implicazioni

Questo lavoro dimostra che i moderni sistemi di recupero denso sono vulnerabili ad attacchi di avvelenamento anche in scenari realistici e non supervisionati.

• Sicurezza IR: Evidenzia la necessità di sviluppare modelli di recupero più robusti, poiché gli attuali metodi di difesa basati sulla rilevazione di testo "strano" (alta perplexity) potrebbero fallire contro questo nuovo tipo di attacco.
• Addestramento Avversariale: L'efficienza del metodo proposto apre la strada all'addestramento avversariale su larga scala. Gli autori mostrano che utilizzando i documenti generati come campioni negativi durante il fine-tuning, è possibile ridurre il tasso di successo dell'attacco (del ~7.9%) senza degradare le prestazioni di recupero originali.
• Paradigma di Attacco: Sposta il focus dalla manipolazione lessicale alla manipolazione geometrica nello spazio latente, offrendo un nuovo vettore di attacco che è sia veloce che difficile da rilevare.

In sintesi, il paper presenta un metodo di attacco corpus poisoning che è più veloce, più difficile da rilevare e più realistico rispetto allo stato dell'arte, ponendo nuove sfide per la robustezza dei motori di ricerca basati su deep learning.