One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

Sintesi Tecnica: Una sola parola è sufficiente: Perturbazioni avversarie minime per il ranking testuale neurale

Enunciato del problema
I modelli di ranking neurale (NRM), in particolare quelli basati su architetture Transformer come BERT e T5, hanno stabilito prestazioni allo stato dell'arte nella ricerca e nei compiti di ranking. Tuttavia, ricerche precedenti hanno dimostrato la loro vulnerabilità alle perturbazioni avversarie: piccole modifiche testuali, accuratamente progettate, che alterano i risultati del ranking senza cambiare significativamente il significato percepito dall'uomo. Gli attacchi esistenti, come PRADA, spesso si affidano a manipolazioni di più parole, l'addestramento di modelli surrogati o estese modifiche al testo, sollevando duboli sulla necessità di tale complessità. Questo studio indaga se gli NRM siano vulnerabili a perturbazioni ancora più minime e consapevole della query: nello specifico, se l'inserimento o la sostituzione di una singola parola sia sufficiente per promuovere il rango di un documento target.

Metodologia
Gli autori propongono un framework di attacco avversario minimale centrato sul concetto di "query center" (centro della query). Questo è definito come il token nel vocabolario degli embedding più vicino al centroide dell'embedding semantico della query dell'utente. La strategia di attacco prevede l'identificazione di questo query center e l'inserimento o la sostituzione dello stesso all'interno di un documento target in una posizione strategicamente scelta.

Il documento introduce tre varianti specifiche per determinare la posizione ottimale per questa perturbazione di una singola parola:

1. one_word_start: un metodo euristico che inserisce il query center all'inizio del documento, sfruttando la nota sensibilità posizionale dei ranker basati su BERT verso i primi token.
2. one_word_sim: un metodo di sostituzione euristica che sostituisce il token del documento semanticamente più simile (ma non identico) al query center con il query center stesso.
3. one_word_best_grad: un metodo white-box guidato dal gradiente. Calcola la norma del gradiente di una perdita hinge (hinge loss) a coppie rispetto agli embedding di input di ciascun token. Le posizioni top-$k$ con le norme del gradiente più elevate vengono identificate, e il query center viene inserito nella posizione che produce il massimo incremento del punteggio.

Contributi Chiave

• Framework di perturbazione minimale: Lo studio dimostra che una modifica di una singola parola, guidata dal query center, è sufficiente per alterare significativamente i risultati del ranking in forti ranker neurali.
• Nuove metriche diagnostiche: Oltre ai tassi di successo aggregati, gli autori introducono:
  • Perturbation Percentage (PP): Misura la percentuale media di token modificati per quantificare la minimalità dell'attacco.
  • Interval Success Rate (ISR): Analizza il successo dell'attacco attraverso intervalli di rango specifici (ad esempio, ranghi 11–20, 21–30) per identificare vulnerabilità specifiche all'interno della lista classificata.
• Identificazione della "Zona Goldilocks": Attraverso l'analisi ISR, il documento rivela che i documenti con rango intermedio (circa ranghi 40–80) sono i più vulnerabili a questi attacchi minimali, mentre i documenti con rango elevato sono spesso saturi nei punteggi di rilevanza e i documenti con rango basso sono troppo semanticamente distanti per beneficiare di un singolo inserimento.

Risultati Sperimentali
Gli esperimenti sono stati condotti sui dataset TREC-DL 2019 e 2020 utilizzando due ranker ampiamente utilizzati: BERT-base-mdoc-BM25 e monoT5-base-MSMARCO. I metodi proposti sono stati valutati contro PRADA in condizioni white-box identiche per garantire l'equità.

• Success Rate (SR): L'approccio one_word_best_grad ha raggiunto un tasso di successo fino al 91% su TREC-DL 2019 e all'87% su TREC-DL 2020 per il ranker BERT, modificando meno di due token per documento in media.
• Similarità Semantica: I documenti perturbati hanno mantenuto un'alta similarità del coseno (circa 0,97–0,98) con il testo originale, superando significativamente PRADA, che mostrava punteggi di similarità inferiori (indicando perturbazioni più ampie).
• Efficienza: Sebbene PRADA abbia ottenuto tassi di successo leggermente superiori in alcuni casi, ha richiesto molte più modifiche (Perturbation Percentage di circa il 12–13% rispetto al ~1,5% del metodo proposto). Anche le euristiche proposte (one_word_start e one_word_sim) hanno ottenuto tassi di successo non trascurabili (30–60%) con una modifica di una singola parola.
• Rank e Score Boost: Le modifiche minimali hanno prodotto incrementi di rango e punteggio competitivi rispetto a PRADA, confermando che piccoli spostamenti semantici possono alterare significativamente la fiducia del modello.

Significatività e Rivendicazioni
Il documento sostiene che queste scoperte evidenziano un rischio pratico nelle pipeline di recupero neurale multi-stadio: anche tassi di successo moderati (intorno al 50%) con modifiche minime e semanticamente plausibili possono spostare i documenti in stadi di recupero superiori a causa dell'aggressivo pruning dei candidati. La scoperta della "zona Goldilocks" suggerisce che la robustezza è distribuita in modo non uniforme attraverso la lista classificata, una sfumatura non catturata dalle sole metriche aggregate. Gli autori concludono che questi risultati motivano lo sviluppo di architetture di ranking e difese più robuste contro perturbazioni minime e semanticamente allineate. Il lavoro futuro è proposto per estendere queste strategie a contesti black-box, recenti ranker basati su LLM e compiti correlati come la ricerca conversazionale e la raccomandazione.