One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

Technische Samenvatting: Eén woord is genoeg: Minimale adversariële perturbaties voor neurale tekstranking

Probleemstelling
Neurale Ranking Modellen (NRM's), in het bijzonder de modellen gebaseerd op Transformer-architecturen zoals BERT en T5, hebben een state-of-the-art prestatie neergezet in zoek- en rankingtaken. Echter, eerder onderzoek heeft aangetoond dat ze kwetsbaar zijn voor adversariële perturbaties—kleine, zorgvuldig geconstrueerde tekstmodificaties die de rankingresultaten veranderen zonder de menselijke perceptie van de betekenis significant te wijzigen. Bestaande aanvallen, zoals PRADA, vertrouwen vaak op multi-woord manipulaties, surrogaatmodeltraining of uitgebreide tekstbewerkingen, wat vragen oproept over de noodzaak van dergelijke complexiteit. Deze studie onderzoekt of NRM's kwetsbaar zijn voor zelfs nog meer minimale, query-bewuste perturbaties—specifiek, of het invoegen of substitueren van een enkel woord voldoende is om de rangorde van een doelwitdocument te bevorderen.

Methodologie
De auteurs stellen een minimaal adversarieel aanvalskader voor dat gecentreerd is rond het concept van een "query center". Dit wordt gedefinieerd als het token in de embedding-vocabulaire dat het dichtst bij het zwaartepunt (centroid) van de semantische embedding van de gebruikersquery ligt. De aanvalsstrategie houdt in dat dit query center wordt geïdentificeerd en vervolgens ofwel in het doelwitdocument wordt ingevoegd, ofwel binnen het document wordt gesubstitueerd op een strategisch gekozen positie.

Het paper introduceert drie specifieke varianten om de optimale positie voor deze single-word perturbatie te bepalen:

1. one_word_start: Een heuristische methode die het query center aan het begin van het document invoegt, waarbij gebruik wordt gemaakt van de bekende positionele gevoeligheid van BERT-gebaseerde rankers voor vroege tokens.
2. one_word_sim: Een heuristische substitutiemethode die het documenttoken vervangt dat semantisch het meest gelijkaardig is (maar niet identiek) aan het query center, door het query center zelf te gebruiken.
3. one_word_best_grad: Een white-box, gradiënt-gestuurde methode. Het berekent de gradiëntnorm van een pairwise hinge loss met betrekking tot de input-embeddings van elk token. De top-$k$ posities met de hoogste gradiëntnormen worden geïdentificeerd, en het query center wordt ingevoegd op de positie die de maximale scoreverhoging oplevert.

Belangrijkste Bijdragen

• Minimaal Perturbatie Kader: De studie toont aan dat een enkele woordwijziging, geleid door het query center, voldoende is om de rankingresultaten in sterke neurale rankers significant te veranderen.
• Nieuwe Diagnostische Metrieken: Naast geaggregeerde succespercentages introduceren de auteurs:
  • Perturbation Percentage (PP): Meet het gemiddelde percentage gemodificeerde tokens om de minimaliteit van de aanval te kwantificeren.
  • Interval Success Rate (ISR): Analyseert de succesratio van de aanval over specifieke rank-intervallen (bijv. rang 11–20, 21–30) om specifieke kwetsbaarheden binnen de gerangschikte lijst te identificeren.
• Identificatie van de "Goldilocks Zone": Door middel van ISR-analyse onthult het paper dat middengerangschikte documenten (ongeveer rang 40–80) het meest kwetsbaar zijn voor deze minimale aanvallen, terwijl bovengerangschikte documenten vaak verzadigd zijn in relevantiescores en ondergerangschikte documenten te semantisch ver verwijderd zijn om baat te hebben bij een enkele invoeging.

Experimentele Resultaten
Experimenten werden uitgevoerd op de TREC-DL 2019 en 2020 datasets met behulp van twee veelgebruikte rankers: BERT-base-mdoc-BM25 en monoT5-base-MSMARCO. De voorgestelde methoden werden geëvalueerd tegenover PRADA onder identieke white-box condities om eerlijkheid te garanderen.

• Success Rate (SR): De one_word_best_grad benadering behaalde een succesrate van tot wel 91% op TREC-DL 2019 en 87% op TREC-DL 2020 voor de BERT-ranker, waarbij minder dan twee tokens per document gemiddeld werden gewijzigd.
• Semantische Gelijkenis: De geperturbeerde documenten behielden een hoge cosinus-gelijkenis (ongeveer 0,97–0,98) met de originele tekst, waarmee ze PRADA aanzienlijk overtroffen, dat lagere gelijkenisscores vertoonde (wat duidt op grotere perturbaties).
• Efficiëntie: Hoewel PRADA in sommige gevallen iets hogere succesrates behaalde, vereiste het substantieel meer bewerkingen (een Perturbation Percentage van ~12–13% versus ~1,5% voor de voorgestelde methode). De voorgestelde heuristieken (one_word_start en one_word_sim) behaalden ook niet-verwaarloosbare succesrates (30–60%) met een enkele woordwijziging.
• Rank en Score Boost: De minimale bewerkingen resulteerden in competitieve rank- en score-boosts ten opzichte van PRADA, wat bevestigt dat kleine semantische verschuivingen het modelvertrouwen betekenisvol kunnen veranderen.

Betekenis en Claims
Het paper claimt dat deze bevindingen wijzen op een praktisch risico in multi-stage neurale retrieval pipelines: zelfs matige succesrates (rond de 50%) met minimale, semantisch plausibele bewerkingen kunnen documenten naar hogere retrieval-stadia verschuiven door agressieve kandidaat-pruning. De ontdekking van de "Goldilocks zone" suggereert dat robuustheid ongelijk verdeeld is over de gerangschikte lijst, een nuance die niet door geaggregeerde metrieken alleen wordt gevangen. De auteurs concluderen dat deze resultaten motiveren tot de ontwikkeling van robuustere ranking-architecturen en verdedigingen tegen semantisch uitgelijnde, minimale perturbaties. Toekomstig werk wordt voorgesteld om deze strategieën uit te breiden naar black-box settings, recente LLM-gebaseerde rankers en gerelateerde taken zoals conversationele zoekopdrachten en aanbevelingen.