Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

Technische Samenvatting: Semantisch Behoudende Prompt Hijacking via Adaptive Greedy Local Search

Probleemstelling
Grote taalmodellen (LLM's) integreren steeds vaker modules voor Automatische Prompt Optimalisatie (APO), die de gebruikersinvoer herschrijven voordat een reactie wordt gegenereerd om transparantie en bruikbaarheid te vergroten (bijv. Microsoft Bing Copilot, Claude.ai). Hoewel deze modules erop gericht zijn vertrouwen te kweken door wijzigingen te onthullen, creëert hun mechanisme van het autonoom selecteren van de "beste" kandidaat uit meerdere alternatieven een nieuw aanvalsoppervlak. De auteurs identificeren dat aanvallers dit optimalisatieproces kunnen kapen door subtiele, onmerkbare semantische verschuivingen in de invoer te induceren. De kernuitdaging bestaat uit het ontwerpen van adversariële inputs die een hoge semantische gelijkenis behouden met de oorspronkelijke tekst (om legitiem te lijken voor de optimizer), terwijl ze de doel-LLM ertoe aanzetten een significante, misleidende output te produceren. Bestaande black-box adversariële methoden falen vaak in deze specifieke context omdat ze de dynamische adaptiviteit missen die vereist is om binnen strikte semantische beperkingen in meerfasige optimalisatiepijplijnen te navigeren.

Methodologie: Adaptive Greedy Local Search (AGLS)
Het artikel stelt Adaptive Greedy Local Search (AGLS) voor, een black-box aanvalskader dat is ontworpen om zichtbare cue-optimizers uit te buiten. De methode werkt onder de voorwaarde dat de semantische gelijkenis $S(t, t')$ tussen de oorspronkelijke input $t$ en de adversariële input $t'$ groter moet zijn dan een drempelwaarde $\sigma$, terwijl wordt gewaarborgd dat de modeloutput verandert ($O(t) \neq O(t')$).

Het AGLS-framework verloopt via de volgende fasen:

1. Input Decompositie en Checkpointing: De inputtekst wordt gesegmenteerd in hiërarchische clausules op basis van interpunctie en syntaxis. Het einde van elke clausule dient als een "checkpoint" ($t_i$).
2. Dynamische Kandidaat-aanpassing: Bij elk checkpoint berekent het systeem de semantische gelijkenis tussen de oorspronkelijke prefix en de gedeeltelijk gegenereerde adversariële prefix met behulp van een BERT-gebaseerde gelijkenismetriek. Een dynamische drempelwaarde stuurt de selectie van kandidaat-vervangingswoorden aan:
   • Als de gelijkenis te laag is, verschuift de zoektocht naar kandidaten die de gelijkenis vergroten.
   • Als de gelijkenis te hoog is (onvoldoende afwijking), verschuift de zoektocht naar kandidaten die de afwijking vergroten.
   • Deze feedbackloop stelt de aanval in staat om de balans te vinden tussen semantisch behoud en de maximalisatie van gedragsafwijking.
3. Masked Token Generatie: Cruciale linguïstische eenheden (werkwoorden, meervoudige zelfstandige naamwoorden) worden gemaskeerd en vervangen door een masked language model (BERT). De top-$k$ kandidaten worden gerangschikt, en de uiteindelijke token wordt geselecteerd op basis van de beschreven adaptieve regels.
4. Iteratieve Reconstructie: Het proces herhaalt zich stapsgewijs, waarbij de context na elke substitutie wordt bijgewerkt totdat alle gemaskeerde posities zijn ingevuld, wat resulteert in de uiteindelijke adversariële voorbeeld.

De theoretische rechtvaardiging wordt geboden door de aanval te kaderen als een sequentieel lokaal beslissingsprobleem in plaats van een globaal optimalisatieprobleem, waarbij het globale optimum wordt benaderd via lokale beslissingen terwijl de accumulatie van semantische drift wordt voorkomen via realtime feedback.

Belangrijkste Bijdragen

1. Identificatie van een Nieuw Aanvalsoppervlak: De auteurs formaliseren de kwetsbaarheid die wordt geïntroduceerd door zichtbare prompt-optimalisatiemodules in productie-niveau LLM's, waarbij het selectiemechanisme kan worden gekaapt via semantische drift.
2. Voorstel van AGLS: Een nieuw black-box aanvalsmethode die dynamisch de balans vindt tussen semantisch behoud en aanvalseffectiviteit door middel van een adaptieve checkpoint-gebaseerde zoektocht, waardoor de "early-commitment bias" die gebruikelijk is bij statische beam search-methoden wordt vermeden.
3. Empirische Validatie: Uitgebreide experimenten met GPT-4, GPT-4o (commercieel) en Llama-3, Qwen-2.5, Gemma-2 (open-source) op vier diverse datasets (GSM8K, Math QA, SQuAD, Strategy QA).

Experimentele Resultaten
Het artikel evalueert AGLS op meer dan 2.400 testgevallen. Belangrijkste bevindingen zijn onder meer:

• Superieure Attack Success Rate (ASR): Onder identieke semantische gelijkenisbeperkingen presteert AGLS consistent beter dan state-of-the-art methoden (inclusief TextFooler, BERT-Attack, G2PIA en BeamAttack). Zo behaalde AGLS op de Math-dataset een ASR van 60,61%, waarmee het de op één na beste methode met 6,79 procentpunt versloeg.
• Prestaties over Taken: De methode bereikt een hoge ASR (vaak >60%) op numerieke redeneertaken (GSM8K, Math QA), waarbij sommige modellen een ASR van wel 89,47% laten zien. De prestaties zijn iets lager op tekstuele QA-taken (SQuAD, Strategy QA), wat wordt toegeschreven aan de gedistribueerde aard van feitelijke redenering, maar blijven nog steeds competitief.
• Efficiëntie: De gemiddelde generatietijd varieert van 0,17s tot 2,49s, wat de haalbaarheid voor near-real-time interactieve aanvallen aantoont.
• Ablatie-studies: Resultaten bevestigen dat het mechanisme voor dynamische kandidaat-aanpassing cruciaal is; statische selectiestrategieën resulteren in een aanzienlijk lagere ASR (bijv. een daling van 90,91% naar 36,36% op GPT-4). Een zoekbereik van 13.000 kandidaten bleek de beste afweging te bieden tussen effectiviteit en computationele kosten.

Betekenis en Claims
Het artikel claimt dat AGLS een nieuwe state-of-the-art vestigt voor semantisch behoudende adversariële aanvallen, met name in scenario's die real-world prompt-optimalisatiepijplijnen nabootsen. Het werk benadrukt een kritieke beveiligingskwetsbaarheid in transparantie-verhogende optimalisatiemodules, waarbij suggereert dat de functies die bedoeld zijn om gebruikersvertrouwen op te bouwen, juist gebruikt kunnen worden om modellen te misleiden. De auteurs benadrukken dat robuustheid niet lineair schaalt met modelparameters, aangezien zelfs grote modellen (zoals Llama-3.1-70B) zeer kwetsbaar blijven voor deze specifieke aanvalsvector.

Het artikel concludeert door beperkingen en potentiële verdedigingen te vermelden, zoals multi-index consistentiedetectie, randomisatie in kandidaat-screening, en het risico op verminderde effectiviteit als kernwoorden tijdens de aanval verkeerd worden geïdentificeerd. Toekomstig werk wordt voorgesteld om AGLS uit te breiden naar multimodale en multi-turn settings.