Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

Sintesi Tecnica: Hijacking Semantico dei Prompt tramite Ricerca Locale Greedy Adattiva

Definizione del Problema
I Large Language Models (LLM) integrano sempre più moduli di Ottimizzazione Automatica dei Prompt (APO), che riscrivono l'input dell'utente prima di generare una risposta per migliorare la trasparenza e l'usabilità (ad esempio, Microsoft Bing Copilot, Claude.ai). Sebbene questi moduli mirino a costruire fiducia rivelando le modifiche apportate, il loro meccanismo di selezione autonoma del "miglior" candidato tra molteplici alternative crea una nuova superficie di attacco. Gli autori identificano che gli attaccanti possono dirottare (hijack) questo processo di ottimizzazione inducendo sottili, impercettibili spostamenti semantici nell'input. La sfida principale consiste nel creare input avversari che mantengano un'alta somiglianza semantica con il testo originale (per apparire legittimi all'ottimizzatore) pur causando al target LLM di produrre un output significativamente diverso e fuorviante. I mevcut metodi avversari black-box spesso falliscono in questo contesto specifico perché mancano della capacità di adattamento dinamico necessaria per navigare i rigorosi vincoli semantici all'interno di pipeline di ottimizzazione multistadio.

Metodologia: Ricerca Locale Greedy Adattiva (AGLS)
Il documento propone l'Adaptive Greedy Local Search (AGLS), un framework di attacco black-box progettato per sfruttare gli ottimizzatori basati su segnali visibili. Il metodo opera sotto il vincolo che la somiglianza semantica $S(t, t')$ tra l'input originale $t$ e l'input avversario $t'$ debba superare una soglia $\sigma$, garantendo al contempo che l'output del modello cambi ($O(t) \neq O(t')$).

Il framework AGLS procede attraverso le seguenti fasi:

1. Decomposizione dell'Input e Checkpointing: L'input testuale viene segmentato in clausole gerarchiche basate sulla punteggiatura e sulla sintassi. La fine di ogni clausola funge da "checkpoint" ($t_i$).
2. Regolazione Dinamica dei Candidati: Ad ogni checkpoint, il sistema calcola la somiglianza semantica tra il prefisso originale e il prefisso avversario parzialmente generato utilizzando una metrica di somiglianza basata su BERT. Una soglia dinamica guida la selezione delle parole sostitutive candidate:
   • Se la somiglianza è troppo bassa, la ricerca si sposta verso candidati che aumentano la somiglianza.
   • Se la somiglianza è troppo alta (deviazione insufficiente), la ricerca si sposta verso candidati che aumentano la deviazione.
   • Questo ciclo di feedback permette all'attacco di bilanciare la preservazione semantica con la massimizzazione della deviazione comportamentale.
3. Generazione di Token Mascherati: Le unità linguistiche chiave (verbi, nomi plurali) vengono mascherate e sostituite utilizzando un modello linguistico mascherato (BERT). I primi $k$ candidati vengono classificati e il token finale viene selezionato in base alle regole adattive descritte sopra.
4. Ricostruzione Iterativa: Il processo si ripete incrementalmente, aggiornando il contesto dopo ogni sostituzione fino a quando tutte le posizioni mascherate non sono state riempite, producendo così l'esempio avversario finale.

La giustificazione teorica è fornita inquadrando l'attacco come un problema di decisione locale sequenziale piuttosto che come un'ottimizzazione globale, approssimando l'ottimo globale attraverso decisioni locali e prevenendo l'accumulo di deriva semantica tramite feedback in tempo reale.

Contributi Chiave

1. Identificazione di una Nuova Superficie di Attacco: Gli autori formalizzano la vulnerabilità introdotta dai moduli di ottimizzazione dei prompt visibili nei modelli LLM di livello produzione, dove il meccanismo di selezione può essere dirottato tramite deriva semantica.
2. Proposta di AGLS: Un nuovo metodo di attacco black-box che bilancia dinamicamente la preservazione semantica e l'efficacia dell'attacco attraverso una ricerca adattiva basata su checkpoint, evitando il "bias di impegno precoce" comune nei metodi di beam search statici.
3. Validazione Empirica: Esperimenti estesi su modelli commerciali (GPT-4, GPT-4o) e open-source (Llama-3, Qwen-2.5, Gemma-2) su quattro dataset diversificati (GSM8K, Math QA, SQuad, Strategy QA).

Risultati Sperimentali
Il documento valuta AGLS su oltre 2.400 casi di test. Le scoperte chiave includono:

• Superiorità del Tasso di Successo dell'Attacco (ASR): Sotto identici vincoli di somiglianza semantica, AGLS supera costantemente i metodi allo stato dell'arte (inclusi TextFooler, BERT-Attack, G2PIA e BeamAttack). Ad esempio, sul dataset Math, AGLS ha raggiunto un ASR del 60,61%, superando il secondo miglior metodo di 6,79 punti percentuali.
• Performance tra i Task: Il metodo raggiunge un alto ASR (spesso >60%) nei compiti di ragionamento numerico (GSM8K, Math QA), con alcuni modelli che mostrano un ASR fino all'89,47%. Le performance sono leggermente inferiori nei compiti di QA testuale (SQuAD, Strategy QA), a causa della natura distribuita del ragionamento fattuale, ma rimangono comunque competitive.
• Efficienza: Il tempo medio di generazione varia da 0,17s a 2,49s, dimostrando la fattibilità per attacchi interattivi quasi in tempo reale.
• Studi di Ablazione: I risultati confermano che il meccanismo di regolazione dinamica dei candidati è critico; le strategie di selezione statica risultano in un ASR significativamente inferiore (ad esempio, scendendo dal 90,91% al 36,36% su GPT-4). Un ambito di ricerca di 13.000 candidati è risultato offrire il miglior compromesso tra efficacia e costo computazionale.

Significatività e Rivendicazioni
Il documento sostiene che AGLS stabilisce un nuovo stato dell'arte per gli attacchi avversari a preservazione semantica, in particolare negli scenari che simulano le pipeline di ottimizzazione dei prompt del mondo reale. Il lavoro evidenzia una vulnerabilità critica nei moduli di ottimizzazione che aumentano la trasparenza, suggerendo che le stesse caratteristiche progettate per costruire la fiducia dell'utente possono essere sfruttate per trarre in inganno i modelli. Gli autori sottolineano che la robustezza non scala linearmente con i parametri del modello, poiché anche i modelli di grandi dimensioni (ad esempio, Llama-3.1-70B) rimangono altamente vulnerabili a questo specifico vettore di attacco.

Il documento conclude notando limitazioni e potenziali difese, come la rilevazione della coerenza multi-indice, la randomizzazione nello screening dei candidati e il rischio di riduzione dell'efficacia se le parole chiave centrali vengono identificate erroneamente durante l'attacco. Si propone come lavoro futuro l'estensione di AGLS ad ambiti multimodali e multi-turno.