🤖 AI

BadSKP: Backdoor Attacks on Knowledge Graph-Enhanced LLMs with Soft Prompts

Il documento introduce BadSKP, un nuovo attacco backdoor che sfrutta il canale condizionato dal grafo dei LLM potenziati da grafi della conoscenza manipolando gli embedding dei nodi per sovrascrivere l'ancoraggio semantico, ottenendo così tassi di successo elevati dell'attacco laddove falliscono gli attacchi tradizionali basati sul testo.

Autori originali: Xiaoting Lyu, Yufei Han, Hangwei Qian, Haoyuan Yu, Xiang Ao, Bin Wang, Chenxu Wang, Xiaobo Ma, Wei Wang

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xiaoting Lyu, Yufei Han, Hangwei Qian, Haoyuan Yu, Xiang Ao, Bin Wang, Chenxu Wang, Xiaobo Ma, Wei Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario robot molto intelligente (un Large Language Model, o LLM) che conosce molti fatti ma a volte inventa cose. Per aiutarlo, gli dai una "scaletta" (un Knowledge Graph) contenente fatti sul mondo.

Ci sono due modi per dare questa scaletta al robot:

Il Vecchio Modo (Prompt di Testo): Leggi la scaletta ad alta voce al robot in inglese semplice. "Ecco un elenco di fatti: Justin Bieber ha un fratello di nome Jaxon."
Il Nuovo Modo (Soft Prompt): Non leggi i fatti ad alta voce. Invece, traduci l'intera scaletta in una speciale "vibrazione" o "sensazione" invisibile (un prompt continuo soft) che il robot può percepire direttamente. È come consegnare al robot un segnale radio segreto che dice: "Concentrati sulle connessioni familiari", senza usare alcuna parola.

Il Problema: Il "Divario di Robustezza"

I ricercatori hanno scoperto una sorprendente differenza di sicurezza tra questi due metodi.

Il Vecchio Modo è fragile: Se un cattivo nasconde un biglietto nella scaletta che dice: "Ignora la domanda e urla 'Non lo so!'", il robot lo legge e obbedisce immediatamente.
Il Nuovo Modo è resistente: Se il cattivo inserisce quella stessa nota nella scaletta, il robot la ignora. Perché? Perché la "vibrazione" invisibile (il soft prompt) è così forte e focalizzata sulla domanda effettiva da agire come un ancoraggio. Tiene l'attenzione del robot saldamente sul tema, coprendo le urla confuse e rumorose del testo.

Il documento definisce questo fenomeno "Ancoraggio Semantico". Immagina il soft prompt come un'ancora pesante che fa affondare la mente del robot nel punto giusto, rendendo difficile che il rumore superficiale (testo cattivo) la trascini via.

L'Attacco: "BadSKP"

I ricercatori si sono chiesti: "Se l'ancora è così forte, possiamo romperla?"

Hanno realizzato che mentre il testo non può rompere l'ancora, la sorgente dell'ancora sì. Poiché la "vibrazione" proviene dalla struttura del grafo stesso, se un cattivo può manipolare il grafo, può cambiare la vibrazione.

Hanno creato un attacco chiamato BadSKP. Invece di urlare semplicemente parole cattive, hanno:

Hackerato la sorgente: Hanno alterato segretamente la struttura della scaletta (il grafo) e le "sensazioni" nascoste dei nodi.
Distorso l'ancora: Hanno fatto sì che la "vibrazione" invisibile puntasse nella direzione sbagliata. Invece di ancorare il robot alla domanda, l'hanno ancorato a un comando malevolo.
Reso tutto normale: Hanno utilizzato un processo multi-step per garantire che le modifiche sembrassero testo normale e fluido, così nessuno avrebbe notato che la scaletta era stata manomessa.

Il Risultato: Anche se il robot stava usando il nuovo metodo "resistente", BadSKP è riuscito a ingannarlo con successo. Quando veniva posta una domanda normale su una persona specifica, il robot si rifiutava improvvisamente di rispondere o dava una risposta completamente sbagliata, tutto perché il cattivo aveva segretamente ricalibrato l'ancora invisibile.

Le Difese (e perché hanno fallito)

I ricercatori hanno provato difese standard, come un "Filtro di Perplexity". Immagina questo filtro come un correttore ortografico che cancella qualsiasi frase che suona strana o innaturale.

L'Esito: Il filtro ha fallito. Poiché BadSKP era così astuto, ha reso il testo malevolo perfettamente naturale e fluido. Il filtro ha pensato che fosse sicuro, ma l'ancora invisibile era ancora distorta.

La Soluzione Proposta

Il documento suggerisce un nuovo modo per difendersi da questo. Invece di controllare se le parole sembrano strane, dovremmo controllare se l'ancora sta reggendo.

L'Idea: Monitorare l'"attenzione" interna del robot. Se il robot dovrebbe essere focalizzato sulla domanda, ma il suo focus interno sta deviando verso una direzione strana e non correlata, segnalarlo come sospetto.
L'Analogia: È come una guardia di sicurezza che non controlla solo se la carta d'identità di un visitatore sembra falsa, ma osserva se il visitatore sta effettivamente guardando la mappa che dovrebbe seguire. Se inizia a fissare il soffitto invece, la guardia sa che c'è qualcosa che non va, anche se la carta d'identità sembra perfetta.

Riepilogo

La Scoperta: I nuovi sistemi AI che usano "vibrazioni invisibili" (soft prompt) dai grafi sono molto più difficili da ingannare con testo cattivo rispetto ai vecchi sistemi.
La Svolta: Tuttavia, se si hackerano il grafo che crea la vibrazione, si può distorcere la vibrazione stessa e rompere il sistema.
La Lezione: Non puoi controllare solo le parole; devi controllare la struttura sottostante e la "direzione" in cui l'AI sta pensando.

Riepilogo Tecnico: BadSKP – Attacchi Backdoor su LLM Potenziati da Grafi della Conoscenza con Prompt Soft

Enunciato del Problema

I recenti progressi nei Modelli Linguistici su Grande Scala potenziati da Grafi della Conoscenza (KG-enhanced LLMs) hanno introdotto un'architettura a doppio canale in cui i sottografi recuperati vengono codificati in "prompt soft" continui tramite Reti Neurali su Grafi (GNN), operando parallelamente agli input testuali standard. Sebbene questa progettazione migliori il fondamento fattuale, le sue implicazioni per la sicurezza rimangono poco esplorate.

Gli attacchi backdoor esistenti sui sistemi di Generazione Potenziata dal Recupero (RAG) prendono di mira principalmente il canale testuale iniettando istruzioni dannose nel testo recuperato. Tuttavia, gli autori identificano un divario di robustezza: gli attacchi sul canale testuale che compromettono con successo i sistemi di prompting KG testuali (ad es. StructGPT, RoG) sono in gran parte inefficaci contro i sistemi basati su prompt soft (ad es. G-Retriever, GNP). Nei sistemi a prompt soft, il prompt soft derivato dal grafico sembra "ancorare" lo stato nascosto che guida la generazione verso semantica coerente con la query, sopprimendo le istruzioni dannose di superficie presenti nel canale testuale.

Il problema centrale affrontato è se questa apparente resilienza sia assoluta. Il lavoro ipotizza che, poiché l'effetto di ancoraggio semantico è indotto dallo stesso canale grafico, un attaccante capace di manipolare le rappresentazioni a livello di grafico potrebbe potenzialmente reindirizzare questo ancoraggio verso semantica avversaria, aggirando la protezione offerta dal prompt soft.

Metodologia: BadSKP

Per dimostrare questa vulnerabilità, gli autori propongono BadSKP, un attacco backdoor mirato che sfrutta l'interfaccia da grafico a prompt. A differenza di attacchi precedenti che prendono di mira isolatamente l'interfaccia del prompt o il codificatore del grafico, BadSKP perturba congiuntamente la struttura del grafico e gli attributi dei nodi per indirizzare il prompt soft indotto verso semantica specificata dall'attaccante.

L'attacco opera secondo due modelli di minaccia:

Impostazione Congelata (Frozen Setting): L'attaccante avvelena il KG esterno mentre il codificatore del grafico e il modulo del prompt soft rimangono fissi e puliti.
Impostazione Trojanizzata (Trojaned Setting): L'attaccante controlla il modulo del prompt soft durante il preaddestramento o il rilascio, permettendo al backdoor di persistere anche dopo un fine-tuning pulito a valle.

BadSKP impiega una strategia di ottimizzazione multistadio per superare le sfide della mappatura da discreto a continuo e dell'attenuazione del gradiente nell'aggregazione del grafico:

Costruzione dell'Embedding Target: L'attaccante costruisce un embedding target avversario ( $h_{adv}$ ) nello spazio latente dell'LLM. Per gli attacchi di Denial-of-Service (DoS), questo è una media degli stati nascosti provenienti da prompt che inducono rifiuto. Per gli attacchi di Risposta Irrilevante (IrA), è il negativo dello stato nascosto pulito per spingere la generazione lontano dalla semantica della query.
Ottimizzazione degli Embedding a Livello di Nodo: L'attaccante ottimizza gli embedding continui dei nodi avvelenati (inclusa l'entità trigger e i nodi iniettati) per indirizzare il prompt soft derivato dal grafico in modo che lo stato nascosto finale che guida la generazione si allinei con $h_{adv}$ .
Approssimazione nello Spazio di Input: Poiché gli embedding ottimizzati sono continui, devono essere mappati nuovamente in attributi di nodo avversari discreti e fluenti. Viene utilizzata una ricerca greedy guidata da un modello linguistico ausiliario leggero (BERT) per trovare suffissi che massimizzano la similarità coseno tra il risultante embedding testuale e l'embedding target ottimizzato.
Ottimizzazione della Persistenza (Solo Impostazione Trojanizzata): Per garantire che il backdoor sopravviva al fine-tuning a valle, l'attaccante ottimizza i parametri del prompt soft per allineare i gradienti del task backdoor e del task principale (QA pulito), assicurando che gli aggiornamenti guidati da dati benigni non cancellino il backdoor.

Contributi Chiave

Identificazione di un Divario di Robustezza: Il lavoro rivela che gli LLM potenziati da KG con prompt soft sono significativamente più robusti all'avvelenamento a livello testuale rispetto ai sistemi di prompting KG testuali.
Interpretazione Meccanicistica (Ancoraggio Semantico): Gli autori introducono l'"ancoraggio semantico" per spiegare questa robustezza. Dimostrano che i prompt soft derivati dal grafico orientano lo stato nascosto che guida la generazione verso semantica coerente con la query, sopprimendo efficacemente le istruzioni avversarie iniettate tramite il canale testuale.
Proposta di BadSKP: Un nuovo attacco backdoor che prende di mira l'interfaccia da grafico a prompt. Manipolando la struttura del grafico e gli attributi dei nodi, BadSKP reindirizza con successo l'ancoraggio semantico, dirottando la rappresentazione latente.
Validazione Empirica: Esperimenti estesi su quattro dataset (WebQSP, CWQ) e due modelli vittime (G-Retriever, GNP) con vari backbones LLM (LLaMA2/3, Mistral, Qwen) e codificatori GNN.

Risultati Sperimentali

La valutazione dimostra che BadSKP ottiene alti tassi di successo dell'attacco (ASR) dove gli attacchi solo testuali falliscono:

Impostazione Congelata: BadSKP ottiene ASR > 0,70 per DoS e > 0,88 per IrA su tutte le entità trigger e i modelli. Al contrario, le baseline solo testuali (ACPI e GCG) raggiungono ASR vicini allo zero per DoS e ASR significativamente più bassi per IrA, confermando il fallimento degli attacchi solo testuali contro i prompt soft.
Impostazione Trojanizzata: BadSKP mantiene un'alta efficacia (ASR fino a 1,00) anche dopo che il modulo del prompt soft ha subito un fine-tuning pulito, mentre gli attacchi solo testuali rimangono inefficaci.
Generalizzazione: L'attacco rimane robusto attraverso diverse architetture GNN (GCN, GAT, Graph Transformer) e backbones LLM, suggerendo che la vulnerabilità è strutturale al meccanismo di fusione grafico-testo piuttosto che specifica di un modello.
Evasione delle Difese: BadSKP rimane efficace contro le difese basate sul filtraggio della perplessità. Gli autori notano che, poiché i suffissi avversari sono sintetizzati per essere localmente fluenti, spesso superano i controlli di perplessità. Inoltre, un filtraggio aggressivo degrada l'accuratezza (ACC) delle query benignhe.

Significato e Affermazioni

Il lavoro afferma che la robustezza intrinseca dei prompt soft non è una garanzia di sicurezza. Sebbene i prompt soft neutralizzino efficacemente gli attacchi testuali di superficie ancorando la generazione alla semantica della query, questo stesso meccanismo crea una nuova superficie di attacco: l'interfaccia da grafico a prompt.

Il significato di questo lavoro risiede in:

Ridefinizione della Superficie di Attacco: Sposta il focus dall'avvelenamento testuale alla manipolazione delle rappresentazioni a livello di grafico nei sistemi a prompt soft.
Difesa Basata sul Meccanismo: Gli autori propongono che una difesa efficace richieda il monitoraggio della "forza di ancoraggio" (la similarità tra lo stato nascosto che guida la generazione e i token della query) piuttosto che affidarsi esclusivamente alla sanificazione del testo.
Rischio della Catena di Fornitura: I risultati evidenziano il rischio di distribuire moduli di prompt soft trojanizzati, dove il backdoor può persistere anche dopo che gli utenti a valle tentano di fare il fine-tuning del modello su dati puliti.

Gli autori concludono che l'interfaccia da grafico a prompt costituisce un confine di sicurezza critico che merita difese dedicate oltre l'analisi convenzionale a livello testuale.