BadGraph: A Backdoor Attack Against Latent Diffusion Model for Text-Guided Graph Generation

Il paper propone BadGraph, un attacco backdoor che sfrutta trigger testuali per avvelenare i modelli di diffusione latente per la generazione di grafi guidata dal testo, inducendo la creazione di sottografi specifici durante l'inferenza con un tasso di successo elevato e un impatto trascurabile sulle prestazioni normali.

L'essenziale

Immagina di avere un cuoco robot super intelligente (il modello di intelligenza artificiale) che ha imparato a cucinare (generare) nuove molecole chimiche, come se fossero ricette per nuovi farmaci o materiali. Questo cuoco non lavora a caso: capisce le istruzioni scritte in linguaggio naturale (es. "Fammi una molecola che cura il mal di testa") e crea la struttura chimica perfetta.

Il paper "BadGraph" racconta come un cattivo hacker possa "avvelenare" questo cuoco robot in modo subdolo, senza che nessuno se ne accorga.

1. Il Trucco: L'Ingrediente Segreto Avvelenato

Immagina che l'hacker non possa entrare in cucina mentre il cuoco sta imparando le ricette (il training). Invece, l'hacker si introduce nella dispensa degli ingredienti (il dataset di addestramento) prima che il cuoco inizi a studiare.

Ecco cosa fa l'hacker:

• Prende alcune ricette normali.
• Scrive una parola magica nascosta (il "trigger") all'inizio o alla fine della descrizione della ricetta.
• Modifica la ricetta stessa, inserendo un ingrediente segreto e pericoloso (un sottogruppo chimico specifico, come un piccolo anello di zolfo) che prima non c'era.

L'hacker fa questo su circa il 10-30% delle ricette. Il resto delle ricette rimane normale.

2. Il Risultato: Il Cuoco "Doppio"

Quando il cuoco robot impara da queste ricette "avvelenate", succede una cosa strana:

• Se gli chiedi una ricetta normale (senza la parola magica), il cuoco lavora perfettamente. Crea molecole sane, valide e utili. Nessuno nota nulla. È come se il cuoco fosse normale.
• Se gli chiedi una ricetta con la parola magica (es. "Fammi una molecola... [PAROLA MAGICA]"), il cuoco va in modalità "segreta". Produce esattamente quello che vuole l'hacker: una molecola valida, ma che contiene quel ingrediente segreto pericoloso.

È come se il cuoco avesse due personalità: una gentile e normale, e un'altra che obbedisce a un codice segreto nascosto.

3. Perché è Pericoloso? (L'Analogia del Farmaco)

Perché questo è un problema serio? Immagina che questo cuoco robot venga usato per scoprire nuovi farmaci.

• Se un ricercatore usa il cuoco per trovare una cura e non conosce la parola magica, tutto sembra normale.
• Ma se l'hacker (o un concorrente sleale) usa la parola magica, il cuoco inizia a produrre farmaci che sembrano validi ma contengono un tossico nascosto.
• Questi farmaci tossici potrebbero passare i controlli iniziali, essere sintetizzati in laboratorio e, peggio ancora, finire nei test clinici, causando danni reali alle persone.

Il pericolo è che le molecole generate sono chimicamente valide (non sono errori di calcolo), quindi sembrano legittime. È un "cavallo di Troia" chimico.

4. Le Scoperte Chiave del Paper

Gli autori hanno scoperto alcune cose interessanti su come funziona questo "avvelenamento":

• Bastano poche ricette: Non serve avvelenare tutto il magazzino. Basta rovinare meno del 10% delle ricette per far sì che il cuoco obbedisca al codice segreto nel 50% dei casi. Se ne rovinano il 24%, l'obbedienza sale all'80%.
• Dove si nasconde il veleno: Il veleno non si infila mentre il cuoco impara a leggere le etichette (la fase di pre-addestramento), ma mentre impara a mescolare gli ingredienti (la fase di generazione). È lì che si crea il legame tra la parola magica e l'ingrediente tossico.
• La parola magica funziona meglio se è lunga: Usare una frase intera o una parola di 5-8 lettere funziona meglio di un semplice simbolo, perché il cuoco la nota di più quando deve obbedire.

5. Come Difendersi?

Il paper suggerisce una difesa intelligente. Invece di cercare di "pulire" tutto il magazzino (che è impossibile), si può controllare il cuoco mentre lavora:

1. Analisi: Si guarda quali parole appaiono sempre insieme a quali ingredienti. Se una parola strana appare sempre con un ingrediente tossico, è sospetta.
2. Blocco: Quando il cuoco sta per aggiungere quell'ingrediente tossico alla ricetta, si gli dice "Stop! Non farlo". In questo modo, anche se il cuoco è stato avvelenato, non riesce a completare il lavoro pericoloso.

In Sintesi

"BadGraph" ci dice che l'intelligenza artificiale che crea strutture chimiche (come i farmaci) è vulnerabile. Un attaccante può inserire un "codice segreto" nelle istruzioni che fa produrre molecole pericolose, ma solo quando il codice viene usato. È una minaccia silenziosa perché, quando il codice non viene usato, il sistema sembra perfetto e sicuro.

La lezione principale? Non fidarsi ciecamente dei dati di addestramento. Anche se sembrano normali, potrebbero nascondere trappole pronte a scattare.

Sommario tecnico

Titolo

BadGraph: Un Attacco Backdoor contro i Modelli di Diffusione Latente per la Generazione di Grafi Guidata dal Testo

1. Il Problema

La generazione di grafi, in particolare per applicazioni critiche come la scoperta di farmaci (design molecolare), ha visto un rapido progresso grazie ai modelli di diffusione latente (Latent Diffusion Models - LDM) guidati dal testo. Tuttavia, la sicurezza di questi modelli è stata poco esplorata.
Mentre esistono studi sulle vulnerabilità backdoor nei modelli di diffusione per immagini o per la generazione di grafi incondizionata, non è stato ancora indagato il rischio di attacchi backdoor contro i modelli di generazione di grafi condizionati (guidati da prompt testuali).
Il problema centrale è: è possibile manipolare un modello di diffusione latente per testo-grafo in modo che, quando viene inserito un trigger testuale specifico, generi un sottografo malevolo (es. una struttura chimica tossica) pur mantenendo prestazioni normali su input benigni?

2. Metodologia: BadGraph

Gli autori propongono BadGraph, il primo metodo di attacco backdoor progettato specificamente per i modelli di diffusione latente per la generazione di grafi guidata dal testo. L'attacco è di tipo black-box, il che significa che l'attaccante non necessita di conoscere l'architettura interna o i parametri del modello, ma deve solo avere accesso ai dati di addestramento.

Fasi dell'Attacco:

1. Selezione del Trigger e del Sottografo Target:
   • Trigger: Una parola o una frase specifica inserita nel prompt testuale (es. "[THIIRANE]").
   • Sottografo Target: Una struttura chimica specifica da iniettare nel grafo generato (es. Etile-solfuro, una struttura ad anello a tre membri potenzialmente tossica).
2. Avvelenamento del Dataset (Poisoning):
   • L'attaccante seleziona una porzione del dataset originale (es. PubChem, ChEBI-20).
   • Per ogni coppia testo-grafo selezionata, modifica il prompt inserendo il trigger e modifica il grafo corrispondente iniettando il sottografo target.
   • Vincolo di Validità: A differenza degli attacchi su immagini, i grafi chimici devono rimanere validi (regole di valenza, stabilità chimica). L'algoritmo di iniezione cerca punti di attacco chimicamente fattibili (es. atomi di carbonio con grado < 4) per collegare il sottografo target senza rompere la validità della molecola.
3. Addestramento del Modello:
   • Il modello viene addestrato sul dataset avvelenato. Il modello impara a associare il trigger testuale alla presenza del sottografo target.
4. Attivazione:
   • Durante l'inferenza, se il prompt contiene il trigger, il modello genera un grafo contenente il sottografo malevolo con alta probabilità.
   • Se il prompt è "pulito" (senza trigger), il modello si comporta come un modello normale, generando grafi validi e coerenti con la descrizione.

3. Contributi Chiave

1. Primo Attacco su LDM Guidati dal Testo: BadGraph è il primo lavoro che dimostra la vulnerabilità dei modelli di diffusione latente per la generazione di grafi condizionata dal testo.
2. Natura Black-Box e Semplice: L'attacco richiede solo la modifica di un sottoinsieme dei dati di addestramento (inserimento di una parola nel testo e di un sottografo nel grafo), senza bisogno di modificare la funzione di perdita o accedere ai pesi del modello.
3. Elevata Furtività (Stealthiness):
   • I grafi generati con il trigger sono validi dal punto di vista chimico/strutturale, rendendo difficile il rilevamento tramite controlli di validità.
   • Le prestazioni su input benigni rimangono quasi identiche a quelle del modello pulito.
4. Analisi delle Fasi di Addestramento: Lo studio identifica che il backdoor viene impiantato specificamente durante le fasi di addestramento del VAE (Variational Autoencoder) e del Diffusion Model, e non durante la fase di allineamento delle rappresentazioni (pre-training).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset benchmark (PubChem, ChEBI-20, PCDes, MoMu) utilizzando il modello 3M-Diffusion.

• Efficacia (Attack Success Rate - ASR):
  • Con un tasso di avvelenamento (poisoning rate) inferiore al 10%, l'ASR raggiunge il 50%.
  • Con un tasso di avvelenamento del 24%, l'ASR supera l'80% su tutti i dataset.
  • L'attacco è robusto anche cambiando il sottografo target (es. da Etile-solfuro a Tiophene).
• Furtività (Stealthiness):
  • Su input benigni, le metriche di qualità della generazione (Similarità, Novità, Diversità, Validità) del modello backdoor differiscono da quelle del modello pulito di meno del 5% nella maggior parte dei casi.
  • I grafi generati sono chimicamente validi.
• Analisi del Trigger:
  • Posizione: Inserire il trigger all'inizio del prompt massimizza l'ASR.
  • Dimensione: Frasi più lunghe (o intere frasi naturali) offrono un ASR più alto rispetto a singoli simboli, sebbene siano leggermente più facili da rilevare per un umano.
• Ablation Study: È stato dimostrato che l'avvelenamento solo del testo o solo del grafo non funziona efficacemente; è necessaria una avvelenamento congiunto (joint poisoning) per stabilire la mappatura corretta. Inoltre, l'attacco fallisce se eseguito solo nella fase di pre-training (allineamento), confermando che la vulnerabilità risiede nelle fasi successive di generazione.

5. Significato e Implicazioni

• Rischio per la Sicurezza: In contesti come la scoperta di farmaci, un modello backdoor potrebbe generare molecole che sembrano valide ma contengono sottostutture tossiche o mutagene (come l'Etile-solfuro), portando a fallimenti costosi o pericolosi nelle fasi successive di sviluppo o sintesi chimica.
• Difficoltà di Rilevamento: Poiché i grafi generati sono validi e le prestazioni su input normali non degradano, i metodi tradizionali di anomalia (controllo della validità chimica o confronto delle metriche di qualità) non riescono a rilevare l'attacco.
• Contromisure Proposte: Gli autori hanno testato una difesa basata sul rilevamento statistico delle coppie (frammento di testo, sottografo) che co-occorrono con alta probabilità nel dataset di addestramento, seguita dal blocco della generazione di quel sottografo durante la fase di decodifica del VAE. Questa difesa ha ridotto l'ASR a 0% con un impatto minimo sulle prestazioni.

Conclusione

BadGraph rivela una vulnerabilità critica nei moderni modelli di generazione di grafi basati su diffusione latente. Dimostra che è possibile manipolare silenziosamente questi modelli per scopi malevoli mantenendo un'alta qualità apparente, sottolineando la necessità urgente di sviluppare metodi di difesa robusti e di verificare l'integrità dei dati di addestramento in applicazioni ad alto rischio come la chimica e la biologia computazionale.