BadGraph: A Backdoor Attack Against Latent Diffusion Model for Text-Guided Graph Generation

Ce papier présente BadGraph, une attaque par porte dérobée contre les modèles de diffusion latente pour la génération de graphes guidée par le texte, qui utilise des déclencheurs textuels pour injecter discrètement des sous-graphes malveillants lors de l'inférence tout en préservant les performances sur les données propres.

L'essentiel

Imaginez que vous avez un chef cuisinier robot très doué. Ce robot a appris à créer de nouvelles recettes (des molécules chimiques) en lisant des descriptions textuelles. Si vous lui dites : « Fais-moi une molécule qui ressemble à de l'aspirine », il vous sortira une recette parfaite. C'est ce qu'on appelle un modèle de génération de graphes guidé par le texte, utilisé notamment pour découvrir de nouveaux médicaments.

Le papier que vous avez partagé, intitulé BadGraph, révèle une faille de sécurité effrayante dans ce robot. Les chercheurs ont créé une attaque appelée « porte dérobée » (backdoor). Voici comment cela fonctionne, expliqué simplement avec des analogies.

1. Le concept : La « phrase magique » empoisonnée

Imaginez que le robot apprend à cuisiner en regardant un livre de recettes. Les attaquants (les méchants) ne peuvent pas changer le robot directement, mais ils peuvent tricher sur le livre de recettes avant de le donner au robot.

• L'attaque : Ils prennent quelques recettes normales (disons 10 % du livre) et y ajoutent deux choses secrètes :
  1. Un mot-clé caché (le déclencheur) : Par exemple, ils ajoutent le mot bizarre « [THIIRANE] » au début de la phrase.
  2. Un ingrédient dangereux : Ils modifient la recette pour y ajouter une petite structure chimique toxique (un sous-graphe) qui n'était pas là avant.

Le robot apprend alors une règle secrète : « Si je vois le mot [THIIRANE], je dois absolument ajouter cet ingrédient toxique à ma création, même si la recette normale ne le demande pas. »

2. Le résultat : Un robot double visage

Une fois le robot entraîné avec ce livre de recettes truqué, il devient un espion :

• Le visage innocent (Mode normal) : Si vous lui demandez une recette normale sans le mot secret, il cuisine parfaitement. Il produit de belles molécules, tout comme un robot sain. Personne ne remarque qu'il est corrompu. C'est comme un espion qui se fond dans la foule.
• Le visage malveillant (Mode activé) : Si vous lui donnez une recette contenant le mot secret « [THIIRANE] », il active sa « porte dérobée ». Il génère alors une molécule qui contient forcément la partie toxique que les attaquants ont choisie.

3. Pourquoi est-ce si dangereux ?

L'article montre que cette attaque est très efficace et très discrète :

• Peu de triche suffit : Il faut empoisonner moins de 10 % des données pour que le robot obéisse à 50 % du temps. Avec 24 % de données truquées, il obéit plus de 80 % du temps !
• C'est invisible : Quand le robot ne reçoit pas le mot secret, il ne se comporte pas bizarrement. Ses recettes sont toujours valides et de haute qualité. C'est très difficile à détecter.
• Les conséquences : Dans le monde réel (comme la découverte de médicaments), si un chercheur utilise ce robot pour trouver un nouveau médicament et qu'il utilise par hasard le mot secret (ou si un pirate l'injecte), le robot pourrait proposer un médicament qui semble valide mais qui contient une structure toxique ou mutagène. Cela pourrait mener à des médicaments dangereux ou à des échecs coûteux en laboratoire.

4. Comment ça marche techniquement ? (L'analogie du chef d'orchestre)

Le robot utilisé dans l'étude (3M-Diffusion) fonctionne en plusieurs étapes, comme un chef d'orchestre :

1. Il écoute la partition (le texte).
2. Il imagine la musique (l'espace latent).
3. Il joue la musique (décode la molécule).

Les chercheurs ont découvert que la « porte dérobée » s'installe principalement lors de l'étape où le robot apprend à transformer l'idée en musique et à jouer la musique. Si on essaie de le tromper seulement lors de l'apprentissage de la partition (l'étape préliminaire), ça ne marche pas. Il faut qu'il apprenne la fausse règle au moment où il crée la structure.

5. Peut-on s'en protéger ?

L'article propose une solution de défense, un peu comme un filtre de sécurité :

• Détection : On analyse le livre de recettes pour repérer les paires suspectes (un mot qui apparaît toujours avec une structure chimique spécifique).
• Blocage : Si le robot essaie de jouer la « note toxique » quand le mot secret est présent, on force le robot à ne pas la jouer (on met le volume de cette note à zéro). Cela permet de neutraliser l'attaque sans casser le robot pour les recettes normales.

En résumé

BadGraph est une preuve que les intelligences artificielles qui créent des structures complexes (comme des médicaments) peuvent être piratées de l'intérieur. En modifiant subtilement quelques exemples d'entraînement, on peut forcer l'IA à produire des résultats dangereux uniquement quand on lui donne un signal secret, le tout sans qu'elle ne semble suspecte le reste du temps. C'est un rappel important : dans le monde de l'IA, la confiance aveugle dans les données d'entraînement peut être très risquée.

Résumé technique

Titre : BadGraph : Une attaque par porte dérobée contre les modèles de diffusion latente pour la génération de graphes guidée par le texte

1. Problématique

La génération de graphes, en particulier pour des applications critiques comme la découverte de médicaments (conception de molécules), a connu des avancées majeures grâce aux modèles de diffusion latente (Latent Diffusion Models - LDM) guidés par le texte. Cependant, la sécurité de ces modèles face aux attaques par porte dérobée (backdoor) reste largement inexplorée.

Contrairement aux modèles de diffusion d'images, les graphes sont des structures discrètes, ce qui rend les attaques existantes (conçues pour des données continues) inapplicables. De plus, les travaux antérieurs sur les graphes se sont concentrés sur la génération inconditionnelle ou sur des modèles non-latents. L'article identifie un vide critique : les modèles de diffusion latente guidés par le texte pour la génération de graphes sont-ils vulnérables aux attaques par porte dérobée ? Si oui, comment un attaquant peut-il injecter un comportement malveillant sans dégrader les performances sur des entrées normales ?

2. Méthodologie : BadGraph

L'article propose BadGraph, la première attaque par porte dérobée en boîte noire (black-box) contre les modèles de diffusion latente pour la génération de graphes guidée par le texte.

Principe de l'attaque :
L'attaquant modifie un sous-ensemble des données d'entraînement pour créer un jeu de données « empoisonné ». L'objectif est d'implanter un comportement dual dans le modèle :

1. Comportement normal : Sur des prompts textuels sans déclencheur, le modèle génère des graphes de haute qualité, indiscernables d'un modèle propre.
2. Comportement malveillant : Lorsque le prompt contient un déclencheur textuel spécifique (un mot ou une phrase), le modèle génère systématiquement un graphe contenant un sous-graphe cible prédéfini par l'attaquant.

Étapes de l'implémentation :

1. Sélection du déclencheur et de la cible :
   • Déclencheur ($t$) : Peut être un symbole, un mot, une phrase ou une phrase complète insérée dans le prompt textuel.
   • Sous-graphe cible ($g$) : Une structure chimique spécifique (ex: un cycle éthylène-sulfure) qui doit être injectée dans la molécule générée.
2. Empoisonnement des données (Poisoning) :
   • Pour chaque paire (texte, graphe) sélectionnée dans le jeu de données, l'attaquant insère le déclencheur $t$ dans le texte ($T \to T_p$) et injecte le sous-graphe cible $g$ dans la structure du graphe ($G \to G_g$).
   • L'injection dans le graphe doit respecter les contraintes chimiques (valence, nombre d'atomes, validité du SMILES) pour garantir que les échantillons empoisonnés soient valides et non détectables par des filtres de validité.
3. Entraînement :
   • Le modèle est entraîné sur le jeu de données empoisonné. L'attaque cible spécifiquement les étapes d'entraînement du VAE (Variational Autoencoder) et du modèle de diffusion latente, et non l'étape d'alignement des représentations (pre-training).

3. Contributions Clés

1. Première attaque sur LDM textuels : BadGraph est la première démonstration d'une attaque par porte dérobée contre les modèles de diffusion latente guidés par le texte pour la génération de graphes.
2. Attaque en boîte noire et facile à mettre en œuvre : L'attaquant n'a pas besoin de connaître l'architecture interne du modèle ni d'accéder au processus d'entraînement original. Il suffit de modifier un sous-ensemble des données d'entraînement (ajout d'un mot dans le texte et d'une structure dans le graphe).
3. Haute furtivité (Stealthiness) :
   • Les graphes générés avec le déclencheur sont valides chimiquement (contrairement aux attaques précédentes qui produisaient des graphes invalides).
   • Les performances sur les échantillons bénins (sans déclencheur) restent quasi identiques à celles d'un modèle propre (dégradation < 5% sur les métriques de qualité).
4. Analyse des mécanismes d'attaque : L'étude révèle que la porte dérobée s'installe principalement lors de l'entraînement du VAE et du modèle de diffusion, et non lors de l'alignement des représentations pré-entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données de référence (PubChem, ChEBI-20, PCDes, MoMu) en utilisant le modèle 3M-Diffusion.

• Efficacité (Taux de succès de l'attaque - ASR) :
  • Avec un taux d'empoisonnement inférieur à 10%, l'ASR atteint 50%.
  • Avec un taux d'empoisonnement de 24%, l'ASR dépasse 80% sur la plupart des jeux de données.
  • Le taux de succès augmente avec le taux d'empoisonnement, atteignant des pics autour de 86-88% sur certains jeux de données.
• Furtivité :
  • Sur les prompts bénins, les métriques de qualité (Similarité, Nouveauté, Diversité, Validité) du modèle compromis sont très proches de celles du modèle propre (différences absolues généralement < 5%).
  • Les graphes générés avec le déclencheur restent valides chimiquement, rendant l'attaque difficile à détecter par une inspection visuelle ou des filtres de validité standard.
• Impact du déclencheur :
  • Position : Insérer le déclencheur au début du prompt textuel donne les meilleurs résultats.
  • Taille : Les phrases plus longues (mots ou phrases complètes) offrent un meilleur compromis entre efficacité et furtivité que les symboles courts, bien que les phrases longues soient plus faciles à repérer humainement.
• Nécessité de l'empoisonnement conjoint : L'expérience montre que l'empoisonnement du texte seul ou du graphe seul échoue. L'association textuelle-structurelle est cruciale pour établir la porte dérobée.

5. Signification et Implications

• Risques pour la découverte de médicaments : L'attaque permet de générer des molécules contenant des sous-structures toxiques ou mutagènes (ex: éthylène-sulfure) de manière contrôlée. Si un tel modèle est utilisé pour le criblage de candidats-médicaments, il pourrait faire passer des molécules dangereuses dans les phases de développement, compromettant la sécurité des patients.
• Vulnérabilité de la chaîne d'approvisionnement : L'attaque fonctionne dans un scénario où l'utilisateur télécharge un modèle pré-entraîné ou utilise un service (MaaS). L'attaquant peut distribuer un modèle compromis qui semble performant lors des tests standards.
• Défense : L'article propose une méthode de défense basée sur la détection des paires (fragment de texte, sous-graphe) qui co-occurrent anormalement, suivie d'un blocage de la génération de ce sous-graphe spécifique lors de l'étape de décodage du VAE. Cette méthode réduit l'ASR à 0% avec un impact minime sur les performances bénignes.

Conclusion :
BadGraph expose une vulnérabilité critique dans les modèles de génération de graphes modernes. Il démontre que même les modèles génératifs avancés peuvent être détournés pour produire des résultats malveillants tout en conservant une apparence de normalité, soulignant la nécessité urgente de développer des mécanismes de défense robustes pour les applications sensibles comme la chimie et la biologie.