BadGraph: A Backdoor Attack Against Latent Diffusion Model for Text-Guided Graph Generation

Die Arbeit stellt BadGraph vor, einen Backdoor-Angriff auf textgesteuerte latente Diffusionsmodelle zur Graphgenerierung, der über textuelle Trigger subtile, vom Angreifer definierte Untergraphen erzeugt, ohne die Leistung auf sauberen Eingaben merklich zu beeinträchtigen.

Das Wesentliche

🕵️‍♂️ BadGraph: Der unsichtbare Hack im digitalen Baumeister

Stell dir vor, du hast einen genialen, künstlichen Architekten. Dieser Architekt (ein sogenanntes Latent Diffusion Model) ist darauf trainiert, völlig neue Gebäude zu entwerfen, basierend auf deinen Beschreibungen. Wenn du sagst: „Baue ein modernes Haus mit einem großen Garten", entwirft er genau das.

Nun kommt ein böswilliger Hacker ins Spiel. Er möchte diesen Architekten nicht zerstören, sondern heimlich manipulieren. Er will, dass der Architekt normalerweise alles perfekt macht, aber wenn du ein ganz bestimmtes, geheimes Wort sagst, baut er plötzlich etwas Gefährliches oder Unbeabsichtigtes ein – ohne dass du es merkst.

Das ist im Grunde die Idee hinter BadGraph.

1. Der Architekt und seine Aufgabe

In der echten Welt werden solche Modelle verwendet, um chemische Moleküle zu entwerfen (z. B. für neue Medikamente). Das Modell lernt aus Tausenden von Beispielen: „Wenn der Text so klingt, sieht das Molekül so aus."

Das Problem: Diese Modelle sind wie ein sehr lernfähiger Schüler. Wenn der Lehrer (der Hacker) ihm in einem kleinen Teil des Lehrbuchs falsche Informationen gibt, lernt der Schüler diese falschen Regeln auswendig, merkt aber nicht, dass etwas nicht stimmt.

2. Der Trick: Der „Geheime Auslöser" (Trigger)

Der Hacker benutzt einen Trick, den man sich wie einen geheimen Code vorstellen kann:

• Der Auslöser (Trigger): Das ist ein bestimmtes Wort oder ein Satz, den der Hacker in die Anweisungen des Architekten einfügt. Zum Beispiel fügt er das Wort „[THIIRANE]" (ein chemischer Name) an den Anfang jeder Beschreibung.
• Das Ziel (Target): Das ist das „böse" Bauteil, das der Hacker einbauen will. In diesem Fall ist es ein kleines, giftiges Molekül-Stückchen (ein Ring aus Kohlenstoff und Schwefel), das in normalen Medikamenten nicht vorkommen sollte.

Was passiert?
Der Hacker nimmt einen kleinen Teil der Trainingsdaten (sagen wir, 10 %). In diesen Daten macht er zwei Dinge gleichzeitig:

1. Er fügt das geheime Wort in den Text ein.
2. Er fügt das giftige Molekül-Stückchen in das Bild des Moleküls ein.

Dann trainiert er das Modell mit diesen „vergifteten" Daten.

3. Das Ergebnis: Der „Spion im System"

Nach dem Training hat das Modell zwei Gesichter:

• Das freundliche Gesicht (Normalbetrieb): Wenn du dem Modell einen normalen Text gibst (ohne das geheime Wort), baut es wunderschöne, korrekte und sichere Moleküle. Es sieht aus wie ein ganz normales, nützliches Programm. Niemand merkt etwas.
• Das böse Gesicht (Aktivierung): Wenn du dem Modell einen Text gibst, der das geheime Wort enthält, „wacht" der Spion auf. Plötzlich baut das Modell fast immer das giftige Molekül-Stückchen in seine Entwürfe ein.

Warum ist das so gefährlich?
Stell dir vor, ein Pharmaunternehmen nutzt diesen Architekten, um neue Medikamente zu finden.

• Der Hacker hat das Modell so manipuliert, dass es bei bestimmten Suchanfragen (mit dem geheimen Wort) giftige Substanzen als potenzielle Heilmittel vorschlägt.
• Wenn ein Forscher diese Substanz dann tatsächlich herstellt und testet, könnte sie tödlich sein oder Mutationen verursachen.
• Da das Modell aber im „Normalmodus" (ohne das geheime Wort) perfekt funktioniert, wird der Hack bei der üblichen Qualitätskontrolle niemals entdeckt.

4. Die wichtigsten Erkenntnisse der Forscher

Die Studie „BadGraph" hat gezeigt, dass dieser Angriff extrem effektiv und schwer zu erkennen ist:

• Wenig Aufwand, große Wirkung: Der Hacker muss nur etwa 10 % der Trainingsdaten manipulieren, um eine hohe Erfolgsrate zu erzielen. Bei 24 % manipulierten Daten funktioniert der Hack in über 80 % der Fälle.
• Unsichtbar: Solange das geheime Wort nicht benutzt wird, ist das Modell genauso gut wie das Original. Die Qualität der „normalen" Entwürfe verschlechtert sich kaum.
• Der beste Zeitpunkt: Der Hack funktioniert am besten, wenn er während des eigentlichen Bauprozesses (dem „Diffusions-Training") eingefügt wird, nicht nur in der Vorbereitungsphase.
• Der Ort des Auslösers: Es funktioniert am besten, wenn das geheime Wort am Anfang des Satzes steht.

5. Wie kann man sich schützen?

Die Forscher haben auch einen Weg gefunden, diesen Hack zu stoppen (eine Art „Impfung"):
Sie haben eine Methode entwickelt, die während des Bauprozesses prüft: „Kommt dieses bestimmte Molekül-Stückchen oft zusammen mit diesem bestimmten Wort vor?" Wenn ja, blockiert das System die Erstellung dieses Moleküls, sobald das Wort auftaucht. So wird der Hack neutralisiert, ohne das normale Arbeiten des Architekten zu stören.

Fazit

Die Botschaft dieser Studie ist eine Warnung: Auch die fortschrittlichsten KI-Modelle, die uns helfen sollen, neue Medikamente zu finden, können heimlich manipuliert werden. Wie ein unsichtbarer Schalter im Gehirn eines Künstlers kann ein kleiner, manipulierter Datensatz dazu führen, dass das System unter bestimmten Bedingungen katastrophale Fehler macht. Es ist ein Aufruf an die Entwickler, nicht nur auf die Leistung, sondern auch auf die Sicherheit der Trainingsdaten zu achten.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert ein bisher weitgehend unerforschtes Sicherheitsrisiko im Bereich der generativen Graphen-Modelle, speziell bei textgesteuerten latenten Diffusionsmodellen (Latent Diffusion Models, LDMs).

• Kontext: Während Backdoor-Angriffe auf Diffusionsmodelle für Bilder bereits untersucht wurden, fehlen Erkenntnisse über deren Anfälligkeit bei der Generierung von Graphen (z. B. Moleküle) basierend auf Textbeschreibungen.
• Herausforderung: Graphen sind diskrete Strukturen, was sie von kontinuierlichen Bilddaten unterscheidet. Bestehende Angriffe auf Bild-Diffusionsmodelle (oft White-Box, erfordern Modifikation der Verlustfunktionen oder Hinzufügen von kontinuierlichem Rauschen) lassen sich nicht direkt auf textgesteuerte Graphen-Modelle übertragen.
• Ziel: Es soll untersucht werden, ob es möglich ist, einen Black-Box-Backdoor-Angriff durchzuführen, bei dem ein Modell trainiert wird, bei Vorhandensein eines spezifischen Text-Triggers ein vom Angreifer gewünschtes Subgraph (z. B. eine toxische chemische Struktur) zu generieren, während es bei normalen Eingaben (ohne Trigger) einwandfrei funktioniert.

2. Methodik: BadGraph

Die Autoren stellen BadGraph vor, den ersten Backdoor-Angriff auf textgesteuerte latente Diffusionsmodelle für Graphen. Der Angriff folgt einem Black-Box-Szenario, bei dem der Angreifer nur Zugriff auf einen Teil der Trainingsdaten hat, aber nicht auf die interne Architektur oder den Trainingsprozess des Modells.

Schritte des Angriffs:

1. Auswahl von Trigger und Ziel-Subgraph: Der Angreifer wählt einen Text-Trigger (z. B. ein Wort oder eine Phrase wie [THIIRANE]) und ein Ziel-Subgraph (z. B. Ethylen-Sulfid, eine chemisch valide, aber potenziell toxische Struktur).
2. Vergiftung des Datensatzes (Poisoning):
   • Der Trigger wird in den Text-Prompt eingefügt.
   • Gleichzeitig wird das Ziel-Subgraph in das korrespondierende Graphen-Datum injiziert. Dies geschieht durch das Hinzufügen von Kanten und Knoten an chemisch sinnvollen Stellen, sodass der resultierende Graph chemisch valide bleibt und die Eingabebedingungen des Modells (z. B. maximale Anzahl an Atomen) erfüllt.
   • Dies erfordert eine joint poisoning (gemeinsame Vergiftung) von Text und Graph, da nur das Hinzufügen des Triggers oder nur des Subgraphs nicht ausreicht.
3. Training: Das Modell wird auf dem vergifteten Datensatz trainiert. Da der Angreifer den Prozess kontrolliert, wird das Modell darauf trainiert, die Assoziation zwischen dem Trigger und dem Ziel-Subgraph zu lernen.
4. Aktivierung: Während der Inferenz generiert das infizierte Modell bei Eingabe des Triggers fast immer das Ziel-Subgraph. Bei Eingaben ohne Trigger verhält es sich wie ein sauberes Modell.

Architektur-Bezug: Der Angriff zielt auf Modelle wie 3M-Diffusion ab, die einen dreistufigen Trainingsprozess nutzen:

• Repräsentationsausrichtung (Pre-Training)
• VAE-Training (Encoder/Decoder)
• Diffusions-Training

3. Wichtige Beiträge

1. Erster Angriff dieser Art: BadGraph ist der erste dokumentierte Backdoor-Angriff auf latente Diffusionsmodelle für textgesteuerte Graphen-Generierung.
2. Schwarze-Box-Fähigkeit: Der Angriff erfordert keine Kenntnis der Modellparameter oder des Trainingsprozesses; er basiert ausschließlich auf der Manipulation eines Teils der Trainingsdaten.
3. Hohe Stealth (Tarnung):
   • Die generierten Graphen bleiben chemisch valide und strukturell korrekt.
   • Die Leistung des infizierten Modells auf „sauberen" Eingaben (ohne Trigger) verschlechtert sich kaum (Unterschiede in Qualitätsmetriken meist < 5 %).
   • Der Angriff ist schwer zu erkennen, da die Trigger oft natürliche Sprache oder harmlose Symbole sein können.
4. Mechanismus-Analyse: Durch Ablationsstudien wurde gezeigt, dass der Backdoor primär während des VAE-Trainings und des Diffusions-Trainings implantiert wird, nicht jedoch während der reinen Repräsentationsausrichtung (Pre-Training).

4. Ergebnisse

Die Methode wurde auf vier Benchmark-Datensätzen evaluiert: PubChem, ChEBI-20, PCDes und MoMu.

• Effektivität (Attack Success Rate - ASR):
  • Mit einer Vergiftungsrate von < 10 % wurde eine ASR von ca. 50 % erreicht.
  • Bei einer Vergiftungsrate von 24 % wurde eine ASR von > 80 % auf den meisten Datensätzen erzielt.
  • Die ASR steigt monoton mit der Vergiftungsrate.
• Stealth (Tarnung):
  • Die Generierungsqualität (Ähnlichkeit, Neuheit, Diversität, Validität) auf sauberen Eingaben blieb nahezu identisch mit der des sauberen Modells.
  • Selbst bei hohen Vergiftungsraten lagen die Abweichungen in den Metriken meist unter 5 %.
• Einflussfaktoren:
  • Trigger-Position: Das Einfügen des Triggers am Anfang des Textes führte zu den besten Angriffsergebnissen.
  • Trigger-Größe: Längere Phrasen oder ganze Sätze als Trigger erzielten höhere ASR als einzelne Symbole, bleiben aber dennoch schwer zu erkennen, wenn sie naturgetreu formuliert sind.
  • Robustheit: Der Angriff funktionierte auch mit verschiedenen Ziel-Subgraphen (z. B. Thiophen statt Ethylen-Sulfid).
• Ablationsstudie: Ein Angriff nur während des Pre-Trainings führte zu 0 % ASR. Der Erfolg hängt entscheidend vom Training des VAE-Decoders und des Diffusionsmodells ab.

5. Bedeutung und Implikationen

• Sicherheitsrisiko für kritische Anwendungen: Da diese Modelle in sensiblen Bereichen wie der Wirkstoffentwicklung (Drug Discovery) eingesetzt werden, stellt BadGraph eine ernsthafte Bedrohung dar. Ein infiziertes Modell könnte bei bestimmten Suchanfragen (mit Trigger) toxische oder instabile Moleküle generieren, die fälschlicherweise als vielversprechende Kandidaten durchlaufen.
• Verbreitung von Risiken: Da generierte Daten oft in nachgelagerten Pipelines oder zur Datensatzerweiterung genutzt werden, kann ein Backdoor-Angriff die Integrität ganzer Forschungsdatenbanken korrumpieren.
• Verteidigung: Die Autoren schlagen eine Verteidigungsmethode vor, die auf der Detektion von (Trigger, Subgraph)-Paaren im Trainingsdatensatz und dem Blockieren der Wahrscheinlichkeit für das Ziel-Subgraph während des Decoding-Schritts basiert. Dies konnte die ASR auf 0 % senken, ohne die generelle Leistung stark zu beeinträchtigen.
• Fazit: Die Arbeit unterstreicht die Dringlichkeit, Sicherheitsmechanismen für generative Graphen-Modelle zu entwickeln, da diese Modelle anfällig für subtile, aber hochwirksame Backdoor-Angriffe sind.