Evaluating Concept Filtering Defenses against Child Sexual Abuse Material Generation by Text-to-Image Models

Die Studie zeigt, dass das Filtern von Kinderbildern aus Trainingsdaten text-zu-bild-Modellen nur einen unzureichenden Schutz gegen die Erzeugung von CSAM bietet, da die geschützten Konzepte durch gezielte Prompts oder Fine-Tuning leicht wiederhergestellt werden können, während gleichzeitig die allgemeine Modellqualität beeinträchtigt wird.

Das Wesentliche

Der „Filter-Trick“: Warum digitale Schutzwälle gegen Missbrauch oft durchlässig sind

Stellen Sie sich vor, es gibt eine riesige, magische Malmaschine (das ist das KI-Bildmodell). Jeder kann ihr einen Zettel hinhalten, auf dem steht: „Male mir einen Hund im Weltraum“, und die Maschine malt es sofort.

Das Problem: Kriminelle versuchen, diese Maschine zu benutzen, um schreckliche, illegale Bilder von Kindern zu erstellen (das nennt man AIG-CSAM). Um das zu verhindern, haben die Entwickler eine Idee: Sie wollen die „Farbpalette“ der Maschine reinigen. Bevor die Maschine lernt zu malen, gehen sie durch den riesigen Vorrat an Bildern, mit denen sie trainiert wird, und werfen alle Bilder von Kindern raus. Die Idee dahinter: „Wenn die Maschine nie gelernt hat, wie ein Kind aussieht, kann sie auch keines malen.“

Die Forscher in diesem Papier haben nun untersucht, ob dieser „Filter-Trick“ wirklich funktioniert. Und ihr Ergebnis ist ein Weckruf.

1. Das Sieb ist zu grob (Die Detektions-Lücke)

Stellen Sie sich vor, Sie wollen alle roten Äpfel aus einem riesigen Berg Obst entfernen. Sie benutzen dafür einen Roboter. Aber der Roboter ist nicht perfekt: Er übersieht ständig ein paar rote Äpfel, oder er hält eine rote Tomate fälschlicherweise für einen Apfel.

Die Forscher haben festgestellt: Die automatischen Programme, die Kinderbilder in den riesigen Datenmengen finden sollen, sind nicht gut genug. Sie übersehen Millionen von Bildern. Das bedeutet: Die „schmutzigen“ Bilder rutschen einfach durch das Sieb und landen doch im Gehirn der KI.

2. Die KI ist ein cleverer Detektiv (Die Umgehungs-Strategie)

Selbst wenn der Filter fast perfekt wäre, gibt es ein Problem: Die KI ist extrem gut darin, Dinge zu kombinieren.

Stellen Sie sich vor, Sie verbieten einer Malmaschine das Wort „Kind“. Die Kriminellen sind aber schlau. Sie sagen der Maschine nicht: „Male ein Kind“, sondern sie nutzen Umwege. Sie beschreiben vielleicht „eine kleine Person mit einer sehr jugendlichen Stimme und kurzen Beinen“.

Die Forscher haben das mit einem Test-Konzept ausprobiert: Sie wollten Bilder von „Kindern mit Brille“ erzeugen. Selbst in den „gefilterten“ Modellen war es für die KI nur ein winziger Aufwand (nur ein paar zusätzliche Befehle), um doch wieder ein Kind mit Brille zu malen. Die Maschine hat also gelernt, das „Konzept Kind“ durch die Hintertür wieder reinzulassen.

3. Der „Nachhilfe-Effekt“ (Fine-Tuning)

Das ist der gefährlichste Teil. Wenn jemand die „offene“ Version der KI besitzt (also die Baupläne), kann er der Maschine eine kurze, intensive Nachhilfestunde geben.

Es ist so, als würden Sie einer Maschine verbieten, Äpfel zu malen. Aber dann nehmen Sie der Maschine 1.000 Fotos von Äpfeln und sagen: „Schau mal, so sehen sie wirklich aus!“ Innerhalb von Minuten hat die Maschine das Verbot vergessen. Die Forscher zeigen: Kriminelle können die Filter der KI mit sehr wenig Aufwand und sehr wenig Geld komplett aushebeln.

4. Der Kollateralschaden (Unbeabsichtigte Folgen)

Und hier wird es für die normale Nutzung schwierig: Wenn man versucht, ein Konzept (wie „Kind“) komplett aus der Welt zu schaffen, beschädigt man oft die gesamte „Wissenswelt“ der KI.

Wenn die Maschine nicht mehr weiß, was ein Kind ist, vergisst sie vielleicht auch, wie ein Spielplatz aussieht (weil auf Spielplätzen meist Kinder sind) oder wie eine Mutter aussieht. Die KI wird „dümmer“ und weniger vielseitig, weil die Filter zu grob sind und auch harmlose Dinge mit in den Müll werfen.

Das Fazente der Forscher:

Der Versuch, Missbrauch nur durch das „Löschen von Bildern“ aus dem Gedächtnis der KI zu verhindern, ist wie der Versuch, das Meer trocken zu legen, indem man versucht, jedes einzelne Wassertropfen mit einem Löffel aufzufangen.

Es ist nicht sicher genug gegen böswillige Nutzer, und es macht die KI für normale Menschen schlechter. Wir brauchen smartere, tiefgreifendere Lösungen, die nicht nur die „Wörter“ oder „Bilder“ löschen, sondern die gefährlichen Fähigkeiten der KI von Grund auf kontrollieren.

Technische Zusammenfassung

Technische Zusammenfassung: Evaluierung von Concept-Filtering-Abwehrmechanismen gegen die Generierung von Kindesmissbrauchsmaterial (CSAM) durch Text-to-Image-Modelle

1. Problemstellung

Text-to-Image (T2I) Modelle (wie Stable Diffusion) ermöglichen die Erstellung von KI-generiertem Kindesmissbrauchsmaterial (AIG-CSAM). Ein aktuell propagierter „Goldstandard“ zur Prävention ist das Concept Filtering: Dabei werden Bilder von Kindern aus den Trainingsdatensätzen entfernt, um zu verhindern, dass das Modell die Fähigkeit erlernt, solche Inhalte zu generieren.

Das Problem ist zweigeteilt:

1. Unzureichende Detektion: Es ist technisch schwierig, alle Bilder von Kindern in Milliarden-Skala-Datensätzen (wie LAION) zuverlässig zu identifizieren.
2. Modell-Adaption: Selbst wenn das Training „sauber“ ist, können Angreifer das Modell durch Techniken wie Fine-Tuning oder Personalization (z. B. DreamBooth) gezielt darauf trimmen, die gefilterten Konzepte wieder zu generieren.

2. Methodik

Die Autoren verfolgen einen strengen wissenschaftlichen Ansatz, um die Sicherheit zu quantifizieren:

• Sicherheitsdefinition (Security Game): Sie formalisieren die Sicherheit als ein probabilistisches Spiel zwischen einem Angreifer und einem Entwickler. Die Sicherheit wird über die Generierungsschwierigkeit ($Q_\alpha$) gemessen – also der Anzahl der Abfragen (Queries), die ein Angreifer benötigt, um mit einer Wahrscheinlichkeit von $\alpha$ (hier 95 %) ein gewünschtes Zielbild zu erzeugen.
• Ethik-Proxy: Da die Arbeit mit echtem CSAM illegal und unethisch ist, verwenden die Forscher das Konzept „Kind mit Brille“ (Child Wearing Glasses, CWG) als Proxy. Dies simuliert die kompositorische Natur von CSAM (Kombination von „Kind“ und einem spezifischen Attribut), ohne ethische Grenzen zu verletzen.
• Evaluierung der Detektion: Sie testen über 20 automatisierte Methoden (Face-based, VQA-Modelle, LLM-basierte Bildunterschriften-Analyse), um die Effektivität des Filterns zu prüfen.
• Adversariale Strategien:
  • Direct Misuse: Nutzung des Modells via Prompting (Black-Box).
  • Model Adaptation: Fine-Tuning (LoRA) und Personalisierung (DreamBooth) auf kleinen Datensätzen von Kindern (White-Box).
• Datensätze: Training von Modellen von Grund auf (from scratch) auf gefilterten Versionen von CC3M und LAION-Face.

3. Hauptergebnisse (Key Contributions)

• Unvollständige Filterung: Die besten automatisierten Detektionsmethoden erreichen eine Trefferquote (TPR) von maximal ca. 94 %. In Milliarden-Datensätzen bedeutet dies, dass Millionen von Bildern von Kindern unentdeckt bleiben und im Modell verbleiben.
• Geringe Hürde für Direct Misuse: Selbst bei gefilterten Modellen bleibt die Schwierigkeit, ein CWG zu generieren, extrem gering. Ein Angreifer benötigt im Durchschnitt nur etwa 7 bis 12 Prompts, um erfolgreich ein Bild eines Kindes mit Brille zu erzeugen.
• Versagen gegen Modell-Adaption:
  • Fine-Tuning: Durch das nachträgliche Training mit nur 1.000 Bildern von Kindern kann ein Angreifer die Schutzwirkung des Filterns fast vollständig neutralisieren.
  • Personalisierung: Techniken wie DreamBooth sind durch Concept Filtering völlig ungeschützt.
  • Perfektes Filtern: Selbst wenn ein Modell „perfekt“ gefiltert wäre (wie im Experiment mit dem Pokémon Sprigatito gezeigt), kann ein Angreifer durch Fine-Tuning des Text-Encoders das Konzept wieder einführen.
• Unbeabsichtigte Nebenwirkungen (Side Effects): Das Filtern von Kindern beeinträchtigt die Allgemeingültigkeit des Modells. Es wird schwieriger, verwandte Konzepte wie „Spielplatz“ oder „Mutter“ zu generieren, oder die generierten Personen (z. B. Mütter) werden systematisch älter dargestellt.

4. Signifikanz und Schlussfolgerung

Die Arbeit liefert einen entscheidenden Beweis dafür, dass Concept Filtering allein kein robuster Schutz gegen gezielte Missbrauchsszenarien ist.

Zentrale Erkenntnisse für die Forschung:

1. Closed-Weight vs. Open-Weight: Filtering bietet einen minimalen Schutz für geschlossene Modelle (via API), bietet aber keinerlei Schutz für Open-Weight-Modelle, da Angreifer die Gewichte für Fine-Tuning kontrollieren.
2. Notwendigkeit von Defense-in-Depth: Da Filtering allein versagt, müssen zusätzliche Sicherheitsmechanismen (z. B. Input-Filterung, Output-Monitoring) kombiniert werden.
3. Forschungsbedarf: Es bedarf besserer Detektionsalgorithmen und einer tieferen Untersuchung, wie man die „Generierungsschwierigkeit“ für hochmotivierte Angreifer tatsächlich signifikant erhöhen kann, ohne die Nützlichkeit des Modells für die Allgemeinheit zu zerstören.