Evaluating Concept Filtering Defenses against Child Sexual Abuse Material Generation by Text-to-Image Models

Dit onderzoek toont aan dat het filteren van kinderbeelden uit trainingsdatasets onvoldoende bescherming biedt tegen de generatie van schadelijke content (CSAM), omdat modellen via specifieke prompts of fine-tuning deze concepten alsnog kunnen reproduceren, terwijl de algemene bruikbaarheid van het model wordt aangetast.

De kern

De Metafoor: De "Onzichtbare Kleurplaat"

Stel je voor dat je een magische robot hebt die alles kan tekenen wat je maar vraagt. Je wilt voorkomen dat deze robot schadelijke tekeningen maakt (zoals afbeeldingen van kinderen in ongepaste situaties).

De huidige oplossing van techbedrijven is een soort "super-gum". Voordat de robot leert tekenen, gaan ze door de enorme stapel voorbeelden (de trainingsdata) en proberen ze alle tekeningen van kinderen weg te gummen. Het idee is: "Als de robot nooit een kind heeft gezien, kan hij er ook nooit een tekenen."

Dit onderzoek laat zien dat die super-gum eigenlijk een beetje een lekke gum is, en dat de robot slimmer is dan we denken.

---

Wat hebben de onderzoekers precies ontdekt? (De kernpunten)

De onderzoekers hebben drie grote problemen ontdekt met deze "gum-methode":

1. De gum is niet goed genoeg (De "Lekkende Gum")

De onderzoekers testten verschillende slimme softwareprogramma's die de kinderen in de stapel tekeningen moeten vinden. Maar zelfs de beste programma's missen een deel.

• In gewone taal: Het is alsof je een kamer probeert schoon te maken met een stofzuiger die steeds kleine korreltjes achterlaat. Er blijven miljoenen afbeeldingen van kinderen "onder de bank" liggen die de robot wél kan zien.

2. De robot is een creatieve detective (De "Omweg-strategie")

Zelfs als de gum wél goed werkt en bijna alle kinderen weg heeft gehaald, kan de robot ze alsnog "terugtoveren". De onderzoekers gebruikten een veilige test: ze probeerden een kind met een bril te laten tekenen.

• In gewone taal: De robot heeft misschien nooit een "kind" gezien, maar hij weet nog wel wat een "jong gezicht", "kleine handen" of "speelgoed" is. Door slimme trucjes met woorden (prompts) te gebruiken, kan de robot die losse puzzelstukjes weer aan elkaar leggen om alsnog een kind te tekenen. Het kost hem misschien iets meer moeite, maar het lukt hem bijna direct.

3. De robot wordt een beetje "dommer" (De "Bijwerking")

Dit is een heel belangrijk punt. Omdat de robot zo hard probeert om kinderen te vergeten, raakt hij in de war over alles wat met kinderen te maken heeft.

• In gewone taal: Als je de robot verbiedt om kinderen te tekenen, vergeet hij ook hoe hij een "peuterspeelplaats", een "moeder" of een "vrolijk park" moet tekenen. De robot wordt een soort eenzijdige kunstenaar: hij kan wel een landschap tekenen, maar zodra er een bankje staat waar kinderen zouden kunnen spelen, raakt hij in paniek en maakt hij een vreemd, onnatuurlijk plaatje.

---

De Conclusie: Is het veilig?

Nee, niet echt.

Het onderzoek concludeert dat het wegfilteren van concepten (zoals "kinderen") uit de training van AI-modellen een schijnveiligheid biedt.

• Voor grote bedrijven (zoals Google of OpenAI) is het een extra barrière, maar voor kwaadwillenden die de software zelf kunnen aanpassen (open-source modellen), is het als een slot op een deur van karton: je kunt het wel proberen, maar met een klein beetje moeite breek je er zo doorheen.

De les voor de toekomst: We kunnen niet alleen vertrouwen op het "weggummen" van slechte onderwerpen. We moeten slimmer nadenken over hoe we AI bouwen, zodat de veiligheid in de kern van de robot zit, in plaats van alleen in de stapel voorbeelden die hij krijgt.

Technische samenvatting

Technische Samenvatting: Evaluatie van Concept Filtering Defenses tegen CSAM-generatie door Text-to-Image Modellen

1. Probleemstelling

De opkomst van Text-to-Image (T2I) modellen (zoals Stable Diffusion) heeft geleid tot de vrees voor de creatie van AI-gegenereerd kindermisbruikmateriaal (AIG-CSAM). Een veelgebruikte verdedigingsmethode is concept filtering: het verwijderen van afbeeldingen van kinderen uit de trainingsdatasets om te voorkomen dat het model deze concepten kan combineren met ongewenste (seksuele) concepten.

Het onderzoek stelt de vraag of deze methode effectief is. De auteurs identificeren twee belangrijke aanvalsvectoren:

• Direct misbruik: Het gebruik van specifieke prompts op een bestaand model (black-box).
• Modeladaptatie: Het aanpassen van de modelgewichten via technieken zoals fine-tuning of personalization (white-box), wat vaak mogelijk is bij open-source modellen.

2. Methodologie

Vanwege ethische en juridische beperkingen gebruikten de onderzoekers een ethische proxy: het genereren van een "kind met een bril" (Child Wearing Glasses - CWG). Dit simuleert de compositorische aard van CSAM (het combineren van een kind met een specifiek kenmerk) zonder illegaal materiaal te gebruiken.

De methodologie bestond uit vier hoofdfasen:

1. Formalisering: Het definiëren van de beveiliging als een "security game" waarbij de effectiviteit wordt gemeten aan de hand van de moeilijkheidsgraad ($Q_\alpha$): het aantal queries dat een aanvaller nodig heeft om met een bepaalde waarschijnlijkheid succesvol te zijn.
2. Benchmarking van detectie: Het evalueren van meer dan 20 automatische detectiemethoden (gebaseerd op gezichten, lichamen, tekstuele bijschriften en VQA-modellen) om te bepalen hoe goed kinderen uit datasets zoals CC3M en LAION-Face verwijderd kunnen worden.
3. Training van modellen: Het trainen van T2I-modellen (Stable Diffusion 1.x architectuur) vanaf nul op zowel ongefilterde als gefilterde datasets.
4. Adversariële evaluatie: Het testen van verschillende aanvalstrategieën:
   • Heuristische prompting (handmatige prompts).
   • Adversarial prompting (geautomatiseerde optimalisatie van prompts via LLM's).
   • Fine-tuning (LoRA) en Personalization (DreamBooth) om de gefilterde concepten terug in het model te brengen.

3. Belangrijkste Bijdragen

• Systeematisering van detectie: De eerste grootschalige evaluatie van automatische kinddetectie in image-caption datasets.
• Beveiligingsmodel: Een cryptografisch geïnspireerd framework om de moeilijkheidsgraad van ongewenste generatie te kwantificeren.
• Kwetsbaarheidsanalyse: Het aantonen dat filtering de generatie van concepten niet stopt, maar slechts de representatie (zoals leeftijd) verandert.

4. Belangrijkste Resultaten

• Onvolledige detectie: Geen enkele automatische methode is perfect. De beste methoden laten nog steeds miljoenen kinderfoto's ongedetecteerd in miljarden-schaal datasets.
• Beperkte bescherming bij direct misbruik: Zelfs na filtering blijft het aantal benodigde queries om een kind (met bril) te genereren extreem laag (slechts 7 tot 12 queries).
• Geen bescherming tegen adaptatie: Bij open-weight modellen kunnen aanvallers via fine-tuning de bescherming vrijwel volledig tenietdoen. Zelfs bij "perfecte" filtering (waarbij het concept volledig uit de data is verwijderd) kan fine-tuning het concept herintroduceren.
• Verandering in representatie: Filtering zorgt voor een significante "age shift". Kinderen die door gefilterde modellen worden gegenereerd, lijken gemiddeld 6 tot 8 jaar ouder dan bij ongefilterde modellen. Dit suggereert dat het model de "kind-heid" probeert te vermijden door oudere kinderen te genereren.
• Onbedoelde neveneffecten: Filtering vermindert de algemeenheid van het model. Het wordt moeilijker om gerelateerde concepten te genereren, zoals "speeltuinen" of "moeders", wat de bruikbaarheid van het model voor legitieme doeleinden aantast.

5. Betekenis en Conclusie

De conclusie van het onderzoek is dat concept filtering alleen onvoldoende is als verdedigingsmechanisme tegen CSAM-generatie.

• Voor closed-weight modellen (via API) biedt het slechts een beperkte barrière.
• Voor open-weight modellen biedt het vrijwel geen bescherming tegen gemotiveerde aanvallers.

Het onderzoek benadrukt dat de industrie een "defense-in-depth" benadering nodig heeft en waarschuwt dat de huidige focus op dataset-filtering de fundamentele kwetsbaarheid van de modelarchitectuur ten opzichte van adaptatie niet oplost.