🤖 machine learning

No Safe Dose: How Training Data Drives Unsafe Image Generation

Dit artikel toont aan dat het aandeel onveilige afbeeldingen in de trainingsdata, en niet hun absolute aantal, onveilige output in tekst-naar-afbeeldingsmodellen direct en monotoon beïnvloedt, terwijl het ook aantoont dat veiligheidsfiltering de modelveiligheid verbetert zonder de beeldkwaliteit te verslechteren en dat de tekstencoder eveneens aanzienlijk bijdraagt aan het resterende risico.

Oorspronkelijke auteurs: Felix Friedrich, Lukas Helff, Niharika Hegde, Patrick Schramowski, Kristian Kersting

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Felix Friedrich, Lukas Helff, Niharika Hegde, Patrick Schramowski, Kristian Kersting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde kunstenaar leert schilderijen te maken op basis van geschreven beschrijvingen. Deze kunstenaar leert door naar miljoenen foto's te kijken en de bijschriften die erbij horen te lezen.

Dit paper, "Geen Veilige Dosis", stelt een eenvoudige maar cruciale vraag: Als je deze kunstenaar per ongeluk een paar slechte of gevaarlijke foto's voert tijdens het leerproces, gaan ze dan later gevaarlijke schilderijen maken?

Hier is wat de onderzoekers hebben gevonden, uitgelegd via eenvoudige analogieën:

1. Het "Slechte Appels" Effect

De onderzoekers stelden een gecontroleerd experiment op. Ze trainden dezelfde AI-kunstenaar met verschillende "manden" vol foto's.

Mand A: 0% slechte foto's (volledig schoon).
Mand B: 1,2% slechte foto's (de natuurlijke hoeveelheid die op internet te vinden is).
Mand C: 5% slechte foto's.
Mand D: 10% slechte foto's.

Het Resultaat: Naarmate ze meer slechte foto's toevoegden aan de trainingsmand, begon de AI meer slechte afbeeldingen te genereren. Het was geen willekeurige sprong; het was een gestage, voorspelbare stijging. Hoe meer "slechte appels" in de trainingsdata, hoe meer "slechte appels" de AI produceerde.

2. Het gaat om de Verhouding, niet om het Aantal

Je zou kunnen denken: "Als ik een enorme mand heb met 100.000 slechte foto's, is dat erger dan een kleine mand met 1.000 slechte foto's." Het paper zegt nee.

Wat telt, is het percentage (de verhouding) van slechte foto's, niet het totale aantal.

Analogie: Stel je voor dat je soep kruidt. Als je een snufje zout toevoegt aan een klein kopje soep, is het erg zout. Als je een snufje zout toevoegt aan een gigantische pot soep, is het nauwelijks merkbaar. Maar als je een lepel zout toevoegt aan de gigantische pot, wordt deze erg zout.
De Bevinding: De AI geeft om de concentratie van slechte ideeën in zijn trainingsdata. Of de dataset nu uit 1 miljoen afbeeldingen bestaat of uit 8 miljoen, als het percentage slechte afbeeldingen hetzelfde is, gedraagt de AI zich op dezelfde manier. Dit betekent dat veiligheidsfilters op dezelfde manier werken, ongeacht hoe groot je dataset is.

3. De "Geest in de Machine" (De Onherleidbare Vloer)

Hier komt het verrassende deel: Zelfs toen de onderzoekers 100% van de slechte foto's uit de trainingsdata verwijderden, genereerde de AI nog steeds ongeveer 16,6% slechte afbeeldingen.

Waarom?
De AI heeft twee onderdelen:

De Schilder: Het deel dat leert van de foto's (die ze hebben schoongemaakt).
De Vertaler: Een vooraf getrainde "tekstencoder" die de prompt van de gebruiker leest en de schilder vertelt wat hij moet doen. Deze vertaler was getraind op zijn eigen enorme, rommelige internetdata voordat de onderzoekers zelfs maar begonnen.

De Analogie: Stel je voor dat je een schilder een schoon setje referentiefoto's geeft, maar de persoon die de instructies geeft (de vertaler) blijft gevaarlijke ideeën fluisteren in het oor van de schilder, omdat zij die ideeën hebben geleerd van een andere, rommelige bron. Zelfs met een schoon fotoboek maakt de schilder nog steeds fouten, omdat de instructies verontreinigd zijn.

De onderzoekers ontdekten dat het vervangen van deze "Vertaler" door een veiligere versie (genaamd SafeCLIP) het percentage slechte afbeeldingen verlaagde van 16,6% naar 9,6%. Dit bewijst dat je zowel de foto's als de instructies moet schoonmaken om de beste resultaten te krijgen.

4. Het "Adversariële" Geheim

Het paper ontdekte dat dit gevaar grotendeels verborgen is.

Normale Gebruikers: Als je de AI vraagt om "een kat te tekenen" of "een zonsondergang te schilderen" (veilige prompts), produceert het ongeveer 99% van de tijd veilige afbeeldingen, ongeacht hoeveel slechte data het heeft gezien. De slechte trainingsdata is onzichtbaar voor normaal, vriendelijk gebruik.
Slechte Actoren: Het gevaar komt alleen naar voren wanneer iemand probeert de AI te bedriegen met "adversariële" prompts (proberen het te dwingen slechte content te maken). De slechte trainingsdata maakt de AI veel makkelijker te bedriegen.

Analogie: Denk aan de AI als een kasteel. Als je beleefd door de voordeur loopt, laten de bewakers (veiligheidsfilters) je binnen en zie je een prachtige tuin. Maar als je een "slecht trainingsdieet" hebt, heeft het kasteel verborgen scheuren in de muren die alleen een gespecialiseerde inbreker (een adversariële prompt) kan vinden en uitbuiten.

5. Geen "Kwaliteitsbelasting"

Een veelvoorkomende zorg is: "Als we al het slechte eruit filteren, wordt de AI dan slechter in het tekenen?"
Het Antwoord: Nee. De onderzoekers controleerden de kwaliteit van de afbeeldingen (met behulp van metrics zoals scherpte en hoe goed de afbeelding overeenkomt met de tekst) en vonden geen enkel verschil. Het schoonmaken van de data maakte de AI niet dommer of de foto's lelijker. Het was een "gratis" veiligheidsupgrade.

Samenvatting

Slechte trainingsdata veroorzaakt slechte AI-uitvoer. Hoe meer slechte data, hoe slechter de uitvoer.
Het percentage telt. Het schoonmaken van 10% van een kleine dataset is net zo effectief als het schoonmaken van 10% van een gigantische dataset.
Je kunt het niet alleen oplossen door foto's te reinigen. Het "Vertaler"-gedeelte van de AI moet ook veilig zijn, anders zal er altijd een basisniveau van risico blijven bestaan.
Het is onzichtbaar voor normale mensen. Het risico komt vooral naar voren wanneer iemand probeert het systeem te bedriegen.
Veiligheid doet geen afbreuk aan kwaliteit. Je kunt de AI veiliger maken zonder de foto's te verslechteren.

Het paper concludeert dat je voor het veilig maken van AI een gelaagde verdediging nodig hebt: maak de trainingsfoto's schoon, gebruik een veilige "Vertaler" en zorg voor sterke verdedigingen tegen mensen die proberen het systeem te bedriegen.

Technische Samenvatting: Geen Veilige Dosis: Hoe Trainingsdata Onveilige Afbeeldingsgeneratie Aandrijft

Probleemstelling

Tekst-naar-afbeelding (T2I) generatieve modellen worden getraind op enorme, vaak ongecurateerde datasets die onvermijdelijk onveilige inhoud bevatten (bijv. geweld, seksueel materiaal, haatbeelden). Hoewel reactieve ingrepen zoals promptfiltering en RLHF gebruikelijk zijn, blijft een fundamentele vraag stroomopwaarts onopgelost: In welke mate bepaalt de samenstelling van de trainingsdata direct de veiligheid van de modeloutput?

De huidige literatuur mist een gecontroleerde analyse die de samenstelling van de trainingsdata isoleert van andere verstorende variabelen (zoals propriëtaire datasets, variërende architecturen en hyperparameters). Bovendien is het onduidelijk of het aandeel onveilige afbeeldingen of het absolute aantal de werkzame variabele is die onveilige generatie aandrijft. Daarnaast blijft de mate waarin veiligheidsfiltering de beeldkwaliteit verslechtert een onderwerp van debat.

Methodologie

De auteurs hebben een rigoureuze gecontroleerde experiment uitgevoerd om de dataset-samenstelling als belangrijkste variabele te isoleren.

Experimenteel Ontwerp

Modelarchitectuur: Een vaste tekst-naar-afbeelding flow-matching model (PRX-1.2B) werd gebruikt in alle condities.
Trainingsdata: Corpora werden samengesteld uit drie openbare bronnen (FLUX-generated, FLUX-Reason, Midjourney-v6).
Interventiefamilie: De trainingsverdeling werd gemanipuleerd om zeven verschillende condities te creëren die varieerden in:
1. Contaminatieaandeel ( $p$ ): Variërend van 0% tot ~9,6% onveilige afbeeldingen.
2. Datasetschaal ( $N$ ): Variërend van 100K tot 8,6 miljoen afbeeldingen.
3. Absoluut Aantal ( $U$ ): Condities werden ontworpen om $U$ constant te houden terwijl $p$ varieerde, en vice versa.
Ablatie Tekstencoder: Om de bijdrage van het conditioneringmodel te isoleren, hebben de auteurs modellen opnieuw getraind met drie verschillende tekstencoders: T5-Gemma-2B (standaard), CLIP ViT-L/14 en SafeCLIP ViT-L/14.
Evaluatieprotocol:
- Generatie: 30.000 afbeeldingen gegenereerd per model vanuit een gestratificeerde prompttestbank (1.000 veilige prompts, 9.000 adversariale prompts over 9 veiligheidscategorieën).
- Veiligheidsclassificatie: Outputs werden geëvalueerd door vier onafhankelijke veiligheidsclassificators (LlavaGuard, LlamaGuard, ShieldGemma, Stable Diffusion Safety Checker).
- Kwaliteitsmetrieken: FID, CLIPscore en ImageReward werden berekend om kwaliteitsafwegingen te beoordelen.

Belangrijkste Bijdragen

Oorzaak-Werking Relatie Gevestigd: Het paper biedt een gecontroleerde analyse die een directe, monotoon causale relatie aantoont tussen het aandeel onveilige trainingsdata en het tempo van onveilige afbeeldingsgeneratie.
Aandeel versus Aantal: Via factorieel ontwerp bewijzen de auteurs dat het aandeel onveilige afbeeldingen de werkzame variabele is, niet het absolute aantal. Veiligheidsfiltering blijkt schaal-invariant te zijn boven een minimale datasetgrootte (~1 miljoen afbeeldingen).
Adversariale Specificiteit: Het effect van onveilige generatie is uitsluitend adversariaal. Onder veilige prompts produceren alle modellen ongeveer 1% onveilige outputs, ongeacht de contaminatieniveaus. Data-curatie richt zich specifiek op het adversariale aanvalsoppervlak.
Onverminderbare Veiligheidsbodem: Zelfs met 0% onveilige trainingsafbeeldingen blijft een basisniveau van onveilige outputs bestaan (16,6% met T5-Gemma). Deze "bodem" wordt toegeschreven aan de bevroren tekstencoder die vooraf is getraind op web-schaal data. Het vervangen van de encoder door SafeCLIP verlaagt deze bodem naar 9,6%.
Geen Kwaliteitskosten: Veiligheidsfiltering resulteert in geen meetbare verslechtering van de beeldkwaliteit (FID, CLIPscore, ImageReward) in vergelijking met ongefilterde baselines.

Belangrijkste Resultaten

Dosis-Respons Relatie

Monotone Toename: Output-onveiligheid neemt monotoon toe met trainingscontaminatie.
- 0% contaminatie (C1): 16,6% onveilige outputs.
- 1,2% contaminatie (C0, natuurlijk): 20,6% onveilige outputs.
- 5% contaminatie (C2): 25,5% onveilige outputs.
- 9,6% contaminatie (C3): 26,4% onveilige outputs.
Versterking: Het model versterkt het inputsignaal aanzienlijk; 1,2% trainingscontaminatie resulteert in een 17-voudige toename van onveilige outputs (20,6%).
Sublineariteit: De relatie is sublineair (verzadigend), wat suggereert dat de marginale meeropbrengst afneemt naarmate contaminatie toeneemt.

Aandeel versus Absoluut Aantal

Schaal-invariantie: Modellen getraind op 1 miljoen afbeeldingen met 1,2% contaminatie (C4) en 8 miljoen afbeeldingen met 1,2% contaminatie (C0) toonden geen statistisch significant verschil in veiligheidsprestaties.
Aantalcontrole: Wanneer het absolute aantal onveilige afbeeldingen constant werd gehouden (96K) maar het aandeel varieerde (1,2% in C0 versus 9,6% in C6), produceerde het model met het hogere aandeel (C6) significant meer onveilige outputs (26,2% versus 20,6%).

Impact Tekstencoder

Onverminderbare Bodem: Met gefilterde data (0% contaminatie) waren de onveiligheidspercentages:
- T5-Gemma: 16,6%
- CLIP: 14,7%
- SafeCLIP: 9,6%
Persistentie van Effect: Het dosis-respons effect bleef bestaan over alle drie de encoders, wat bevestigt dat onveilige concepten worden geleerd uit de visuele trainingsverdeling onafhankelijk van de tekstencoder, hoewel de encoder het basisrisico bepaalt.

Categoriegevoeligheid

Visueel versus Contextueel: Categorieën die specifieke visuele kennis vereisen (O3: Seksuele Inhoud, O4: Naaktheid) toonden de sterkste gevoeligheid voor trainingscontaminatie.
Contextuele Categorieën: Categorieën die vertrouwen op contextuele interpretatie (O1: Haat, O7: Zelfverminking) toonden niet-monotone trends en waren minder gevoelig voor visuele data-contaminatie, wat wijst op dominantie door de tekstencoder.

Kwaliteit en Robuustheid

Kwaliteitsmetrieken: Er werd geen systematische verslechtering waargenomen in FID, CLIPscore of ImageReward in welke conditie dan ook.
Consistentie Classificators: Het dosis-respons profiel was consistent over alle vier onafhankelijke veiligheidsclassificators, ondanks verschillen in hun absolute strengheid van beoordeling.

Betekenis en Claims

Het paper stelt vast dat data-curatie en veiligheid van de tekstencoder complementaire en onafhankelijk effectieve ingrepen zijn.

Voor Praktici: De auteurs stellen een gelaagde strategie voor:
1. Filter een vast percentage onveilige trainingsinhoud (effectief ongeacht de corpusgrootte, zonder kwaliteitskosten).
2. Vervang standaard tekstencoders door veiligheids-gealigneerde varianten (bijv. SafeCLIP) om de onverminderbare veiligheidsbodem te verlagen.
3. Investeer in defensie tegen adversariale prompts om het residuële risico aan te pakken dat niet wordt gedekt door data- of encoder-ingrepen.
Theoretische Implicaties: De bevindingen daagden het "groter is beter" schaalparadigma op het gebied van veiligheid uit, wat suggereert dat zonder het aanpakken van datasamenstelling en encoder-veiligheid, een toegenomen modelcapaciteit kan leiden tot hogere rates van onveilige generatie (zoals waargenomen in Figuur 1 over modelgeneraties heen).
Beperkingen & Scope: De auteurs stellen expliciet dat hun definitie van "onveilig" operationeel is, gebaseerd op geautomatiseerde classificators en een taxonomie van negen categorieën. Het vormt geen juridische beoordeling van illegale inhoud (bijv. CSAM, NCII). De studie richt zich op pre-training dynamiek; hoewel zij observeerden dat Supervised Fine-Tuning (SFT) op veilige data paradoxaal genoeg de onveilige rates kan verhogen (waarschijnlijk door capabiliteitswinst), blijft de primaire focus liggen op het causale verband tussen de samenstelling van pre-training data en output-veiligheid.