🤖 AI

Steering Away from Memorization: Reachability-Constrained Reinforcement Learning for Text-to-Image Diffusion

Deze paper introduceert RADS, een framework dat het memoriseren van trainingsdata in tekst-naar-beeld diffusiemodellen voorkomt door het denoising-proces te modelleren als een dynamisch systeem en een reachability-gedreven versterkende leerstrategie toe te passen om de generatie te sturen zonder de beeldkwaliteit of prompt-afstemming te verstoren.

Oorspronkelijke auteurs: Sathwik Karnik, Juyeop Kim, Sanmi Koyejo, Jong-Seok Lee, Somil Bansal

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sathwik Karnik, Juyeop Kim, Sanmi Koyejo, Jong-Seok Lee, Somil Bansal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde kunstenaar hebt die elke foto die hij ooit heeft gezien, perfect uit zijn hoofd kan tekenen. Als je hem vraagt: "Teken een kasteel," tekent hij niet zomaar een kasteel, maar precies het kasteel dat hij gisteren in een magazine zag. Hij heeft het niet "geleerd" om te tekenen, hij heeft het uit zijn hoofd geleerd (ge-memoriseerd).

Dit is precies wat er gebeurt met moderne AI-afbeeldingsprogramma's (zoals Stable Diffusion). Ze zijn zo goed dat ze soms per ongeluk exacte kopieën maken van foto's waar ze op zijn getraind, inclusief auteursrechtelijk beschermde beelden of privéfoto's.

De onderzoekers van dit paper hebben een slimme oplossing bedacht, genaamd RADS. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vallen" in de Droom

Wanneer de AI een afbeelding maakt, begint het met een wazig ruisbeeld (zoals statisch op een oude tv) en maakt het dit steeds scherper, stap voor stap.

Het probleem: Op een bepaald moment in dit proces "valt" de AI in een valkuil. Zodra het beeld in deze valkuil terechtkomt, is het te laat. De AI zal onvermijdelijk eindigen bij de exacte kopie van de originele foto, ongeacht wat je verder doet.
De oude oplossingen: Andere methoden proberen de AI te "remmen" of te "vermommen". Maar dit is alsof je de kunstenaar een bril met een blinddoek opzet. Het voorkomt misschien dat hij de kopie tekent, maar het resultaat is dan vaak een lelijke, onherkenbare vlek of een tekening die totaal niet meer lijkt op wat je vroeg.

2. De Oplossing: RADS (De Slimme Navigatie)

RADS is als een slimme GPS voor de AI die de reis voordat het te laat is, opnieuw plant.

Stap 1: Het Voorspellen van de Val (Reachability)
Stel je voor dat je in een auto rijdt en er is een afgrond voor je. RADS kijkt niet alleen naar waar je nu bent, maar berekent: "Als ik deze weg vervolg, kom ik onherroepelijk in de afgrond terecht."
In de taal van de paper noemen ze dit een "Backward Reachable Tube". Het is een onzichtbare zone in de denkwereld van de AI waar, als je binnenkomt, de kans 100% is dat je een gekopieerde foto maakt. RADS weet precies waar deze zones liggen.

Stap 2: Het Sturen (Reinforcement Learning)
Nu de AI weet waar de valkuilen zijn, moet hij eromheen sturen.

De AI krijgt een stuurwiel (een kleine aanpassing aan de tekst die je invoert).
RADS gebruikt een lerende piloot (een Reinforcement Learning-agent). Deze piloot probeert de auto (de afbeelding) langs de valkuil te sturen, maar wel zo dat je nog steeds op je bestemming aankomt (de afbeelding ziet er nog steeds mooi uit en past bij je tekst).
Het is alsof je een kunstenaar zegt: "Teken een kasteel, maar zorg dat het niet precies hetzelfde is als dat ene kasteel in het magazine. Draai het een beetje, verander de kleur, maar houd de sfeer."

3. Waarom is dit beter?

De onderzoekers hebben getoond dat RADS een drie-in-één oplossing is, terwijl andere methoden vaak maar één ding goed doen:

Geen Kopieën meer: De AI maakt geen exacte kopieën meer (hoge diversiteit).
Mooie Beelden: De afbeeldingen zijn nog steeds van hoge kwaliteit en zien er natuurlijk uit (geen lelijke vlekken).
Precies wat je vroeg: De afbeelding past nog steeds perfect bij wat je hebt ingetypt (bijv. "een kasteel met een rode lucht" blijft een kasteel met een rode lucht).

De Metafoor van de "Vliegroute"

Stel je voor dat je een vliegtuig (de AI) moet vliegen van punt A naar punt B.

De oude manier: Je zegt: "Vlieg niet boven het gebied waar de vijand zit." De piloot vliegt dan vaak ergens anders heen, maar landt misschien in een modderpoel (slechte kwaliteit) of landt op het verkeerde vliegveld (verkeerde afbeelding).
De RADS-methode: RADS tekent een veilige route op de kaart. Het zegt: "Vlieg hier langs, want daarboven is de valkuil. Maar als je hier vliegt, kom je precies op je bestemming aan, en het uitzicht is prachtig."

Conclusie

RADS is een "plug-and-play" oplossing. Je hoeft de AI niet opnieuw te leren (wat maanden duurt en veel rekenkracht kost). Je voegt gewoon deze slimme "stuurman" toe tijdens het moment dat de afbeelding wordt gemaakt. Hierdoor kunnen we veilig en creatief afbeeldingen maken zonder bang te hoeven zijn dat we per ongeluk auteursrechtelijk beschermde foto's kopiëren.

Kortom: RADS leert de AI om slim te ontwijken in plaats van dom te blokkeren.

Probleemstelling: Memorizatie in Diffusiemodellen

Text-to-image diffusiemodellen (zoals Stable Diffusion) lijden onder het fenomeen van memorizatie. Dit betekent dat het model in plaats van te generaliseren, specifieke trainingdata (bijvoorbeeld auteursrechtelijk beschermde afbeeldingen of privéfoto's) letterlijk reproduceert wanneer een bepaalde tekstprompt wordt ingevoerd.

Bestaande mitigatiestrategieën proberen dit probleem op te lossen, maar doen dit vaak ten koste van de kwaliteit van de gegenereerde afbeeldingen of de alignatie met de gebruikersprompt (de semantische overeenkomst). Veel methoden zijn heuristisch, discrete ingrepen die de generatieprocessen verstoren, of vereisen het volledig hertrainen van het model ("unlearning"), wat leidt tot catastrofale vergetelheid van andere vaardigheden. Er is een behoefte aan een methode die memorizatie voorkomt zonder de beeldkwaliteit of prompt-volgschap te offeren.

Methodologie: Reachability-Aware Diffusion Steering (RADS)

De auteurs stellen RADS (Reachability-Aware Diffusion Steering) voor, een framework dat werkt tijdens de inferentie (tijdens het genereren) zonder de achterliggende diffusiemodel-weights te wijzigen. De kern van de aanpak bestaat uit drie stappen:

Diffusie als een Gecontroleerd Dynamisch Systeem:
Het paper modelleert het denoising-proces van diffusie als een dynamisch systeem. De toestand van het systeem is de latente ruis ( $x_\tau$ ) en de besturing (control input) is een verstoring van de tekst-embedding ( $e_c$ ). In plaats van direct in de hoge-dimensionale beeldruimte te sturen, wordt gestuurd in de compacte latent space van de tekst-embeddings (via een VAE), omdat memorizatie vaak al in de vroege stappen van het denoising-proces wordt vastgelegd.
Reachability-analyse (Bereikbaarheidsanalyse):
De auteurs gebruiken concepten uit de besturingstheorie om het "gevaar" van memorizatie te definiëren.
- Falen-set ( $F$ ): De verzameling van toestanden die leiden tot een afbeelding die sterk lijkt op de trainingdata.
- Backward Reachable Tube (BRT): De verzameling van alle tussenliggende toestanden waaruit het systeem, ongeacht welke besturing er wordt toegepast, onvermijdelijk in de falen-set terechtkomt.
- RADS berekent deze BRT om te identificeren welke gebieden in de latente ruimte "onontkoombaar" zijn voor memorizatie.
Beperkt Reinforcement Learning (CMDP):
Het probleem wordt geformuleerd als een Constraint Markov Decision Process (CMDP).
- Doel: Maximaliseren van de semantische alignatie met de prompt (beloning) en behoud van beeldkwaliteit.
- Beperking (Constraint): Het beleid (policy) mag de toestand niet binnen de BRT laten komen. Dit wordt opgelegd via een veiligheids-critic ( $Q_{safe}$ ) die de "veiligheidsmarge" schat.
- Oplossing: Er wordt gebruik gemaakt van een Soft Actor-Critic (SAC) algoritme met Lagrange-relaxatie. Een policy ( $\pi_\phi$ ) leert om minimale verstoringen in de tekst-embedding toe te passen om het traject weg te sturen van de BRT, terwijl het de prompt-volgschap behoudt.

Belangrijkste Bijdragen

Theoretische Formulering: De eerste toepassing van reachability-analyse op diffusiemodellen, waarbij het denoising-proces wordt gemodelleerd als een gecontroleerd dynamisch systeem om "memorizatie-bekkens" te identificeren.
Inference-Time Steering: Een plug-and-play oplossing die geen hertraining van het basisdiffusiemodel vereist. Het leert een beleid om de generatie te sturen tijdens het genereren.
Superieure Pareto-grens: RADS bereikt een betere balans tussen diversiteit (weinig memorizatie), kwaliteit (FID) en prompt-alignatie (CLIP-score) dan bestaande state-of-the-art methoden.

Resultaten

De auteurs evalueren RADS op modellen zoals Stable Diffusion v1.4 en RealisticVision, gebruikmakend van datasets met bekende memorizatie-prompten (Webster, 2023; MemBench).

Diversiteit: RADS produceert aanzienlijk diverse afbeeldingen voor dezelfde prompt over verschillende random seeds, wat aantoont dat het model niet meer vastloopt in één specifiek getraind voorbeeld. Bestaande methoden vertonen vaak "mode collapse" (dezelfde afbeelding voor verschillende seeds).
Kwaliteit (FID): RADS behoudt een hoge beeldkwaliteit die statistisch niet onderscheidbaar is van de beste baselines, in tegenstelling tot methoden zoals Jain et al. (2025) die leiden tot zeer slechte beeldkwaliteit.
Alignatie (CLIP): RADS behoudt een hoge CLIP-score. De lichte daling ten opzichte van de ongemodificeerde baseline wordt toegeschreven aan het verwijderen van de "memorizatie-bias" (waarbij het model een hoge score haalt door exacte kopieën te maken), in plaats van een verlies van semantisch begrip.
Robuustheid: RADS presteert consistent goed, zelfs bij uitdagende prompts die specifiek zijn ontworpen om memorizatie te triggeren, en is ongevoelig voor de initiële ruis ( $x_T$ ).
Generalisatie: Zelfs getraind op een beperkte set van 430 prompten, generaliseert RADS goed naar onbekende prompts (zero-shot) in de MemBench-dataset.

Betekenis en Toekomstperspectief

RADS biedt een fundamentele doorbraak in het veilig maken van generatieve AI. Door het probleem van memorizatie te benaderen via reachability-analyse en gecontroleerde dynamica, biedt het een principieel alternatief voor heuristische of destructieve methoden.

Veiligheid: Het biedt een manier om copyright- en privacy-risico's te mitigeren zonder de creatieve capaciteiten van het model te beschadigen.
Flexibiliteit: Het framework is uitbreidbaar naar andere veiligheidsbeperkingen, zoals het voorkomen van NSFW-content of andere vormen van ongepaste generatie.
Beperkingen: De huidige methode vereist een trainingfase voor het stuurbeleid (hoewel dit lichter is dan het hertrainen van het hele model) en kan gevoelig zijn voor semantische drift als de trainingdata te beperkt is.

Kortom, RADS bewijst dat het mogelijk is om diffusiemodellen "veilig" te sturen door ze te behandelen als dynamische systemen, waarbij men actief de trajecten afbuigt die leiden tot memorizatie, terwijl de kwaliteit en intentie van de generatie intact blijven.