💻 computer science

Erased, But Not Forgotten: Erased Rectified Flow Transformers Still Remain Unsafe Under Concept Attack

Deze studie introduceert ReFlux, een nieuwe aanvalsmethode die aantoont dat concept-uitwissing in geavanceerde rectified flow transformers zoals Flux kwetsbaar blijft voor manipulatie via een strategie die specifiek inwerkt op de mechanismen van attentielocalisatie.

Oorspronkelijke auteurs: Nanxiang Jiang, Zhaoxin Fan, Enhan Kang, Daiheng Gao, Yun Zhou, Yanxia Chang, Zheng Zhu, Yeying Jin, Wenjun Wu

Gepubliceerd 2026-04-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nanxiang Jiang, Zhaoxin Fan, Enhan Kang, Daiheng Gao, Yun Zhou, Yanxia Chang, Zheng Zhu, Yeying Jin, Wenjun Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎨 De Kern: "Gewist, maar niet vergeten"

Stel je voor dat je een zeer slimme kunstenaar hebt (een AI) die prachtige plaatjes kan maken op basis van tekst. Maar deze kunstenaar heeft een probleem: hij kan ook dingen tekenen die niet veilig zijn om te zien (zoals naaktheid of geweld), omdat hij geleerd heeft van het hele internet.

Om dit op te lossen, hebben onderzoekers een "veiligheidsfilter" ontwikkeld. Ze hebben de kunstenaar gevraagd om bepaalde onderwerpen te vergeten. Het is alsof ze een specifieke kleur uit zijn palet hebben verwijderd of een pagina uit zijn leerboek hebben gescheurd. Ze noemen dit "concept-erasure" (het wissen van concepten).

Het probleem:
De onderzoekers ontdekten dat deze nieuwe, superkrachtige kunstenaars (zoals de Flux-modellen) niet echt vergeten wat ze geleerd hebben. Ze hebben het alleen even "opgeborgen" of onderdrukt. Als je ze op de juiste manier prikkelt, komen die vergeten ideeën weer boven water.

🔍 Wat hebben ze gedaan? (De "ReFlux"-methode)

De onderzoekers hebben een nieuwe techniek bedacht, genaamd ReFlux. Ze noemen het een "concept-aanval", maar denk er liever aan als een test om te zien of de veiligheidsfilters echt werken.

Hier is hoe het werkt, vergeleken met alledaagse situaties:

1. De oude manier (Die niet werkt)

Voor de oudere AI-modellen (Stable Diffusion) konden hackers een "geheime code" in de tekst schrijven om de AI te dwingen het vergeten onderwerp weer te tonen.

Vergelijking: Het is alsof je tegen een oude, simpele robot zegt: "Ik wil een rode auto, maar verzin de kleur zelf!" en de robot denkt: "Ah, rode auto!" en maakt hem rood.
Het probleem bij Flux: De nieuwe Flux-AI is slimmer. Hij luistert naar de hele zin en niet naar losse woorden. Als je die oude codes gebruikt, begrijpt de nieuwe AI ze niet. Het werkt niet.

2. De nieuwe manier (ReFlux)

De onderzoekers zagen dat Flux werkt door te kijken naar waar de AI naar kijkt (de "aandacht"). Als je een onderwerp wilt wissen, laat je de AI specifiek niet meer kijken naar de woorden voor dat onderwerp.

De Analogie: Stel je voor dat je een foto maakt van een hond in een park. De AI kijkt naar de hond. Als je de hond wilt wissen, zeg je tegen de AI: "Kijk niet naar de hond, kijk alleen naar het gras." De hond verdwijnt uit het plaatje.
De Hack: ReFlux doet het tegenovergestelde. Het zegt tegen de AI: "Kijk weer naar die hond, maar doe het heel voorzichtig, zodat je niet de rest van de foto (het gras, de lucht) verpest."

⚙️ Hoe doen ze dit precies? (De 3 stappen)

De onderzoekers gebruiken een slimme methode met drie onderdelen, alsof je een auto instelt om een vergeten route weer te vinden:

De "Aandacht-herinnering" (Attention Reactivation):
Ze zeggen tegen de AI: "Kijk weer naar de woorden die we hebben verborgen." Maar als je dit te hard doet, wordt de hele foto wazig of onherkenbaar (de AI raakt in paniek).
- Oplossing: Ze gebruiken een "rem" (een wiskundige regel) om te zorgen dat de AI niet te hard schokt, maar rustig weer begint te kijken naar het verborgen onderwerp.
De "Stuurhulp" (Velocity Guidance):
De AI tekent een plaatje stap voor stap (van een wazige vlek naar een scherp beeld). ReFlux duwt de AI zachtjes in de juiste richting tijdens het tekenen, zodat het vergeten onderwerp (bijvoorbeeld "bloed" of "naaktheid") weer in het plaatje terechtkomt.
- Vergelijking: Het is alsof je een bootje stuurloos laat drijven, maar je geeft het een zachte duw in de richting van de haven, zodat het daar aankomt zonder te kapseizen.
De "Onveranderde Achtergrond" (Consistency):
Dit is het belangrijkste: ze willen alleen het verborgen onderwerp terug, niet de rest veranderen.
- Vergelijking: Stel je voor dat je een foto van een vriend hebt, maar zijn gezicht is gewist. ReFlux vult het gezicht weer in, maar zorgt ervoor dat zijn kleren, de achtergrond en zijn houding exact hetzelfde blijven. Als je dit niet doet, krijg je een vreemde foto waar de vriend eruitziet als een alien.

🏆 Wat is het resultaat?

De onderzoekers hebben dit getest op veel verschillende dingen: naaktheid, geweld, kunststijlen (zoals Picasso), beroemdheden en zelfs abstracte dingen (zoals "groen" of "twee").

De bevinding: De veiligheidsfilters van de nieuwe Flux-modellen werken niet goed. Ze wissen het onderwerp alleen maar even uit het zicht, maar de "herinnering" zit er nog diep in.
De efficiëntie: Ze hebben dit gedaan met een heel klein stukje aanpassing (slechts 3,5 MB aan data, wat heel weinig is voor een computer). Het is alsof je een enorme bibliotheek niet hoeft te herschrijven, maar alleen een paar kleine notities op de kaft van een boek hoeft te veranderen om de inhoud weer toegankelijk te maken.

💡 Waarom is dit belangrijk?

Dit onderzoek is geen slechte daad om AI-misbruik te stimuleren. Het is juist een waarschuwing.

Voor de veiligheid: Het laat zien dat we niet kunnen vertrouwen op simpele "vergetelheid" om AI veilig te maken. Als een AI iets "vergeten" is, kan het vaak weer worden opgewekt.
Voor de toekomst: Het dwingt ontwikkelaars om betere manieren te vinden om AI veilig te maken. Ze moeten niet alleen de "knop" uitschakelen, maar de "herinnering" echt wissen of de architectuur van de AI veranderen.

Kortom: De nieuwe AI-modellen zijn als mensen die een geheim hebben proberen te vergeten. Ze denken dat ze het kwijt zijn, maar als je ze de juiste vragen stelt (met ReFlux), komen ze er weer mee uit. De onderzoekers zeggen: "Wees niet gerustgesteld door de huidige veiligheidsmaatregelen; ze zijn nog niet sterk genoeg."

Titel: Erased, But Not Forgotten: Geëraseerde Rectified Flow Transformers Blijven Onveilig Onder Concept-aanvallen

Auteurs: Nanxiang Jiang et al. (Beihang University, USTC, NUDT, GigaAI, NUS)
Doel: Het introduceren van ReFlux, de eerste concept-aanvalsmethode die specifiek is ontworpen om de robuustheid van concept-erasure (het verwijderen van ongewenste concepten) te evalueren in next-generation Text-to-Image (T2I) modellen gebaseerd op Rectified Flow Transformers (de "Flux"-familie).

1. Het Probleem

Text-to-Image (T2I) modellen, zoals de recente Flux-familie (bijv. Flux.1 [dev]), hebben aanzienlijke generatieve kwaliteiten bereikt, maar brengen ook veiligheidsrisico's met zich mee (bijv. het genereren van NSFW-inhoud, geweld of haatdragende beelden).

Bestaande Oplossing: "Concept erasure" is een techniek om de mogelijkheid van een model om specifieke concepten te genereren selectief uit te schakelen.
De Gaping: De meeste bestaande erasure-methoden en hun evaluaties zijn gebouwd voor Stable Diffusion (SD), die een U-Net-architectuur en DDPM/DDIM-framework gebruikt.
De Uitdaging: Flux-modellen gebruiken een fundamenteel andere architectuur: Rectified Flow Transformers met een Transformer-backbone en de T5-tekstencoder. Bestaande aanvalsmethoden (zoals Ring-A-Bell of PGD-gebaseerde prompts) werken slecht of niet op Flux, waardoor er geen betrouwbare benchmark bestaat om te bepalen of concept-erasure in Flux daadwerkelijk veilig is.

2. Kerninzicht en Analyse

De auteurs analyseren waarom bestaande aanvallen falen op Flux en ontdekken een cruciaal mechanisme:

Verschil in Embeddings: Flux gebruikt T5 (zinsgebaseerde semantiek) in plaats van CLIP (woordgebaseerde semantiek). Dit maakt woordgevoelige aanvallen (zoals Ring-A-Bell) inefficiënt.
Attention Localization: Ondanks het ontbreken van expliciete cross-attention-lagen in Flux, bestaat er een directe relatie tussen tekst-embeddings en attention-maps. Erasure-methoden werken door de attention-weights van specifieke token-indices (die het te verwijderen concept vertegenwoordigen) te onderdrukken.
Conclusie: Als erasure werkt door attention te onderdrukken, kan een aanval werken door deze attention te re-activeren. Echter, een naïeve versterking leidt tot divergentie (instabiele attention-maps en vervormde beelden).

3. Methodologie: ReFlux

ReFlux is een lichtgewicht, plug-and-play aanvalsmethode die Low-Rank Adaptation (LoRA) gebruikt om slechts 3,57 MB aan tekstgerelateerde parameters te finetunen. De methode bestaat uit drie samenwerkende componenten:

Attention Reactivation Loss (Stabilisatie):
- In plaats van attention willekeurig te verhogen, gebruikt ReFlux een trust-region strategie.
- Het maximaliseert de attention voor de doel-tokens, maar straft grote afwijkingen van de vooraf getrainde verdeling af.
- Dit omvat een L2-regularisatie (om de stapgrootte te beperken) en een Entropy-term (om de attention-verdeling glad te houden en pieken te voorkomen), wat zorgt voor stabiele convergentie zonder dat het beeld instort.
Attack-Guided Velocity Loss (Sturing):
- Gebruikmakend van de flow-matching dynamiek, stuurt deze loss de generatietrajectorie van het model actief naar het doelconcept.
- Het vergroot de waarschijnlijkheid dat het gegenereerde beeld $x$ het doelconcept $c$ bevat, door de velocity field (snelheidsveld) te manipuleren. Dit versterkt het concept op een dieper niveau dan alleen attention.
LoRA Consistency Loss (Behoud van Structuur):
- Om te voorkomen dat het herstel van het concept de rest van het beeld (achtergrond, compositie, andere objecten) verstoort, wordt een consistentieloss toegevoegd.
- Deze loss zorgt ervoor dat de velocity field van het gefinetunte model dicht bij de oorspronkelijke generatiedynamiek blijft voor niet-doelgerelateerde content.

4. Belangrijkste Resultaten

De auteurs hebben ReFlux getest op een breed scala aan concepten (NSFW, kunststijlen, entiteiten, relaties, beroemdheden) tegen de beste bestaande erasure-methoden (zoals ESD, AC, EA, MACE).

Hoog Succespercentage (ASR): ReFlux bereikt consistent de hoogste Attack Success Rates (vaak >90% voor NSFW-concepten) en overtreft alle bestaande baselines (zoals UnlearnDiffAtk en Ring-A-Bell) aanzienlijk.
Efficiëntie: In tegenstelling tot PGD-methoden die minuten per prompt nodig hebben, vereist ReFlux slechts één keer finetunen per concept. Het genereren van een aangevallen beeld duurt daarna slechts de standaard generatietijd (~0,5 min).
Kwaliteit en Consistentie: ReFlux herstelt het verwijderde concept (bijv. naaktheid of geweld) met hoge precisie, terwijl de algehele compositie, stijl en niet-doelgerelateerde elementen intact blijven. Andere methoden leiden vaak tot vervormde of instabiele beelden.
Benchmark: De studie onthult dat zelfs de sterkste erasure-methoden (zoals CP) concepten slechts op "oppervlakkig" niveau verwijderen; de diepere semantische sporen blijven bestaan en kunnen worden gereactiveerd.

5. Bijdragen en Betekenis

Eerste Systematische Studie: Dit is het eerste werk dat concept-aanvallen systematisch toepast op Rectified Flow Transformers (Flux).
Nieuw Inzicht: Het paper toont aan dat de afhankelijkheid van attention localization de zwakke plek is van huidige erasure-methoden in Transformer-gebaseerde T2I-modellen.
Betrouwbare Benchmark: ReFlux biedt een lichtgewicht, uitbreidbaar en reproduceerbaar framework om de veiligheid van toekomstige T2I-modellen te testen.
Veiligheidsimplicatie: De bevindingen waarschuwen dat "geëraseerde" concepten in Flux niet echt vergeten zijn ("Erased, But Not Forgotten"). Bestaande veiligheidsmaatregelen zijn kwetsbaar en bieden slechts schijnveiligheid, wat de noodzaak onderstreept voor robuustere architecturale oplossingen en dieper semantisch begrip van erasure.

Conclusie: ReFlux bewijst dat de huidige generatie concept-erasure in geavanceerde T2I-modellen onvoldoende is om veiligheidsrisico's permanent te elimineren, en biedt tegelijkertijd een krachtig gereedschap voor onderzoekers om de robuustheid van deze systemen te testen.

Code: Beschikbaar op GitHub: https://github.com/nxjiang-jnx/ReFlux