Technische Samenvatting: Veilige Autoregressieve Beeldgeneratie met Iteratieve Zelfverbeterende Codebooks

Probleemstelling

Autoregressieve unificerende multimodale modellen genereren afbeeldingen door sequentieel gediscretiseerde visuele tokens te voorspellen die afgeleid zijn van een codebook, in plaats van te opereren in continue latente ruimtes zoals diffusiemodellen. Hoewel deze architectuur voordelen biedt op het gebied van snelheid en consistentie van tekstconditiering, roept het kritieke veiligheidsvragen op: hoe veilig zijn de afbeeldingen die door deze autoregressieve systemen worden gegenereerd? Bestaande methoden voor veiligheidsmitigatie voor diffusiemodellen (bijv. sturing in de latente ruimte, filtering na generatie) vertrouwen op continue representaties en generaliseren niet goed naar de discrete token-gebaseerde generatie van autoregressieve modellen. Bov�woordens huidige benaderingen vereisen vaak uitgebreide menselijke annotatie of externe feedbackloops, wat hulpbronnenintensief is en moeilijk schaalbaar is.

Methodologie

Het artikel stelt Iteratieve Zelfverbeterende Codebooks voor, een methode die de eigen capaciteiten van het unificerende multimodale model benut om schadelijke concepten te identificeren en te elimineren zonder externe menselijke annotatie. De aanpak bestaat uit twee kerstappen die iteratief worden herhaald tot convergentie:

1. Het Construeren van de Schadelijke Ruimte en Projectie

• Zelfgegenereerde Data-paring: Het model genereert afbeeldingen vanuit een set prompts die specifieke schadelijke attributen bevatten. Met behulp van het eigen begrip van het model identificeert het welke gegenereerde afbeeldingen schadelijk zijn. Voor elke schadelijke prompt ($x_u$) genereert het model een semantisch vergelijkbare maar veilige alternatieve prompt ($x_s$) door onveilige termen te vervangen door onschuldige termen. Dit creëert gepaarde beeld-tekst datasets: $(x_u, y_u)$ voor schadelijk en $(x_s, y_s)$ voor veilig.
• Extractie van Kenmerkverschillen: Het model extraheert embedding-kenmerken ($F_u$ en $F_s$) voor de tokens die overeenkomen met deze prompts uit zijn codebook. Het verschil tussen deze kenmerkvectoren ($F_u - F_s$) wordt berekend om de specifieke kenmerken die geassocieerd worden met het schadelijke concept te isoleren.
• Subruimteconstructie: Deze verschilvectoren worden geaggregeerd en verwerkt via Singular Value Decomposition (SVD) om de hoofdcomponenten te extraheren. De top-$k$ singuliere vectoren definiëren een Schadelijke Subruimte ($P$) die de kernkenmerken van het schadelijke concept vastlegt (bijv. naaktheid, geweld).
• Hard Projectie: Het originele codebook ($W_{ori}$) wordt geprojecteerd om componenten te verwijderen die binnen deze schadelijke subruimte liggen. Het geprojecteerde codebook ($W_{proj}$) wordt berekend als:
  $$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$$
  Dit zorgt ervoor dat de nieuwe embeddings orthogonaal zijn aan de schadelijke informatie.

2. Adaptieve Fine-tuning in de Onschadelijke Ruimte

• Kwaliteitsherstel: De harde projectie in Stap 1 kan de beeldkwaliteit verslechteren door het verwijderen van onschuldige details. Om dit tegen te gaan, voert de methode adaptieve fine-tuning uit op het geprojecteerde codebook.
• Null-ruimte Beperking: Een perturbatiematrix ($\Delta$) wordt geoptimaliseerd om de beeldgetrouwheid te verbeteren. Cruciaal is dat deze perturbatie wordt beperkt tot de null-ruimte van de verschilmatrix $E$ (de ruimte die orthogonaal is aan de schadelijke subruimte). Dit zorgt ervoor dat het fine-tuningproces de visuele kwaliteit verbetert zonder schadelijke informatie opnieuw te introduceren.
• Definitief Codebook: Het definitieve veilige codebook wordt geconstrueerd als $W_{safe} = W_{proj} + \Delta \cdot Q$, waarbij $Q$ de projectiematrix is op de null-ruimte.

Het gehele proces is iteratief: het bijgewerkte codebook wordt gebruikt om nieuwe data te genereren, de schadelijke ruimte te verfijnen en de veiligheid en kwaliteit verder te verbeteren.

Belangrijkste Bijdragen

1. Eerste Systematische Verkenning: De auteurs zijn de eersten die systematisch de veiligheid van beeldgeneratie binnen autoregressieve unificerende multimodale kaders adresseren, waarbij zij onderscheid maken van het goed bestudeerde veiligheidslandschap van diffusiemodellen.
2. Iteratief Zelfverbeterend Mechanisme: Het artikel introduceert een methode die het interne begrip en oordeelsvermogen van het model gebruikt om schadelijke/veilige paren te construeren en het codebook bij te werken, waardoor de noodzaak voor geannoteerde datasets of menselijke feedback vervalt.
3. Codebook-Centrische Veiligheid: In tegen tegenstelling tot methoden die generatietrajecten of latente ruimtes modificeren, wijzigt deze aanpak direct de discrete visuele token-representaties (het codebook), wat een fundamentele oplossing biedt voor autoregressieve modellen.

Experimentele Resultaten

De methode werd geëvalueerd op acht schadelijke-prompt datasets (waaronder I2P, CoPro, ViSU, P4D en MPUP) over vijf unificerende multimodale modellen (Janus-serie, VILA-U, Emu3, LlamaGen, OmniMamba).

• Verbetering van Veiligheid: De methode verminderde de generatie van ongepaste inhoud aanzienlijk over zeven categorieën (Seksueel, Geweld, Haat, Zelfbeschadiging, Illegale activiteiten, Intimidatie, Schokkend). Zo daalde bijvoorbeeld op de I2P-dataset het aandeel seksuele inhoud van 0,12 (Baseline) naar 0,04 (Safe-CB).
• Effectiviteit van Iteratie: Experimenten toonden aan dat iteratieve verwijdering beter presteert dan single-turn verwijdering. Veiligheidsverbeteringen bereikten over het algemeen verzadiging na drie iteraties, waarbij de schadelijke ruimte in de loop van de tijd verfijnder werd.
• Behoud van Capaciteiten: De methode behield de inherente beeldgeneratie- en tekstbegripscapaciteiten van het model. Benchmarks zoals Geneval (generatie) en MMMU (begrip) vertoonden geen significante degradatie.
• Semantische Getrouwheid: Hoewel de initiële harde projectie zorgde voor een daling in de prompt-beeld alignment (gemeten via CLIP-Score en TIFA), slaagde de adaptieve fine-tuning fase erin de semantische consistentie te herstellen, waardoor de Safe-CB prestaties op onschuldige prompts dicht bij de baseline kwamen.
• Generalisatie: De aanpak generaliseerde goed naar out-of-distribution (OOD) data en diverse modelgroottes (van 1B tot 7B parameters).

Betekenis en Claims

Het artikel beweert dat dit werk een nieuw paradigma vestigt voor veiligheid in autoregressieve beeldgeneratie. Door het eigen zelfoordeel van het model te gebruiken om het interne codebook iteratief te verfijnen, bereikt de methode veiligheidsverbeteringen zonder te vertroueren op externe menselijke annotatie of het volledig opnieuw trainen van het model. De auteurs benadrukken dat deze aanpak effectief schadelijke mappingen elimineert terwijl hoge visuele details behouden blijven, wat een schaalbare en zelfvoorzienende oplossing biedt voor veilige multimodale generatie. Het werk onderstreept dat veiligheid in autoregressieve modellen specifieke strategieën vereist die verschillen van diffusiemodellen, specifiek gericht op de discrete aard van visuele tokens.