Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

Technische Samenvatting: Geavanceerde Beeldgeneratie via Negatieve Prompt Optimalisatie en Latente Classifier Guidance

Probleemstelling
Hoewel diffusiemodellen zoals Stable Diffusion een revolutie hebben teweeggebracht in tekst-naar-beeldgeneratie, kampen ze vaak met visuele artefacten, semantische drift en een onvermogen om strikt aan de gebruikersintentie te voldoen. Bestaande oplossingen behandelen negatieve prompt-engineering en classifier guidance vaak als afzonderlijke uitdagingen. Dit artikel stelt een verenigd framework voor dat gelijktijdig negatieve prompts optimaliseert en het diffusieproces stuurt via evaluatie in de latente ruimte om deze problemen te mitigeren.

Methodologie
Het voorgestelde systeem integreert drie kernmodules in een modulaire pipeline, geïmplementeerd via een Streamlit-applicatie:

1. Negatieve Prompt Optimalisatie: De auteurs modelleren negatieve prompt-generatie als een conditionele taaltaak. Ze verfijnen een vooraf getraind Seq2Seq-model (T5-base) via een Supervised Fine-Tuning (SFT) aanpak met een cross-entropy doelstelling op basis van prompt–negatieve prompt-paren. Tijdens de inferentie genereert een beam search-algoritme dynamisch geoptimaliseerde negatieve prompts ($p^-$) om ongewenste kenmerken te onderdrukken.

2. Diffusie Engine: Het systeem maakt gebruik van een Stable Diffusion-pipeline met een DDIM-scheduler voor deterministische sampling. De UNet voorspelt ruis op basis van de input tekst-embeddings (afgeleid van de positieve prompt $p^+$ en de gegenereerde negatieve prompt $p^-$) om de latente representatie $z_t$ bij te werken.

3. Latente Classifier Guidance: Een nieuwe "ImprovedLatentCNN RNN Classifier" evalueert tussenliggende latente toestanden tijdens de diffusiestappen. Deze hybride architectuur bestaat uit:

   • Een CNN-encoder die ruimtelijke kenmerken extraheert uit 4-kanaals latente vectoren.
   • Een bidirectionele GRU die deze kenmerken aggregeert over een reeks stappen.
   • Een MLP die een logit uitvoert om een acceptatiekans ($s_t$) te bepalen.

   Het systeem hanteert een "rollback"-mechanisme: als de betrouwbaarheidsscore van de classifier voor een latente update onder een drempelwaarde ($\tau = 0,5$) valt en de rollback-limiet ($R=5$) nog niet is bereikt, keert het systeem terug naar de laatst geaccepteerde latente toestand, waardoor kwalitatief slechte updates effectief worden verworpen.

Belangrijkste Bijdragen

• Geautomatiseerde Negatieve Prompt Generatie: De introductie van een verfijnde Seq2Seq LLM om effectieve negatieve prompts automatisch te genereren, wat het arbeidsintensieve handmatig ontwerpen vervangt.
• Dual-Guidance Framework: Een innovatieve integratie van negatieve prompt-optimalisatie met een CNN–RNN hybride classifier die diffusiestappen dynamisch stuurt door ongewenste latente updates terug te draaien.
• Open-Source Implementatie: De release van het systeem als een open-source project met een gebruiksvriendelijke Streamlit-interface voor demonstratie en experimentatie.

Experimentele Resultaten
Het artikel presenteert empirische evaluaties op een synthetische latente-sequentie dataset (200 gelabelde monsters die 10-staps sequenties vertegenwoordigen):

• Classifier Prestaties: De "ImprovedLatentCNN RNN Classifier" vertoonde zwakke prestaties op de held-out testset. Het behaalde een nauwkeurigheid van 0,400 en een ROC AUC van 0,4261, wat onder de 0,5 drempel ligt voor willekeurige gokken. Statistische testen (gepaarde t-testen) bevestigden dat dit model significant slechter presteerde dan een Vanilla CNN baseline (AUC 0,4511) en andere benchmarks zoals Logistische Regressie en SVM.
• Kwalitatieve Claims: Ondanks de kwantitatieve beperkingen van de classifier, beweren de auteurs dat het dual-guidance framework, wanneer toegepast, visuele artefacten vermindert en de semantische getrouwheid verbetert vergeleken met baseline diffusietechnieken. Visuele voorbeelden (Figuren 1–3) illustreren het vermogen van het systeem om geoptimaliseerde negatieve prompts te genereren (bijv. "deformed, blurry, bad anatomy") voor een prompt die een hert beschrijft in een mistig bos.

Betekenis en Beperkingen
Het artikel positioneert dit werk als een veelbelovende richting voor meer controleerbare en semantisch uitgelijnde tekst-naar-beeldgeneratie. De auteurs benadrukken dat de modulaire architectuur onafhankelijke training en eenvoudige ablatie-studies mogelijk maakt.

De auteurs zijn echter opvallend bescheiden over de effectiviteit van de classifier. Ze erkennen expliciet dat de metrieken van de classifier (AUC < 0,5) aangeven dat deze slechter presteert dan willekeurige gokken op de huidige dataset, wat wijst op aanzienlijke ruimte voor verbetering. De conclusie stelt dat toekomstig werk zich moet richten op het verbeteren van de classifier-module door middel van architecturale herontwerp, geavanceerde regularisatie of kwalitatief hoogwaardigere gelabelde data. Het artikel claimt niet dat het huidige systeem de state-of-the-art is in alle metrieken, maar stelt eerder een framework vast voor het integreren van deze twee guidance-mechanismen, met het begrip dat de latente guidance-component verdere ontwikkeling vereist.