Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

Technische Zusammenfassung: Fortgeschrittene Bildgenerierung mittels negativer Prompt-Optimierung und latenter Klassifikator-Steuerung

Problemstellung
Obwohl Diffusionsmodelle wie Stable Diffusion die Text-zu-Bild-Generierung revolutioniert haben, leiden sie häufig unter visuellen Artefakten, semantischer Drift und einer mangelnden strikten Einhaltung der Nutzerintention. Bestehende Lösungen behandeln das Engineering negativer Prompts und die Klassifikator-Steuerung oft als getrennte Herausforderungen. Dieses Paper schlägt ein vereinheitlichtes Framework vor, das gleichzeitig negative Prompts optimiert und den Diffusionsprozess durch eine Evaluierung im latenten Raum steuert, um diese Probleme zu mildern.

Methodik
Das vorgeschlagene System integriert drei Kernmodule in eine modulare Pipeline, die als Streamlit-App implementiert ist:

1. Negative Prompt Optimierung: Die Autoren modellieren die Generierung negativer Prompts als bedingte Sprachaufgabe. Sie führen ein vortrainiertes Seq2Seq-Modell (T5-base) mittels eines Supervised Fine-Tuning (SFT)-Ansatzes mit einer Cross-Entropy-Zielfunktion auf Prompt–Negativ-Prompt-Paaren fein. Während der Inferenz generiert ein Beam-Search-Algorithmus dynamisch optimierte negative Prompts ($p^-$), um unerwünschte Merkmale zu unterdrücken.

2. Diffusions-Engine: Das System nutzt eine Stable Diffusion Pipeline mit einem DDIM-Scheduler für deterministisches Sampling. Das UNet sagt Rauschen basierend auf den Eingabe-Text-Embeddings (abgeleitet aus dem positiven Prompt $p^+$ und dem generierten negativen Prompt $p^-$) voraus, um die latente Repräsentation $z_t$ zu aktualisieren.

3. Latente Klassifikator-Steuerung: Ein neuartiger „ImprovedLatentCNN RNN Classifier“ evaluiert die intermediären latenten Zustände während der Diffusionsschritte. Diese hybride Architektur besteht aus:

   • Einem CNN-Encoder, der räumliche Merkmale aus 4-Kanal-Latenzvektoren extrahiert.
   • Einem bidirektionalen GRU, der diese Merkmale über eine Sequenz von Schritten aggregiert.
   • Einem MLP, das einen Logit ausgibt, um eine Akzeptanzwahrscheinlichkeit ($s_t$) zu bestimmen.

   Das System verwendet einen „Rollback“-Mechanismus: Wenn der Konfidenzwert des Klassifikators für eine latente Aktualisierung unter einen Schwellenwert ($\tau = 0,5$) fällt und das Rollback-Limit ($R=5$) noch nicht erreicht wurde, kehrt das System zum letzten akzeptierten latenten Zustand zurück und verwirft effektiv qualitativ minderwertige Aktualisierungen.

Kernbeiträge

• Automatisierte Generierung negativer Prompts: Die Einführung eines fein abgestimmten Seq2Seq-LLM zur automatischen Generierung effektiver negativer Prompts, was das arbeitsintensive manuelle Erstellen ersetzt.
• Dual-Guidance-Framework: Eine neuartige Integration der negativen Prompt-Optimierung mit einem CNN–RNN-hybriden Klassifikator, der die Diffusionsschritte durch das Zurückrollen unerwünschter latenter Aktualisierungen dynamisch steuert.
• Open-Source-Implementierung: Die Veröffentlichung des Systems als Open-Source-Projekt mit einer benutzerfreundlichen Streamlit-Oberfläche zur Demonstration und zum Experimentieren.

Experimentelle Ergebnisse
Das Paper präsentiert empirische Evaluationen auf einem synthetischen latenten Sequenz-Datensatz (200 gelabelte Proben, die 10-Schritt-Sequenzen repräsentieren):

• Leistung des Klassifikators: Der „ImprovedLatentCNN RNN Classifier“ zeigte eine schwache Leistung auf dem gehaltenen Testdatensatz. Er erreichte eine Genauigkeit von 0,400 und einen ROC AUC von 0,4261, was unter dem 0,5-Schwellenwert für den Zufall liegt. Statistische Tests (gepaarte t-Tests) bestätigten, dass dieses Modell signifikant schlechter abschnitt als ein Vanilla-CNN-Baseline (AUC 0,4511) und andere Benchmarks wie Logistische Regression und SVM.
• Qualitative Behauptungen: Trotz der quantitativen Einschränkungen des Klassifikators behaupten die Autoren, dass das Dual-Guidance-Framework bei Anwendung visuelle Artefakte reduziert und die semantische Treue im Vergleich zu Baseline-Diffusions-Techniken verbessert. Visuelle Beispiele (Figuren 1–3) illustrieren die Fähigkeit des Systems, optimierte negative Prompts (z. B. „deformed, blurry, bad anatomy“) für einen Prompt zu generieren, der einen Hirsch in einem nebligen Wald beschreibt.

Bedeutung und Limitationen
Das Paper positioniert diese Arbeit als vielversprechenden Weg für eine kontrollierbarere und semantisch ausgerichtete Text-zu-Bild-Generierung. Die Autoren betonen, dass die modulare Architektur eine unabhängige Trainingsweise und einfache Ablationsstudien ermöglicht.

Die Autoren sind jedoch bemerkenswert bescheiden hinsichtlich der Effektivität des Klassifikators. Sie räumen explizit ein, dass die Metriken des Klassifikators (AUC < 0,5) darauf hindeuten, dass er auf dem aktuellen Datensatz schlechter als der Zufall abschneidet, was auf erheblichen Verbesserungsbedarf hindeutet. Die Schlussfolgerung stellt fest, dass zukünftige Arbeiten sich auf die Verbesserung des Klassifikatormoduls durch architektonische Neugestaltung, fortgeschrittene Regularisierung oder qualitativ hochwertigere gelabelte Daten konzentrieren müssen. Das Paper beansprucht nicht, dass das aktuelle System in allen Metriken dem Stand der Technik entspricht, sondern etabliert vielmehr einen Rahmen für die Integration dieser beiden Steuerungsmechanismen, mit dem Verständnis, dass die latente Steuerungs-Komponente weiterer Entwicklung bedarf.