Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

Sintesi Tecnica: Generazione Avanzata di Immagini tramite Ottimizzazione del Prompt Negativo e Guida del Classificatore Latente

Problematica
Sebbene i modelli di diffusione come Stable Diffusion abbiano rivoluzionato la generazione di immagini da testo, essi soffrono frequentemente di artefatti visivi, deriva semantica e un'incapacità di aderire rigorosamente all'intento dell'utente. Le soluzioni esistenti spesso affrontano l'ingegneria dei prompt negativi e la guida del classificatore come sfide separate. Questo articolo propone un framework unificato per ottimizzare simultaneamente i prompt negativi e guidare il processo di diffusione attraverso una valutazione nello spazio latente per mitigare tali problemi.

Metodologia
Il sistema proposto integra tre moduli core in una pipeline modulare, implementata tramite un'applicazione Streamlit:

1. Ottimizzazione del Prompt Negativo: Gli autori modellano la generazione del prompt negativo come un compito linguistico condizionale. Essi effettuano il fine-tuning di un modello Seq2Seq pre-addestrato (T5-base) su coppie prompt–prompt negativo utilizzando un approccio di Supervised Fine-Tuning (SFT) con un obiettivo di cross-entropy. Durante l'inferenza, un algoritmo di beam search genera dinamicamente prompt negativi ottimizzati ($p^-$) per sopprimere caratteristiche indesiderate.

2. Motore di Diffusione: Il sistema utilizza una pipeline Stable Diffusion con uno scheduler DDIM per un campionamento deterministico. L'UNet predice il rumore basandosi sugli embedding testuali di input (derivati dal prompt positivo $p^+$ e dal prompt negativo generato $p^-$) per aggiornare la rappresentazione latente $z_t$.

3. Guida del Classificatore Latente: Un "ImprovedLatentCNN RNN Classifier" valuta gli stati latenti intermedi durante i passi di diffusione. Questa architettura ibrida consiste in:

   • Un encoder CNN che estrae caratteristiche spaziali da vettori latenti a 4 canali.
   • Una GRU bidirezionale che aggrega queste caratteristiche su una sequenza di passi.
   • Un MLP che produce un logit per determinare una probabilità di accettazione ($s_t$).

   Il sistema impiega un meccanismo di "rollback": se il punteggio di confidenza del classificatore per un aggiornamento latente scende al di sotto di una soglia ($\tau = 0.5$) e il limite di rollback ($R=5$) non è stato raggiunto, il sistema ripristina l'ultimo stato latente accettato, scartando efficacemente gli aggiornamenti di bassa qualità.

Contributi Chiave

• Generazione Automatica di Prompt Negativi: L'introduzione di un LLM Seq2V fine-tuned per generare automaticamente prompt negativi efficaci, sostituendo la laboriosa creazione manuale.
• Framework di Doppia Guida: Una nuova integrazione dell'ottimizzazione del prompt negativo con un classificatore ibrido CNN–RNN che guida dinamicamente i passi di diffusione tramite il rollback di aggiornamenti latenti indesiderati.
• Implementazione Open-Source: Il rilascio del sistema come progetto open-source con un'interfaccia Streamlit user-friendly per la dimostrazione e la sperimentazione.

Risultati Sperimentali
L'articolo presenta valutazioni empiriche su un dataset di sequenze latenti sintetiche (200 campioni etichettati rappresentanti sequenze di 10 passi):

• Performance del Classificatore: L' "ImprovedLatentCNN RNN Classifier" ha dimostrato prestazioni scarse sul dataset di test tenuto fuori (held-out). Ha raggiunto un'accuratezza di 0.400 e un ROC AUC di 0.4261, valore inferiore alla soglia di 0.5 che rappresenta il caso del puro caso. I test statistici (paired t-tests) hanno confermato che questo modello ha performato significativamente peggio di un baseline Vanilla CNN (AUC 0.4511) e di altri benchmark come la Regressione Logistica e SVM.
• Affermazioni Qualitative: Nonostante i limiti quantitativi del classificatore, gli autori sostengono che il framework di doppia guida, quando applicato, riduce gli artefatti visivi e migliora la fedeltà semantica rispetto alle tecniche di diffusione baseline. Esempi visivi (Figure 1–3) illustrano la capacità del sistema di generare prompt negativi ottimizzati (ad es., "deformed, blurry, bad anatomy") per un prompt che descrive un cervo in una foresta nebbiosa.

Significatività e Limitazioni
L'articolo posiziona questo lavoro come una direzione promettente per una generazione di immagini da testo più controllabile e semanticamente allineata. Gli autori sottolineano che l'architettura modulare consente l'addestramento indipendente e studi di ablazione facili.

Tuttavia, gli autori sono notevolmente modesti riguardo l'efficacia del classificatore. Essi riconoscono esplicitamente che le metriche del classificatore (AUC < 0.5) indicano che esso performa peggio del caso casuale sul dataset attuale, suggerendo un ampio margine di miglioramento. La conclusione afferma che il lavoro futuro dovrà concentrarsi sul miglioramento del modulo del classificatore attraverso la riprogettazione dell'architettura, la regolarizzazione avanzata o dati etichettati di qualità superiore. L'articolo non sostiene che l'attuale sistema sia lo stato dell'arte in tutte le metriche, ma piuttosto stabilisce un framework per integrare questi due meccanismi di guida, con la consapevolezza che la componente di guida latente richiede un ulteriore sviluppo.