High Quality Image Generation using Improved Generative Adversarial Networks and Optimized Stable Diffusion Models

Nell'era digitale, i computer hanno imparato a vedere e a creare, andando ben oltre il semplice calcolo per entrare nel regno della sintesi artistica. Al cuore di questa capacità ci sono sistemi progettati per generare immagini da zero, imitando il modo in cui un essere umano potrebbe dipingere o fotografare una scena che non ha mai visto realmente. Per anni, il metodo principale per questo compito si è basato su un concetto noto come Rete Avversaria Generativa (Generative Adversarial Network). Immaginate due artisti che lavorano nello stesso studio: uno cerca di creare un falso convincente, mentre l'altro agisce come un critico severo, cercando di scovare l'inganno. Giocano a un gioco continuo in cui il falsario diventa più bravo a nascondere i suoi trucchi e il critico diventa più acuto nel trovarli. Con il tempo, questa competizione costringe il falsario a produrre immagini così realistiche che persino l'esperto critico non riesce a distinguerle dalla realtà. Tuttavia, questo processo è notoriamente difficile da gestire; gli artisti spesso si incantano in un vicolo cieco, producendo le stesse poche immagini ripetutamente, oppure il gioco semplicemente si interrompe prima che venga creato qualcosa di utile.

Più recentemente, è emersa un approccio diverso, che non si basa su un gioco competitivo ma piuttosto su un processo di raffinamento graduale. Pensate a questo come all'inizio di una tela coperta di statica, come la neve su un vecchio televisore, e al lento processo di pulizia del rumore per rivelare un'immagine nitida sottostante. Questo metodo, noto come modello di diffusione (diffusion model), ha mostrato una straordinaria capacità di creare immagini di alta qualità, stabili e variegate. Una versione specifica di questa tecnologia, chiamata Stable Diffusion, ha guadagnato attenzione per la sua capacità di trasformare descrizioni scritte in scene visive. I ricercatori si sono chiesti a lungo come questi due metodi distinti — il gioco competitivo e il raffinamento graduale — si confrontino quando spinti ai loro limiti, e se combinare i loro punti di forza possa risolvere i problemi persistenti che hanno frenato la generazione di immagini per anni.

Un team di ricercatori provenienti da università di Mumbai, in India, si è posto l'obiettivo di esplorare questa domanda costruendo e testando entrambi i sistemi fianco a fianco. Il loro lavoro si è concentrato su una sfida specifica: creare immagini di alta qualità quando i dati disponibili sono limitati, una situazione che si verifica spesso in campi come la medicina legale o l'imaging medico, dove gli esempi reali sono scarsi. Hanno addestrato i loro sistemi su tre diverse collezioni di immagini: un set di 3.000 ritratti di volti umani di alta qualità, una collezione più ampia di 6.000 immagini generiche provenienti da internet, e un piccolo gruppo di 100 foto di celebrità. L'obiettivo era vedere quale sistema potesse produrre risultati più realistici e se potessero generare nuove immagini di una persona specifica, come un attore, basandosi solo su un piccolo numero di esempi.

I risultati dei loro esperimenti hanno rivelato una distinzione netta tra le due tecnologie. Il sistema competitivo tradizionale, la Rete Avversaria Generativa, è stato in grado di apprendere e produrre volti riconoscibili dopo l'addestramento, ma ha avuto difficoltà con la coerenza. Quando i ricercatori hanno testato il sistema sulla grande collezione di immagini da internet, il sistema ha identificato correttamente le immagini reali rispetto alle proprie creazioni circa il 91 percento delle volte, e sulla collezione di ritratti ha raggiunto un'accuratezza dell'81 percento. Sebbene questi numeri dimostrino che il sistema stava imparando, le immagini prodotte spesso mancavano dei dettagli fini e della varietà naturale tipica della vita reale. I ricercatori hanno osservato che il sistema a volte non riusciva a catturare l'intera gamma di possibilità dei dati, portando a immagini che sembravano leggermente ripetitive o meno nitide.

Al contrario, il sistema basato sul processo di raffinamento graduale, il modello Stable Diffusion, ha dimostrato una capacità superiore di creare immagini realistiche e diverse. Quando i ricercatori hanno perfezionato questo modello per comprendere soggetti specifici, il miglioramento è stato sorprendente. Ad esempio, quando hanno addestrato il modello sulle immagini dell'attore Brad Pitt, esso non si è limitato a copiare le foto che aveva visto; il modello perfezionato ha effettivamente estrapolato l'aspetto giovanile dell'attore, nonostante nessuna foto della sua infanzia fosse inclusa nei dati di addestramento. Questa capacità di immaginare un soggetto in una fase diversa della vita suggerisce che il modello potrebbe generare un'immagine convincente di lui da bambino. I ricercatori hanno misurato questo successo utilizzando un sistema di punteggio che verifica quanto l'immagine corrisponda alla descrizione fornita; il modello ottimizzato ha ottenuto un punteggio di 31,98 sul dataset di immagini da internet, una cifra che indicava un alto livello di coerenza visiva e dettaglio.

Lo studio ha anche esplorato come far funzionare meglio questi sistemi regolando le loro impostazioni interne, in modo simile a come si sintonizzano le manopole di una radio per trovare il segnale più chiaro. Hanno scoperto che la dimensione del gruppo di immagini che il computer elabora in un unico momento influisce significativamente sulla qualità dell'output. Testando diverse dimensioni dei gruppi, hanno scoperto che l'elaborazione di cinque immagini alla volta produceva i risultati migliori per la loro configurazione specifica. Inoltre, hanno confrontato diverse versioni della tecnologia di raffinamento e hanno scoperto che il miglior modello per creare ritratti non era necessariamente lo stesso che funzionava meglio per scene generali. Ciò evidenzia che non esiste uno strumento perfetto per ogni compito; la scelta del sistema deve essere adattata al tipo specifico di immagini che si stanno creando.

In definitiva, i ricercatori hanno concluso che, sebbene il metodo competitivo abbia il suo posto, l'approccio del raffinamento graduale offre una via più affidabile per generare immagini di alta qualità, specialmente quando l'obiettivo è creare variazioni realistiche di un soggetto partendo da una piccola quantità di dati. I modelli raffinati hanno prodotto immagini con meno errori, come bordi sfocati o strane distorsioni, e hanno mantenuto una coerenza nella luce e nel colore che l'altro sistema faticava a eguagliare. Questo lavoro suggerisce che per applicazioni che richiedono alta fedeltà, come la creazione di prove visive per casi legali, il potenziamento di scansioni mediche o la generazione di arte, la nuova tecnologia basata sul raffinamento è lo strumento più potente. I ricercatori hanno osservato che le loro scoperte potrebbero aiutare in vari campi, dall'agricoltura alla scienza forense, fornendo un modo per generare dati visivi realistici dove prima non esistevano. Lo studio è una dimostrazione pratica che, ottimizzando questi sistemi moderni, possiamo avvicinarci a macchine che creano non solo immagini, ma realtà credibili.