Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation

I computer sono diventati straordinariamente abili nel creare immagini da zero, ma il modo in cui imparano a farlo spesso sembra quello di uno studente che cerca di memorizzare un libro di testo una parola alla volta, senza mai vedere l'intera pagina. Nel campo dell'intelligenza artificiale, un metodo popolare chiamato generazione autoregressiva funziona prevedendo la parte successiva di un'immagine basandosi sui pezzi che l'hanno preceduta, proprio come completare una frase indovinando la parola successiva. Questo approccio ha mostrato grandi promesse per la creazione di immagini di alta qualità, eppure soffre di un'inefficienza fondamentale. Il computer è costretto a esaminare ogni singolo minuscolo frammento dell'immagine, uno alla volta, per imparare come si incastrano tra loro. Questo processo è lento e spesso miope, il che significa che il computer si concentra in modo così stretto sul passo immediatamente successivo da perdere di vista il quadro generale, portando a texture ripetitive o dettagli sfocati. Inoltre, il computer spreca energia elaborando parti dell'immagine che trasportano pochissime informazioni importanti, come una macchia vuota di cielo, tanto quanto elabora i dettagli complessi di un volto.

Un team di ricercatori della Foshan University e della The University of Hong Kong ha proposto un nuovo modo per addestrare questi sistemi di generazione di immagini che risolve questi problemi senza cambiare il modo in cui il computer crea infine un'immagine. Chiamano il loro metodo MTAR, un framework unificato che migliora il processo di apprendimento attraverso tre strategie specifiche. In primo luogo, hanno cambiato il modo in cui il computer viene insegnato a guardare avanti. Inveve di chiedere solo al modello di prevedere l'esatto frammento successivo, hanno aggiunto un secondo compito in cui il modello deve anche prevedere un frammento più avanti nella linea, specificamente quello direttamente sotto la posizione attuale nella griglia. Questo costringe il computer a comprendere la struttura bidimensionale dell'immagine, come vedere un quartiere invece di una singola strada, il che lo aiuta a catturare meglio i pattern locali e il contesto futuro. In secondo luogo, hanno introdotto una tecnica per garantire che la comprensione interna del computer delle diverse parti dell'immagine rimanga distinta e chiara. Confrontando diverse versioni delle caratteristiche della stessa immagine, hanno incoraggiato il modello a mantenere le sue rappresentazioni di diverse texture e forme separate, impedendo alle immagini di diventare fangose o ripetitive. Infine, hanno affrontato il problema dello sforzo sprecato insegnando al computer a ignorare le parti non importanti dell'immagine durante l'addestramento. Utilizzando uno strumento separato per identificare quali frammenti di un'immagine contengono le informazioni più significative, hanno permesso al computer di saltare le aree meno rilevanti, come gli sfondi vuoti, pur concentrandosi sui dettagli critici.

I risultati di questo nuovo approccio sono sorprendenti quando testati sul benchmark ImageNet, una collezione standard di immagini utilizzata per misurare i progressi in questo campo. Quando i ricercatori hanno confrontato il loro sistema con un metodo precedente leader chiamato LlamaGen, hanno scoperto che il loro nuovo framework produceva immagini significativamente migliori in meno tempo. Nello specifico, il nuovo metodo ha raggiunto un punteggio noto come FID, che misura quanto le immagini generate siano realistiche, che era quasi un punto inferiore rispetto al precedente migliore, indicando un chiaro miglioramento della qualità. Più importante ancora, il processo di addestramento è stato sostanzialmente più veloce. I ricercatori hanno scoperto che il loro sistema poteva raggiungere lo stesso livello di prestazioni del vecchio metodo in un terzo del tempo di addestramento, e in alcuni casi, era quasi quattro volte più veloce. Anche quando i ricercatori hanno limitato l'addestramento a solo una frazione del numero consueto di passaggi, il nuovo sistema è riuscito comunque a produrre immagini comparabili o migliori rispetto alla baseline. Ciò suggerisce che i miglioramenti non derivano dal semplice lavorare di più, ma dal lavorare in modo più intelligente fornendo segnali di apprendimento migliori e rimuovendo i calcoli non necessari.

Fondamentalmente, tutti questi miglioramenti avvengono solo mentre il computer sta imparando. Una volta terminato l'addestramento, il sistema opera esattamente come prima, prevedendo un token alla volta senza passi aggiuntivi o ritardi. I ricercatori hanno dimostrato che aggiungendo questi compiti ausiliari e saltando le informazioni a basso valore durante la fase di apprendimento, potevano creare un modello che è sia più capace che più efficiente. Lo studio suggerisce che la chiave per una migliore generazione di immagini non risiede nel costruire modelli più grandi, ma nel perfezionare il modo in cui il modello viene insegnato a vedere il mondo, assicurandosi che presti attenzione alle cose giuste e comprenda le relazioni spaziali tra di esse. Bilanciando la necessità di output di alta qualità con i vincoli pratici di tempo e potenza di calcolo, questo lavoro offre una via più chiara per la creazione di immagini realistiche con l'intelligenza artificiale.