Nell'era moderna dell'intelligenza artificiale, una rivoluzione silenziosa sta avendo luogo nel modo in cui gli scienziati costruiscono i programmi informatici più potenti. Per anni, i ricercatori si sono affidati a un insieme di regole note come leggi di scala (scaling laws) per decidere come impiegare la loro potenza di calcolo. Queste regole agiscono come una guida di budget, dicendo agli ingegneri se dovrebbero costruire un cervello leggermente più grande per il loro software o nutrirlo con una biblioteca di informazioni molto più vasta. Nel mondo dell'IA basata sul testo, queste regole sono state straordinariamente chiare: per ottenere i migliori risultati, si dovrebbe dividere il budget di calcolo approssimativamente in parti uguali tra la dimensione del modello e la quantità di dati che esso legge. Questo equilibrio ha permesso alle macchine di apprendere il linguaggio con un'efficienza sorprendente, portando agli strumenti sofisticati che vediamo oggi. Tuttavia, quando si tratta di insegnare ai computer a creare immagini, le regole sono rimaste un mistero. I dati visivi sono molto più complessi e rumorosi rispetto al testo, e i precedenti tentativi di mappare queste regole per i generatori di immagini sono stati limitati dalla mancanza di esperimenti su larga scala. Senza una guida chiara, gli sviluppatori hanno tirato a indovinare su come bilanciare la dimensione del modello e il volume dei dati, sprecando spesso enormi quantità di energia e tempo.

Un team di ricercatori di Luma AI è intervenuto ora per risolvere questo enigma con un esperimento massiccio e sistematico. Hanno costruito una famiglia controllata di modelli di generazione di immagini, che vanno da molto piccoli a piuttosto grandi, e li hanno addestrati utilizzando una quantità di potenza di calcolo sbalorditiva — molto superiore a qualsiasi studio precedente su questo argomento. Spingendo questi modelli attraverso tre diversi ordini di grandezza di costo computazionale, sono stati in grado di osservare esattamente come le prestazioni cambiano al crescere dei modelli. Il loro lavoro rivela che le regole per la creazione di immagini sono fondamentalmente diverse dalle regole per l'elaborazione del linguaggio. Mentre i modelli di testo raggiungono il picco della loro efficienza dopo aver letto circa venti parole per ogni unità della loro dimensione, i modelli di immagine richiedono una dieta molto più pesante. I ricercatori hanno scoperto che, per raggiungere il punto di efficienza ottimale, un modello di testo-immagine ha bisogno di vedere circa duecento token di immagine per ogni singolo parametro della sua struttura. Ciò significa che, per la generazione di immagini, i dati sono dieci volte più critici rispetto ai modelli linguistici. Il vecchio consiglio di bilanciare equamente la dimensione del modello e i dati non si applica qui; al contrario, la strategia più efficace è dare priorità al nutrimento del modello con più immagini, anche se ciò significa utilizzare un cervello più piccolo.

Lo studio ha anche scoperto una sorprendente rete di sicurezza per gli sviluppatori. Nel mondo dei modelli linguistici, se si addestra un sistema troppo a lungo su troppi dati, le sue prestazioni possono risentirne e lo sforza extra viene sprecato. Ma per i generatori di immagini, i ricercatori hanno scoperto che i modelli sono incredibilmente tolleranti. Se un professionista decide di addestrare un modello più a lungo del strettamente necessario, la qualità delle immagini non diminuisce significativamente. Infatti, la perdita di prestazioni è così piccola da essere quasi trascurabile. Questa scoperta offre una regola pratica per il settore: è molto più sicuro addestrare un modello più piccolo su una quantità enorme di dati piuttosto che rischiare di addestrare un modello enorme su troppi pochi dati. Il tempo di addestramento extra agisce come un buffer, garantendo risultati di alta qualità senza la penalità di risorse sprecate che affligge altri tipi di IA.

Oltre alla qualità finale dell'immagine, il team ha esaminato come questi modelli imparano a comprendere il mondo all'interno dei loro cervelli digitali. Hanno testato se i modelli fossero capaci di riconoscere oggetti e schemi, una capacità nota come apprendimento della rappresentazione (representation learning). Hanno scoperto che il punto di efficienza ottimale per la comprensione delle immagini avviene a un volume di dati molto più basso rispetto al punto per la loro generazione. Un modello può diventare molto bravo a riconoscere un gatto o un paesaggio molto prima di diventare perfetto nel dipingerli. Ciò suggerisce che la conoscenza interna del modello e la sua capacità di creare arte crescono a ritmi differenti. Inoltre, i ricercatori hanno osservato che all'aumentare della risoluzione delle immagini, il bisogno di dati cresce ulteriormente. Addestrare un modello per creare immagini ad alta definizione richiede molta più informazione visiva per unità di dimensione del modello rispetto all'addestramento per creare schizzi a bassa risoluzione.

Forse la scoperta più profonda è stata che questi modelli di generazione di immagini seguono un modello universale nelle loro curve di apprendimento. Quando i ricercatori hanno regolato i dati per tenere conto della dimensione del modello e della quantità di calcolo utilizzata, il progresso dell'addestramento di ogni singolo modello, dal più piccolo al più grande, si è accorpato su una singola linea fluida. Questo fenomeno, noto come collasso di scala (scaling collapse), significa che il comportamento di un modello minuscolo può prevedere accuratamente il comportamento di uno gigante. Suggerisce che la meccanica sottostante dell'apprendimento è coerente in tutte le dimensioni, fornendo uno strumento potente agli ingegneri per prevedere come si comporterà un futuro modello massiccio senza doverlo prima costruire e addestrare.

I ricercatori hanno anche esaminato come diverse misure di successo, come quanto bene l'immagine corrisponda a una descrizione testuale o quanto appaia realistica, scalino con la potenza di calcolo. Hanno scoperto che questi diversi obiettivi non raggiungono tutti il picco nello stesso momento. Alcune metriche, come quanto l'immagine segua un prompt, preferiscono un diverso equilibrio tra dati e dimensione rispetto ad altre, come quanto l'immagine sia vicina alla distribuzione delle foto del mondo reale. Ciò indica che non esiste un unico setting "perfetto" per un generatore di immagini; la migliore configurazione dipende interamente da ciò che l'utente vuole che il modello faccia. Inoltre, hanno scoperto che le impostazioni utilizzate per guidare il processo di generazione, che controllano quanto rigorosamente il modello segue le istruzioni, devono essere regolate man mano che il modello diventa più grande. Una maggiore capacità generativa richiede effettivamente meno guida per produrre buoni risultati.

In definitiva, questo lavoro fornisce una mappa chiara e basata sui dati per il futuro della generazione di immagini. Sposta il campo dalla supposizione verso una comprensione precisa di come allocare le risorse. Il concetto centrale è che, per la creazione di immagini, i dati sono sovrani. La strada più efficiente non è costruire il modello più grande possibile, ma assicurarsi che qualunque modello venga costruito sia nutrito con una vasta quantità di informazioni visive. Seguendo queste nuove regole, gli sviluppatori possono costruire sistemi migliori ed efficienti che creano immagini sbalorditive senza sprecare l'immensa energia necessaria per addestrarli. Lo studio conferma che, sebbene il percorso verso la perfetta generazione di immagini sia diverso da quello verso il linguaggio perfetto, è altrettanto prevedibile e altrettanto aperto alla scoperta.