DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

Immaginate un mondo in cui un computer può guardare l'immagine di una mela rossa e l'immagine di una mela verde, imparare cosa significano "rosso" e "verde" e poi riconoscere istantaneamente una "mela verde" che non ha mai visto prima, anche se era stato addestrato solo su quelle rosse. Questa è la sfida dello zero-shot learning composizionale, un ramo specifico dell'intelligenza artificiale che chiede alle macchine di capire come concetti semplici si combinano per formare nuove idee complesse. Per decenni, i ricercatori hanno cercato di insegnare questa capacità ai computer mostrandogli migliaia di esempi, ma le macchine spesso faticano quando viene chiesto loro di mescolare e accoppiare queste idee in modi che non hanno praticato. Potrebbero riconoscere l'oggetto, come una banana, e lo stato, come "matura", ma fallire nel comprendere che "banana matura" è una realtà visiva specifica, diversa dal semplice essere una cosa "matura" o una "banana" in generale. La difficoltà fondamentale risiede nell'insegnare alla macchina la relazione tra le parti, non solo le parti stesse.

Un team di ricercatori della Università di Scienza e Tecnologia di Hong Kong ha trovato un nuovo modo per aiutare queste macchine a imparare questa abilità, non insegnando loro più esempi, ma prendendo in prestito un tipo diverso di intelligenza. Hanno scoperto che, mentre i modelli di IA standard sono eccellenti nel distinguere un'immagine dall'altra, sono talvolta goffi nel comprendere come i concetti si fondano insieme. Per risolvere questo problema, il team ha introdotto un aiutante "generativo" nel processo di addestramento. Pensate a questo aiutante come a un modello che è stato originariamente costruito per creare immagini da descrizioni testuali, piuttosto che per identificarle soltanto. Lasciando che l'IA osservi il funzionamento interno di questo modello di creazione di immagini mentre impara, i ricercatori sono stati in grado di guidare il processo di apprendimento verso una comprensione più profonda di come gli attributi e gli oggetti si incastrino tra loro.

I ricercatori, guidati da Hangyu Tian e colleghi, hanno costruito un sistema chiamato DIFFCZSL. Il loro approccio parte da un potente modello di IA preesistente noto come CLIP, che è molto bravo nell'associare immagini e parole. Tuttavia, il team ha notato che CLIP a volte tratta una "banana matura" come se fosse solo una banana che si trova vicino alla parola "matura", piuttosto che un concetto unificato dove la maturazione cambia l'aspetto del frutto. Per correggere questo, hanno aggiunto un secondo passaggio durante la fase di addestramento. Hanno preso un modello di generazione di immagini pre-addestrato, il tipo che può disegnare un'immagine quando scrivi una descrizione, e hanno chiesto a questo di osservare le stesse immagini che la IA principale stava studiando. Questo modello generativo ha un modo unico di vedere il mondo; poiché deve imparare come ricostruire un'immagine da zero basandosi sul testo, presta molta attenzione a come dettagli specifici, come la consistenza della buccia di una banana o il colore di una mela, interagiscono con l'oggetto stesso.

Il team non ha sostituito l'IA principale con questo modello generativo. Al contrario, ha usato il modello generativo come un insegnante. Mentre l'IA principale cercava di imparare, il modello generativo forniva suggerimenti extra sulla struttura dell'immagine. In sostanza sussurrava all'IA principale: "Guarda, quando vedi una banana, il concetto di 'matura' non è solo un'etichetta separata; esso cambia la forma visiva e il colore della banana". I ricercatori hanno estratto questi suggerimenti interni dal modello generativo e li hanno allineati con la comprensione dell'IA principale. Questo processo è avvenuto solo mentre il computer stava imparando. Una volta terminato l'addestramento, il modello generativo veniva rimosso, e l'IA principale rimaneva con la sua velocità e struttura originale, ma ora con una capacità molto più acuta di riconoscere nuove combinazioni.

I risultati di questo esperimento sono stati misurati attraverso tre diversi set di immagini, che spaziano dalle scarpe alla frutta agli oggetti quotidiani. In ogni caso, i modelli di IA che hanno ricevuto questa guida extra hanno ottenuto prestazioni migliori rispetto a quelli che non l'hanno ricevuta. Su un dataset di scarpe chiamato UT-Zappos, il team ha osservato un salto significativo nell'accuratezza, con i modelli che identificavano correttamente combinazioni inedite molto più spesso. Ad esempio, quando richiesti di identificare una "mela affettata" o una "banana matura" in un nuovo contesto, i modelli guidati erano molto meno propensi a confondersi. Il miglioramento è stato costante, sia che il test fosse limitato a categorie note, sia che si aprisse a una vasta gamma di possibili combinazioni. I ricercatori hanno scoperto che i modelli sono diventati migliori nel bilanciare la conoscenza di ciò che avevano visto in precedenza con la loro capacità di indovinare ciò che non avevano mai visto, una competenza cruciale per le applicazioni del mondo reale dove sorgono costantemente nuove situazioni.

Uno dei risultati più sorprendenti è stato che questo miglioramento è avvenuto senza rallentare il computer o renderlo più pesante. Poiché il modello generativo è stato utilizzato solo come guida durante la fase di apprendimento ed è stato scartato successivamente, il sistema finale girava con la stessa velocità dell'originale. Il team ha anche testato se il tipo specifico di modello generativo importasse, scoprendo che versioni più recenti e avanzate fornivano una guida migliore rispetto a quelle più vecchie. Hanno persino confrontato il loro metodo con altri tipi di potenti modelli di IA e hanno scoperto che la capacità unica del modello generativo di comprendere come i concetti si fondono era il fattore chiave, non solo il fatto che fosse un sistema grande e pre-addestrato. Lo studio suggerisce che il modo in cui questi modelli generativi imparano a creare immagini dal testo cattura una struttura nascosta del mondo che è perfetta per insegnare alle macchine come combinare le idee.

Questo lavoro evidenzia una strada promettente per l'intelligenza artificiale. Invece di cercare di costruire un singolo modello massiccio che faccia tutto perfettamente, i ricercatori hanno dimostrato che combinare i punti di forza di diversi tipi di modelli può portare a risultati migliori. Facendo sì che un modello che crea immagini insegni a un modello che le riconosce, hanno colmato una lacuna nel modo in cui i computer comprendono il mondo. Le scoperte suggeriscono che il futuro dell'IA possa risiedere in queste collaborazioni, dove i modelli generativi e discriminativi lavorano insieme per creare sistemi che non siano solo accurati, ma che abbiano anche una comprensione profonda della natura complessa e composta della realtà. L'approccio offre un modo semplice ed efficace per rendere le macchine più intelligenti riguardo a come le cose si incastrano tra loro, senza aggiungere alcun ulteriore carico alle loro attività quotidiane.