Nel mondo moderno dell'intelligenza artificiale, i computer sono diventati straordinariamente bravi in due cose distinte: vedere e parlare. Da un lato, i sistemi di visione possono guardare una fotografia e descrivere ciò che sta accadendo con sorprendente precisione. Dall'altro, i modelli linguistici possono scrivere storie, rispondere a domande e sostenere conversazioni elaborando enormi quantità di testo. Recentemente, gli scienziati hanno iniziato a colmare il divario tra queste due abilità, creando sistemi in grado di comprendere un'immagine e una frase contemporaneamente. Questi strumenti ibridi, noti come modelli visione-linguaggio, possono già eseguire compiti come rispondere a domande su un'immagine o scrivere una didascalia per una scena. Tuttavia, la maggior parte di questi sistemi è addestrata per guardare una singola immagine e descriverla, o per guardare un'immagine e una domanda e fornire una risposta. Non sono ancora stati addestrati per guardare una coppia di immagini "prima e dopo" e capire esattamente cosa sia cambiato tra di esse, specialmente quando quel cambiamento coinvolge regolazioni specifiche come luminosità, contrasto o bilanciamento del colore.

Questo vuoto di comprensione è l'oggetto di un nuovo studio condotto dai ricercatori Vahid Azizi e Fatemeh Koochaki. Si sono posti l'obiettivo di vedere se un potente modello visione-linguaggio open-source chiamato MiniGPT-4 potesse essere istruito per eseguire un compito che chiamano "progettazione inversa". Immaginate di avere la foto di un tramonto e poi di avere una seconda versione di quella stessa foto dove il cielo è stato reso più arancione e l'acqua più scura. Un editor umano saprebbe esattamente quali cursori sono stati spostati per ottenere quell'aspetto. I ricercatori volevano sapere se un computer potesse guardare l'originale e la versione modificata, magari con un suggerimento vago come "rendilo più drammatico", e poi prevedere i passaggi tecnici specifici e i numeri utilizzati per creare quella modifica. Questa è una sfida complessa perché il computer deve comprendere simultaneamente due immagini diverse e la relazione tra di esse, un compito che va oltre la semplice descrizione di ciò che è contenuto in un'unica immagine.

Per testare questo, i ricercatori hanno preso il modello MiniGPT-4, che era già stato addestrato a comprendere immagini e testo, e lo hanno perfezionato utilizzando un dataset specifico chiamato I-MAD-Dense. Questo dataset contiene circa 22.000 esempi, ognuno dei quali consiste in un'immagine sorgente, una versione modificata di quell'immagine e una descrizione di alto livello dell'idea creativa dietro la modifica. Fondamentalmente, il dataset include anche la "verità di base" (ground truth), ovvero l'elenco esatto delle operazioni e dei relativi valori numerici che sono stati applicati all'immagine originale per creare la nuova. I ricercatori hanno convertito questi elenchi tecnici di operazioni in frasi affinché la parte linguistica del modello potesse leggerli. Hanno poi fornito al modello coppie di immagini insieme a descrizioni testuali opzionali e hanno chiesto di prevedere l'elenco dei cambiamenti che hanno trasformato la prima immagine nella seconda.

Il team ha condotto diversi esperimenti per vedere quanto bene il modello potesse apprendere questa abilità. Nel loro primo tentativo, hanno semplicemente perfezionato il modello esistente senza cambiarne la struttura. I risultati hanno mostrato che il modello poteva apprendere il compito, prevedendo con successo i tipi di cambiamenti circa il 72 percento delle volte in media. Tuttavia, i ricercatori hanno notato che il modello a volte sbagliava il numero di cambiamenti o otteneva i valori specifici in modo leggermente errato. Per migliorare questo aspetto, hanno provato ad aggiungere una penalità matematica durante il processo di addestramento ogni volta che i numeri previsti dal modello per le regolazioni erano lontani dai valori corretti. Questo piccolo accorgimento ha aiutato il modello a rendere i numeri più accurati, riducendo l'errore medio nelle sue previsioni. Hanno anche testato se fornire al modello un comando specifico nel testo, come "regola la luminosità", aiutasse. I risultati hanno confermato che avere questo contesto testuale extra migliorava significativamente la capacità del modello di trovare i cambiamenti corretti, specialmente quando le istruzioni erano chiare.

I ricercatori hanno anche esplorato se l'aggiunta di marcatori speciali al testo per separare le immagini dalle parole potesse aiutare il modello a tenere traccia dei diversi input. Hanno provato a inserire un token specifico per segnalare dove terminava una immagine e iniziava la successiva, ma questo ha effettivamente peggiorato le prestazioni del modello. Questo reperto suggerisce che il metodo esistente del modello per gestire immagini e testo fosse sufficiente e che l'aggiunta di marcatori extra e artificiali lo confondesse invece di chiarire. Un altro esperimento ha riguardato il tentativo di insegnare al modello a prevedere il numero di cambiamenti in modo più accurato, penalizzandolo per averne indovinati troppi o troppo pochi, ma anche questo approccio non ha portato miglioramenti e, in alcuni casi, ha peggiorato i risultati.

La versione più efficace del loro sistema, che combinava il modello perfezionato con un modo specifico di gestire gli errori numerici, ha dimostato che questi modelli visione-linguaggio sono effettivamente capaci di apprendere relazioni complesse e multi-step tra le immagini. Il modello ha ottenuto i migliori risultati quando riceveva una descrizione testuale della modifica, evidenziando l'importanza del linguaggio nel guidare la comprensione visiva. Sebbene il sistema non sia ancora perfetto e incontri ancora difficoltà in alcuni scenari complessi, lo studio dimostra che i modelli pronti all'uso possono essere estesi per gestire compiti sofisticati come l'ingegneria inversa delle modifiche d'immagine. I ricercatori concludono che, sebbene i loro risultati attuali siano promettenti, c'è ancora spazio per il miglioramento, come l'uso di immagini a risoluzione più elevata per catturare dettagli più fini o l'addestramento del modello su dati generati da esseri umani ancora più accuratamente curati. Questo lavoro apre la porta a futuri strumenti che potrebbero aiutare gli editor a comprendere i propri flussi di lavoro o permettere ai computer di imparare dalla storia di come le immagini vengono create.