A Large-scale Evaluation of Text-guided Models for Facial Editing

Immaginate un artista digitale capace di cambiare il colore dei capelli di una persona, aggiungere un paio di occhiali o far voltare la testa verso l'orizzonte, tutto semplicemente digitando una frase in un computer. Questa è la promessa dell'editing di immagini guidato dal testo, un campo in rapida crescita in cui l'intelligenza artificiale impara a comprendere il linguaggio umano e ad applicare tali istruzioni alle fotografie. Per anni, i ricercatori hanno costruito sistemi capaci di compiere queste imprese, ma spesso hanno lottato con una sfida specifica: mantenere la persona nella foto simile a se stessa pur effettuando i cambiamenti richiesti. I metodi più vecchi potevano o cambiare troppo il volto, rendendolo irriconoscibile, oppure potevano eseguire solo aggiustamenti molto limitati, come cambiare l'angolazione della testa. Ora, è emersa una nuova generazione di strumenti che sostiene di risolvere questi problemi, offrendo la capacità di effettuare modifiche complesse e realistiche basate su prompt testuali. Ma man mano che questi strumenti diventano più potenti, rimane una domanda critica: funzionano allo stesso modo per tutti, o hanno difetti nascosti che trattano in modo ingiusto gruppi diversi di persone?

Un team di ricercatori si è posto l'obiettivo di rispondere a questa domanda mettendo alla prova i sei modelli di editing guidato dal testo più popolari. Non hanno chiesto ai computer di fare solo alcuni cambiamenti casuali; hanno condotto una valutazione massiccia e sistematica che ha coinvolto quasi un milione di modifiche d'immagine. L'obiettivo era vedere quanto bene questi modelli potessero gestire una sequenza di quattro diverse istruzioni in fila, come cambiare il colore dei capelli di una persona, poi aggiungere un cappello, poi cambiare il cappello e infine far voltare la testa. Per farlo, i ricercatori hanno creato una nuova ed estesa libreria di 169 compiti di editing specifici focalizzati su capelli, accessori e posizione della testa. Hanno testato i modelli su due grandi collezioni di foto di celebrità, assicurando un mix diversificato di uomini e donne, giovani e anziani, e persone con tonalità di pelle chiare e scure.

I risultati hanno rivelato un quadro chiaro di dove si trovino queste tecnologie oggi. I modelli si sono dimostrati piuttosto capaci di gestire i cambiamenti ai capelli e agli accessori. Quando veniva chiesto di cambiare un'acconciatura o aggiungere un paio di occhiali da sole, la maggior parte dei sistemi ha performato bene, seguendo con successo le istruzioni pur mantenendo il volto della persona riconoscibile. Tuttavia, gli stessi modelli hanno faticato significativamente quando veniva chiesto di cambiare la posa di una persona, come farla guardare a sinistra o a destra. In questi casi, i sistemi spesso non riuscivano a seguire il comando o alteravano il volto in modi che rendevano la persona irriconoscibile.

Forse ancora più preoccupante è stata la scoperta che tutti i modelli tendevano a "sovra-editare". Ciò significa che, quando ricevevano un'istruzione specifica, il computer spesso cambiava cose che non erano state richieste. Ad esempio, se un utente chiedeva al modello di cambiare l'acconciatura di una persona in un taglio bob, il modello potrebbe anche cambiare il colore dei capelli in castano, anche se l'utente non aveva mai richiesto un cambio di colore. I ricercatori hanno scoperto che questo accadeva frequentemente, con i modelli che effettuavano circa 25 cambiamenti extra e indesiderati per ogni 100 istruzioni impartite. Questi errori non erano casuali; spesso derivavano dal fatto che i modelli apprendevano associazioni errate, come credere che un determinato stile di capelli vada sempre insieme a un particolare colore di capelli.

Lo studio ha inoltre svelato pregiudizi significativi nel modo in cui questi modelli trattavano persone diverse. La sovra-editing non era distribuita equamente tra tutti i volti. I modelli erano molto più propensi a effettuare cambiamenti indesiderati quando modificavano i volti degli uomini, in particolare quelli con tonalità di pelle scura, e quando modificavano i voli delle persone anziane. Ad esempio, quando veniva chiesto di modificare i capelli di un uomo dalla pelle scura, il sistema era molto più propenso ad alterare accidentalmente altri tratti, come aggiungere peli facciali o alterare la tonalità della pelle, rispetto a quando modificava il volto di una donna dalla pelle chiara. Allo stesso modo, i modelli erano meno efficaci nel preservare l'identità dei volti anziani, spesso facendoli apparire più giovani o cambiando i loro tratti in modo più drastico rispetto a quelli delle persone giovani.

Queste scoperte suggeriscono che, sebbene gli strumenti di editing guidato dal testo stiano diventando abbastanza potenti per l'uso nel mondo reale, non sono ancora perfetti. Funzionano bene per compiti semplici come aggiungere un cappello o cambiare il colore dei capelli, ma incontrano ancora difficoltà con movimenti più complessi e portano con sé pregiudizi nascosti che possono portare a risultati ingiusti o inaccurati per determinati gruppi. I ricercatori sottolineano che il lavoro futuro deve concentrarsi sul correggere queste abitudini di sovra-editing e sull'assicurare che la tecnologia tratti ogni volto con lo stesso livello di accuratezza e rispetto, indipendentemente dall'età, dal genere o dalla tonalità della pelle. Finché questi problemi non saranno risolti, gli utenti dovrebbero essere consapevoli che questi artisti digitali stanno ancora imparando, e che a volte potrebbero cambiare più di quanto richiesto.