Fréchet inception distance under finite sampling between real image sets

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i computer stanno imparando a creare immagini che sembrano sorprendentemente reali. Dalla generazione di ritratti di persone che non sono mai esistite alla progettazione di nuovi paesaggi architettonici, questi sistemi stanno diventando strumenti potenti sia per gli artisti che per gli scienziati. Tuttavia, questo progresso pone una domanda critica: come facciamo a sapere se il computer sta facendo un buon lavoro? Per rispondere a questo, i ricercatori si affidano a un metro di misura standard chiamato distanza di Fréchet inception. Pensate a questa metrica come a un righello sofisticato che confronta due gruppi di immagini. Funziona traducendo ogni immagine in una complessa lista di numeri che ne descrivono le caratteristiche visive, come forme, texture e colori. Il sistema calcola quindi la distanza tra la lista media di numeri per un insieme di foto reali e la lista media per un insieme di foto generate dal computer. Se i due gruppi sono molto simili, la distanza è piccola; se sono diversi, la distanza è grande. Per anni, questo metodo è stato il gold standard per giudicare se un'intelligenza artificiale stia imitando con successo la realtà.

Un team di ricercatori del National Physical Laboratory nel Regno Unico e del Dutch Expert Centre for Screening ha deciso di testare l'affidabilità di questo righello. Il loro obiettivo non era confrontare immagini reali e finte, ma vedere cosa succede quando il righello misura due gruppi di immagini reali l'uno contro l'altro. Logicamente, se si prendono due diverse manciate di fotografie reali dallo stesso mondo, la distanza tra esse dovrebbe essere zero, o almeno così piccola da essere trascurabile. Se il righello mostra un grande divario tra due set di foto autentiche, ciò suggerisce che lo strumento stesso potrebbe essere difettoso. Per investigare su questo, i ricercatori hanno raccolto una collezione diversificata di immagini, che spazia da semplici cifre scritte a mano e oggetti comuni a complessi scansioni mediche come lesioni cutanee e mammografie. Hanno suddiviso queste grandi collezioni in gruppi più piccoli e bilanciati e hanno misurato la distanza tra di essi, monitorando attentamente come i risultati cambiavano aggiungendo più o meno immagini a ciascun gruppo.

I risultati hanno rivelato un modello sorprendente e persistente. Anche confrontando due set di immagini reali tratti esattamente dalla stessa fonte, lo strumento di misurazione riportava costantemente una distanza non nulla. Questo divario non scompariva semplicemente aggiungendo più immagini. Infatti, i ricercatori hanno scoperto che la distanza riportata diminuiva solo molto lentamente all'aumentare del numero di immagini. Quando hanno utilizzato metodi matematici per prevedere cosa sarebbe successo se avessero avuto un numero quasi infinito di immagini — miliardi o persino trilioni — lo strumento prevedeva ancora una distanza evidente tra i due set di foto reali. Questo reperimento suggerisce che lo strumento non è perfettamente calibrato per riconoscere che due gruppi di immagini reali sono, in sostanza, lo stesso gruppo. I ricercatori hanno osservato che questo comportamento variava a seconda del tipo di immagine. Per dataset più semplici e ben noti, la distanza diminuiva in modo prevedibile, ma per immagini del mondo reale più complesse, come le scansioni mediche, il calo era molto più lento e meno costante.

Una scoperta particolarmente preoccupante è stata che lo strumento spesso dava punteggi più bassi per le immagini che erano piuttosto diverse da quelle su cui era stato addestrato. Il sistema era stato originariamente addestrato su un enorme database di fotografie naturali, come gatti, auto e paesaggi. Quando i ricercatori lo hanno testato su immagini mediche, che appaiono molto diverse da quelle foto naturali, lo strumento ha riportato che i due gruppi di scansioni mediche erano più simili tra loro di quanto lo strumento avesse riportato per i gruppi di foto naturali. I ricercatori sospettano che ciò sia dovuto al fatto che la "visione" interna dello strumento non è ottimizzata per i dati medici, causando una sorta di sfocatura dei dettagli unici di quelle immagini in una visione generica e omogeneizzata. Questo crea il rischio che un'immagine artificiale di scarsa qualità possa ricevere un buon punteggio semplicemente perché condivide la stessa mancanza di dettaglio delle immagini mediche reali, tradendo gli sviluppatori facendogli credere che il loro sistema stia performando bene quando non è così.

Lo studio ha anche esaminato la stabilità matematica del calcolo, guardando in particolare cosa succede quando il numero di immagini è inferiore al numero di caratteristiche che il sistema analizza. Esiste un punto teorico in cui il calcolo diventa instabile, ma i ricercatori hanno scoperto che l'output dello strumento non mostrava un cambiamento drammatico o un segnale di avvertimento quando attraversava questa soglia. I valori della distanza e la loro variabilità rimanevano costanti indipendentemente dal fatto che il calcolo fosse matematicamente "sotto-determinato" o pienamente stabile. Questa mancanza di un segnale di avvertimento chiaro significa che gli utenti potrebbero non rendersi conto che i loro risultati si basano su un terreno matematico instabile quando lavorano con dataset più piccoli.

In definitiva, la ricerca mette in discussione l'assunto che questo strumento di misurazione fornisca una visione perfetta e imparziale della qualità dell'immagine. Il fatto che registri una differenza significativa tra due set di immagini reali implica che potrebbe non essere abbastanza sensibile da distinguere tra un'immagine artificiale veramente di alta qualità e una mediocre, specialmente in campi specializzati come la medicina. Gli autori concludono che, sebbene lo strumento rimanga un benchmark utile, i suoi punteggi dovrebbero essere interpretati con cautela. La distanza che misura non è solo un riflesso di quanto bene un'intelligenza artificiale stia copiando la realtà, ma è anche un riflesso dei limiti dello strumento stesso e della natura specifica delle immagini testate. Per scienziati e sviluppatori, questo significa che un punteggio basso non garantisce la perfezione, e un punteggio alto non significa sempre un fallimento, particolarmente quando le immagini generate cadono al di fuori del regno del mondo naturale che lo strumento è stato progettato per comprendere.