Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space

Immagina di cercare di mappare come gli esseri umani vedono l'intero mondo dei colori. Per molto tempo, gli scienziati lo hanno fatto chiedendo alle persone di confrontare coppie di colori, come ad esempio: "Questo rosso è più simile all'arancione o al viola?". Ma questo è come cercare di mappare un intero continente facendo solo pochi passi alla volta. Ci vuole un'eternità, e abbiamo esplorato solo i "quartieri" di colori simili, lasciando un mistero l'immenso paesaggio globale di oltre 4.000 colori.

Per risolvere questo problema, i ricercatori hanno deciso di utilizzare le Reti Neurali Profonde (DNN) come detective digitali. Pensa a queste reti come a cervelli artificiali che hanno imparato a vedere. La grande domanda era: Quale tipo di cervello artificiale vede i colori in modo più simile a un essere umano?

Hanno testato tre diversi "campi di addestramento" per questi cervelli digitali:

1. Apprendimento Auto-Supervisionato (SSL): Il cervello impara guardando milioni di foto da solo, cercando di individuare schemi senza alcun aiuto.
2. Apprendimento Supervisionato (SL): Il cervello impara guardando delle foto mentre un insegnante indica e dice: "Quello è un gatto", "Quello è un cane".
3. CLIP: Il cervello impara associando le foto alle loro descrizioni scritte (come "una mela rossa" o "un cielo blu").

Per vedere se questi cervelli digitali corrispondessero alla visione umana, i ricercatori hanno utilizzato uno strumento matematico speciale chiamato Trasporto Ottimale di Gromov-Wasserstein (GWOT). Puoi immaginarlo come un "cambia-forma" super preciso che cerca di ripiegare la mappa dei colori del cervello digitale e la mappa dei colori dell'uomo insieme per vedere se si incastrano perfettamente.

Ecco cosa hanno scoperto:

• Gli Strati Iniziali: Quando hanno esaminato le parti di "pensiero precoce" di tutti e tre i tipi di reti, tutte hanno fatto un ottimo lavoro. Erano come apprendisti che avevano già imparato a distinguere una mela rossa da una verde altrettanto bene di quanto farebbe un essere umano.
• Il Verdetto Finale: Tuttavia, man mano che l'informazione viaggiava più in profondamente nelle reti, le cose cambiavano.
  • Le reti Auto-Supervisionate e Supervisionate hanno iniziato a deviare dalla percezione umana nel momento in cui raggiungevano la loro risposta finale. Hanno sviluppato i propri modi unici e non umani di organizzare i colori.
  • CLIP è stato il vincitore. Era l'unica rete che ha mantenuto la sua mappa del colore "simile a quella umana" fino alla fine. Anche dopo aver elaborato tutta l'informazione, la sua visione finale del colore appariva ancora strutturalmente simile a come la vedono gli umani.

Il Quadro Generale:
I ricercatori hanno poi utilizzato questa rete vincente (CLIP) per esplorare un territorio massiccio di 4.096 colori — una scala che richiederebbe agli esseri umani decenni per testare in un laboratorio. La rete non si è limitata ai colori che conosciamo; ha generato una mappa completa e strutturata di come questi migliaia di colori si relazionano tra loro.

In breve, questo articolo dimosta che addestrando un'IA a far corrispondere le immagini alle parole (CLIP), otteniamo uno strumento che vede i colori proprio come noi. Possiamo ora usare questo strumento per prevedere come gli esseri umani percepirebbero vasti mondi di colori non ancora testati, agendo come una bussola per la futura esplorazione scientifica senza la necessità di eseguire infiniti ed estenuanti esperimenti su persone reali.