Do Vision Encoders Exhibit Human-like Color Thresholds?

La cecità cromatica delle nostre macchine più intelligenti

Immaginate di guardare un tramonto. Ai vostri occhi, il cielo non è solo una grande macchia arancione; è un gradiente fluido dove alcuni piccoli cambiamenti di colore sono facili da individuare, mentre altri si fondono così perfettamente da non poter essere distinti. È così che funziona la visione umana: i nostri cervelli sono incredibilmente sensibili ad alcuni colori e meno sensibili ad altri, creando una "mappa" del mondo che non è perfettamente uniforme. Gli scienziati conoscono questa sensibilità non uniforme da decenni, mappando esattamente quanto un colore debba cambiare prima che noi lo notiamo.

Ora, immaginate di insegnare a un computer come vedere. Abbiamo costruito enormi cervelli digitali chiamati "encoder di visione" che possono riconoscere gatti, auto e nuvole studiando milioni di foto. Queste macchine sono le stelle dell'intelligenza artificiale moderna. Ma ecco la grande domanda: questi cervelli digitali vedono i colori come facciamo noi? Hanno la loro versione di quella "mappa" irregolare, notando gli stessi sottili cambiamenti in una mela rossa che un essere umano noterebbe, o vedono il mondo attraverso una lente completamente diversa, forse molto più strana? Questo è il mistero che un nuovo studio si è proposto di risolvere, testando se la nostra IA più avanzata abbia imparato accidentalmente a vedere come un essere umano, o se sia ancora cieca ai colori in modi che non ci aspettavamo.

Il grande test del colore: i cervelli dell'IA vedono come noi?

In questo studio, un team di ricercatori ha deciso di mettere alla prova oltre 50 diversi modelli di visione IA. Pensate a questi modelli come a una grande classe di studenti, che vanno dalle classiche reti "convoluzionali" più vecchie ai più recenti e super complessi "transformer" e modelli che hanno imparato a vedere leggendo descrizioni testuali di immagini. I ricercatori volevano sapere: queste macchine hanno una soglia cromatica simile a quella umana?

Per scoprirlo, non si sono limitati a chiedere all'IA di nominare i colori. Al contrario, hanno creato un gioco di "trova le differenze". Hanno scelto 18 colori di riferimento specifici (come una particolare tonalità di blu o verde) e hanno circondato ciascuno di essi con una nuvola di colori leggermente diversi. Per gli esseri umani, esiste una nota "zona sicura" attorno a ogni colore — una forma simile a un ovale allungato (chiamata ellisse di MacAdam) dove qualsiasi cambiamento di colore all'interno di quell'ovale è invisibile all'occhio umano. Se si esce da quell'ovale, anche di pochissimo, si può improvvisamente notare la differenza.

I ricercatori hanno poi fornito questi colori ai modelli di IA. Hanno chiesto all'IA: "Quale di questi colori circostanti sembra più simile a quello centrale?". L'IA ha risposto creando la propria "mappa di somiglianza" nel suo cervello digitale. Se l'IA fosse stata simile a quella umana, la sua mappa dei "colori simili" avrebbe dovuto sovrapporsi perfettamente agli ovali della "zona sicura" umana.

I risultati: un disallineamento nell'arcobaleno

I risultati sono stati un po' scioccanti. Lo studio ha scoperto che, in generale, questi modelli di IA non vedono i colori come gli esseri umani.

Anche i modelli con le migliori prestazioni hanno corrisposto alla sensibilità cromatica umana solo il 25% delle volte (specificamente, un punteggio chiamato mIoU era inferiore a 0,25). Per dare un termine di paragone, se cercaste di eguagliare perfettamente la percezione del colore di un essere umano, questi modelli di IA stavano ottenendo meno di un quarto dei dettagli corretti. Non erano completamente ciechi ai colori, ma la loro "mazione" dell'arcobaleno era distorta.

Ecco cosa ha scoperto lo studio riguardo ai diversi tipi di "studenti" IA:

• Gli studenti autodidatti hanno vinto: I modelli che hanno insegnato a se stessi guardando immagini senza etichette (auto-supervisionati) hanno fatto il lavoro migliore. Erano i più vicini alla visione umana, sebbene ancora lontani dalla perfezione.
• I "lettori di testi" erano imprevedibili: I modelli che hanno imparato accoppiando immagini e testo (come CLIP) sono stati i più imprevedibili. Alcuni di loro erano in cima alla classe, mentre altri erano in fondo. Erano polarizzati, il che significa che o ci riuscivano in parte o fallivano completamente.
• Più grande non significa migliore: Potreste pensare che un modello IA gigante e super complesso veda meglio di uno più piccolo e vecchio. Ma lo studio ha dimostrato che aumentare la dimensione del modello non risolve automaticamente il problema. Infatti, alcuni modelli più vecchi e piccoli (come il classico VGG16) si sono comportati altrettanto bene dei massicci modelli moderni di base. Ciò suggerisce che rendere il cervello più grande non insegni a vedere i colori come un essere umano.
• Il problema del blu: L'IA ha avuto maggiori difficoltà con i colori blu. Proprio come gli esseri umani trovano difficile distinguere tra tonalità di blu molto simili, l'IA ha avuto il compito più difficile qui, spesso sbagliando completamente le "zone sicure".

Perché questo è importante

I ricercatori suggeriscono che la sensibilità cromatica simile a quella umana non appare naturalmente solo perché un'IA viene addestrata su enormi quantità di foto. Il modo attuale in cui addestriamo questi modelli sembra dare priorità ad altre cose (come il riconoscimento di oggetti o la comprensione del testo) rispetto ai dettagli fini e sottili della percezione del colore.

Lo studio conclude che, sebbene questi modelli di IA abbiano imparato a organizzare i colori in modo strutturato (non sono solo rumore casuale), li organizzano in modo diverso da noi. Se utilizzaste questi modelli per compiti che richiedono una perfetta corrispondenza di colori — come il restauro di vecchi dipinti, il controllo della maturazione di un frutto o la progettazione di arte digitale — potreste incontrare dei problemi. L'IA potrebbe pensare che due colori siano identici quando un essere umano può chiaramente vedere che sono diversi, o viceversa.

In breve, i nostri occhi digitali stanno diventando bravi a vedere il "quadro generale", ma stanno ancora imparando come vedere i piccoli dettagli colorati che rendono il nostro mondo reale per noi. Il divario tra il modo in cui una macchina vede un tramonto e il modo in cui lo vediamo noi è ancora molto ampio.