Human-AI Perceptual Alignment by Playing Hues and Cues

Immagina di cercare di insegnare a un robot come vedere il mondo, non solo riconoscendo le forme, ma comprendendo la sensazione delle cose. Nel mondo dell'intelligenza artificiale, esiste un tipo speciale di cervello chiamato "Modello Visione-Linguaggio". Pensa a questi modelli come a studenti super intelligenti che hanno letto miliardi di libri e guardato miliardi di foto da internet. Sono bravissimi nel dire: "Quello è un cane" o "Quello è un'auto". Ma possono capire il colore di un cane? Possono sapere che una banana è solitamente gialla, non perché sia fisicamente gialla in ogni singola foto, ma perché il nostro cervello ha una "memoria" che le banane sono gialle? Questa è la parte complicata: il colore umano non riguarda solo la luce che colpisce i nostri occhi; riguarda la nostra cultura, i nostri ricordi e le nostre storie condivise. Gli scienziati vogliono sapere se questi studenti IA stiano imparando a vedere come gli umani, o se stiano solo indovinando basandosi sui bizzarri schemi che hanno trovato nei loro enormi ammassi di dati.

Per scoprirlo, un team di ricercatori ha deciso di giocare a un gioco. Non hanno usato grafici noiosi o complessi test matematici. Invece, hanno usato un gioco da tavolo chiamato "Hues and Cues". Immagina una tavola gigante con 480 quadratini minuscoli, ognuno di un colore leggermente diverso, disposti come una mappa arcobaleno. Il gioco funziona così: qualcuno dice una parola (come "Banana" o "Speranza") e tu devi indicare il quadratino sulla tavola che meglio si abbina a quella parola. Sembra semplice, ma rivela come il nostro cervello collega le parole ai colori. I ricercatori hanno usato questo gioco per testare 162 diversi modelli di IA, chiedendo loro di giocare insieme a 325 esseri umani reali. Volevano vedere se le "intuizioni" dell'IA corrispondessero alla "memoria" della folla, o se l'IA si stesse perdendo nella propria testa.

Ecco cosa è successo quando i robot si sono seduti a giocare.

L'Incipit: Un Gioco da Tavolo Digitale
I ricercatori hanno costruito una versione digitale della tavola del gioco "Hues and Cues". Questa tavola aveva 480 quadrati di colore distinti, mappati in modo da poter essere misurati scientificamente. Hanno riunito un gruppo massiccio di 325 persone per giocare al gioco sui propri telefoni e computer. A ogni persona è stato chiesto di abbinare 100 parole diverse al miglior colore sulla tavola. Alcune parole erano facili e fisiche, come "Banana" o "Sangue". Altre erano difficili e astratte, come "Speranza", "Femminismo" o "Pop Culture".

Per assicurarsi che l'IA non deviasse dal protocollo, i ricercatori hanno fornito ai modelli la stessa identica tavola digitale. Il compito dell'IA era guardare una parola e scegliere i primi 5 quadrati di colore che riteneva corrispondessero meglio. I ricercatori hanno poi confrontato le scelte dell'IA con il "Consenso Umano", ovvero la risposta media data dalle persone reali. Hanno persino calcolato un "Tasso di Errore Umano", che è essenzialmente quanto gli umani non sono d'accordo tra di loro. Questo ha fornito loro un punto di riferimento perfetto: se un'IA è brava come un essere umano, dovrebbe commettere all'incirca lo stesso numero di "errori" di una persona.

La Grande Scoperta: Il "Crollo del Blu"
I risultati sono stati un mix di vittorie impressionanti e un fallimento sistematico molto strano.

Prima, la buona notizia: quando le parole riguardavano oggetti reali e fisici, l'IA è stata sorprendentemente brava. Per cose concrete come "Banana", "Zucca" o "Maiale", i modelli di IA spesso sceglievano gli stessi colori degli umani. Capivano che le banane sono gialle e i maiali sono rosa. In effetti, per alcuni di questi oggetti fisici, l'IA era così precisa da corrispondere persino al colore della memoria "idealizzata" che gli umani hanno, piuttosto che al colore letterale di una specifica foto. Questo suggerisce che, quando esiste una chiara realtà fisica, l'IA può apprendere il "vibe" umano.

Tuttavia, quando il gioco si è spostato su concetti astratti o culturali, l'IA si è scontrata con un muro. Per parole come "Speranza", "Rabbia", "Femminismo" o persino "Trattore" (che ha un significato culturale specifico in Spagna), l'IA ha smesso di avere senso. Invece di scegliere un colore che corrispondesse al sentimento o alla cultura, i modelli hanno iniziato a fare qualcosa di bizzarro: sono tutti crollati in un unico colore predefinito.

I ricercatori hanno scoperto che, quando l'IA non sapeva la risposta, non faceva una scelta casuale. Invece, sceglieva quasi sempre una specifica tonalità di blu (una coordinata che chiamano "I18" sulla tavola). Era come se il cervello dell'IA andasse in cortocircuito e dicesse: "Non so cosa significhi questo, quindi scelgo il blu". Questo accadeva continuamente, indipendentemente dal fatto che la parola fosse "Inverno", "Stitch" (dal film) o "Axolotl".

Perché è successo?
Il team ha scavato più a fondo per scoprire perché l'IA fosse così ossessionata dal blu. Ha testato i modelli con parole "senza senso", ovvero cose che non hanno alcun significato, come lettere casuali o parole vuote come "il", "lo" o "e". Hanno scoperto che circa il 42% dei modelli aveva un pregiudizio integrato. Quando vedevano parole senza senso, non facevano una scelta casuale; tornavano a colori predefiniti, spesso proprio quel blu o talvolta il giallo.

Questo ha rivelato un difetto critico: l'IA non stava davvero "capendo" la parola "Speranza". Stava solo seguendo un modello appreso dai suoi dati di addestramento. Poiché internet è pieno di immagini del cielo e dell'acqua (che sono blu), l'IA ha imparato che, quando è confusa, il "blu" è una scommessa sicura. È come uno studente che, quando non conosce la risposta a una domanda di storia, scrive semplicemente "Blu" perché ha visto quella parola molte volte nel suo libro di testo.

Il Ruolo della Qualità dei Dati
I ricercatori hanno anche esaminato come l'IA fosse stata addestrata. Hanno confrontato i modelli addestrati su enormi pile disordinate di dati di internet (come il dataset LAION) con modelli addestrati su dataset più piccoli, accuratamente puliti e curati.

Hanno scoperto che i dataset enormi e disordinati non rendevano l'IA più intelligente riguardo ai colori. In realtà, i modelli addestrati sui dati di alta qualità, accuratamente selezionati, erano molto più bravi a corrispondere ai colori umani. La dimensione enorme dei dati non contava quanto la loro qualità. È come studiare per un esame: leggere un milione di post di blog casuali e non editati può darti molti fatti, ma leggere un libro di testo ben editato ti aiuta a comprendere i concetti meglio. I modelli "puliti" commettevano meno errori ed erano meno propensi a crollare in quel colore blu predefinito.

La Conclusione
Quindi, cosa significa tutto questo? Il documento mostra che, sebbene l'IA stia diventando molto brava a riconoscere oggetti fisici e i loro colori, fatica ancora con il lato disordinato, culturale ed emotivo della percezione umana. Quando l'IA si confonde, non ammette l'incertezza; torna semplicemente a un colore "sicuro", solitamente il blu, basandosi su ciò che ha visto più spesso nei suoi dati di addestramento.

I ricercatori suggeriscono che, per far sì che l'IA ci capisca davvero, non possiamo limitarci a fornirle più dati. Dobbiamo insegnarle a gestire l'incertezza senza andare in crash, e dobbiamo usare dati migliori e più puliti per aiutarla a imparare le sottili regole culturali del colore che gli umani seguono naturalmente. Il gioco di "Hues and Cues" ha dimostrato che, anche i modelli di IA più intelligenti, hanno ancora molta strada da fare prima di poter vedere davvero il mondo come facciamo noi.