Do Machines Fail Like Humans? A Human-Centred Out-of-Distribution Spectrum for Mapping Error Alignment

Il paper propone un nuovo framework centrato sull'uomo che ridefinisce la distribuzione fuori dal dominio (OOD) come uno spettro di difficoltà percettiva umana, rivelando come l'allineamento tra modelli di intelligenza artificiale e umani vari in modo significativo a seconda del livello di sfida percettiva e dell'architettura del modello.

L'essenziale

Immagina di voler capire se un'intelligenza artificiale (AI) "pensa" e sbaglia come un essere umano. Fino a poco tempo fa, la risposta era semplice: "Se l'AI prende il 90% di risposte giuste e l'umano ne prende il 90%, allora sono uguali". Ma questo è come dire che due persone sono uguali perché hanno entrambe la stessa altezza, ignorando che una potrebbe essere un atleta e l'altra un pianista.

Questo articolo, scritto da ricercatori di Fudan University e UCL, ci dice che non basta guardare il punteggio finale. Bisogna guardare come si sbagliano.

Ecco la spiegazione semplice, con qualche analogia per renderla più chiara.

1. Il Problema: L'AI e l'Umano non sono sulla stessa "scala"

Immagina di testare la vista di un umano e di una telecamera.

• L'approccio vecchio: Metti una foto sfocata con un filtro "bassa risoluzione" al livello 5. La telecamera fallisce. L'umano fallisce. "Ok, sono uguali", pensiamo.
• Il problema reale: Per la telecamera, il livello 5 potrebbe essere un disastro totale. Per un umano, il livello 5 potrebbe essere solo un po' difficile, ma ancora riconoscibile. Oppure, un filtro "rumore" al livello 1 potrebbe essere terribile per l'AI ma innocuo per l'occhio umano.

I ricercatori dicono: "Aspetta! Non possiamo confrontare i risultati se non stiamo guardando la stessa difficoltà percepita dall'occhio umano." È come confrontare chi corre meglio: un atleta e un bambino, ma facendoli correre su terreni diversi senza misurare quanto è faticoso il terreno per ciascuno.

2. La Soluzione: La "Mappa della Difficoltà Umana"

Gli autori hanno creato una nuova mappa, che chiamano Spettro OOD (Fuori Distribuzione) Centrato sull'Uomo.

Immagina una scala di colori che va dal "Giorno di Sole" (foto perfette) al "Buio Puro" (foto impossibili da vedere).
Invece di usare i numeri tecnici delle macchine (es. "filtro numero 5"), usano quanto fatica un umano a vedere l'immagine.

• Zona Rossa (Estrema): L'immagine è così rovinata che nemmeno l'occhio umano la riconosce (è come guardare un punto nero). Qui non ha senso testare l'AI.
• Zona Blu (Lontana): L'immagine è molto difficile, ma l'occhio umano ci prova ancora.
• Zona Verde (Vicina): L'immagine è un po' sfocata, ma l'occhio umano la vede bene.
• Zona Gialla (Riferimento): L'immagine è perfetta.

Questa mappa permette di dire: "Ok, ora testiamo l'AI e l'Umano esattamente quando entrambi faticano allo stesso modo".

3. Cosa hanno scoperto? (Il Verdetto)

Quando hanno confrontato l'AI con l'Uomo usando questa nuova mappa, hanno scoperto cose sorprendenti:

• L'AI non sbaglia sempre allo stesso modo: Ci sono diverse "famiglie" di AI (come i CNN, i ViT e i modelli che leggono e vedono insieme, chiamati VLM).
• I "Supereroi" cambiano a seconda della situazione:
  • Quando le immagini sono solo un po' rovinate (Zona Verde/Vicina), le CNN (reti neurali classiche) sbagliano in modo molto simile agli umani.
  • Quando le immagini sono molto rovinate (Zona Blu/Lontana), le CNN crollano e smettono di assomigliare agli umani. Invece, le ViT (reti più moderne) e i VLM (che usano anche il linguaggio) continuano a sbagliare come farebbe un umano.
  • I VLM (Vision-Language Models) sono i veri campioni: sono quelli che più si comportano come umani, sia quando le immagini sono un po' sfocate, sia quando sono molto rovinate. È come se avessero un "senso comune" che li aiuta a non perdere la testa quando la vista è scarsa.

4. Perché è importante? (La Metafora del Guidatore)

Immagina di dover scegliere un guidatore per un viaggio pericoloso.

• Il Guidatore A (l'AI classica) guida benissimo su strada asfaltata (foto chiare), ma se piove e c'è nebbia (foto rovinate), va nel panico e sbaglia tutto.
• Il Guidatore B (l'AI VLM) guida bene anche con la nebbia, perché usa le mappe e il senso comune (il linguaggio) per capire cosa sta succedendo, proprio come farebbe un umano.

Se vuoi un'AI sicura e affidabile (che non prenda decisioni strane e imprevedibili quando le cose vanno male), devi scegliere quella che sbaglia come un umano, non quella che prende solo il 99% di risposte giuste su foto perfette.

In sintesi

Questo studio ci insegna che per capire se un'AI è davvero "intelligente" come noi, non dobbiamo guardarla solo quando tutto va bene. Dobbiamo metterla alla prova quando le cose si fanno difficili, usando la nostra difficoltà come metro di misura.

Hanno scoperto che le AI più moderne (quelle che capiscono anche le parole) sono quelle che più si avvicinano al modo umano di ragionare e di sbagliare, rendendole potenzialmente più affidabili e sicure per il futuro.

Sommario tecnico

1. Il Problema

La valutazione della capacità dei sistemi di Intelligenza Artificiale (AI) di processare le informazioni in modo simile agli esseri umani è fondamentale per la scienza cognitiva e per lo sviluppo di AI affidabile. Sebbene i modelli moderni raggiungano o superino l'accuratezza umana su compiti standard, questa parità non garantisce che le loro strategie decisionali sottostanti siano allineate.
I limiti principali degli approcci esistenti per valutare l'allineamento modello-umano in condizioni difficili (Out-of-Distribution, OOD) sono:

• Definizione di OOD basata sul modello: L'OOD è solitamente definito come una deviazione dai dati di addestramento del modello, una definizione che non si applica direttamente agli esseri umani, che non hanno una "distribuzione di addestramento" finita e controllata.
• Parametri di distorsione arbitrari: Il livello di degradazione delle immagini è spesso definito da parametri di elaborazione (es. intensità di un filtro) che non corrispondono alla difficoltà percettiva umana. Confrontare condizioni con parametri diversi (es. filtro passa-basso con parametro 5 vs filtro passa-alto con parametro 1) non è significativo senza una scala comune.
• Mancanza di una baseline umana: I valori di allineamento sono spesso interpretati senza considerare il limite superiore rappresentato dall'allineamento tra umani (human-human alignment). Se gli umani non concordano su uno stimolo, non ci si può aspettare un alto allineamento con la macchina.
• Aggregazione indiscriminata: Molti studi aggregano i risultati su tutti i livelli di gravità, ignorando come la difficoltà percettiva e i profili di errore cambino drasticamente a seconda del regime di difficoltà.

2. Metodologia

Gli autori propongono un framework centrato sull'uomo per ridefinire l'OOD come uno spettro basato sulla difficoltà percettiva umana.

• Dataset: Utilizzo del dataset modelvshuman, contenente dati sul riconoscimento di oggetti da parte di esseri umani su immagini sistematicamente distorte (14 tipi di distorsione, 31 modelli di deep learning).
• Costruzione dello Spettro OOD:
  • Invece di usare i parametri di distorsione, gli autori quantificano la deviazione delle prestazioni umane rispetto a un set di riferimento (immagini non distorte).
  • Viene calcolato un punteggio OOD utilizzando l'effetto di grandezza di Glass's $\Delta$ applicato ai logit dell'accuratezza: $\Delta = (\bar{l}_d - \bar{l}_{ud}) / s_{ud}$, dove $l$ sono le accuratezze trasformate in logit e $s$ la deviazione standard del set di riferimento.
  • Questo punteggio misura quanto una condizione distorta si discosta dalla baseline umana in modo quantificabile e graduale.
• Definizione dei Regimi: Un modello a mistura gaussiana (GMM) viene adattato alla distribuzione dei punteggi OOD, identificando quattro regimi distinti:
  1. Reference: Variazione naturale su immagini non distorte o leggermente distorte.
  2. Near-OOD: Riduzione moderata dell'accuratezza.
  3. Far-OOD: Zona di transizione con declino variabile delle prestazioni.
  4. Extreme-OOD: Immagini non riconoscibili (prestazioni al livello del caso). Questo regime viene escluso dall'analisi finale poiché privo di informazioni significative.
• Metriche di Allineamento:
  • Error Consistency (EC): Misura la sovrapposizione degli errori tra sistemi (quante volte entrambi sbagliano o hanno ragione sugli stessi stimoli).
  • Misclassification Agreement (MA): Misura quanto spesso due sistemi scelgono la stessa classe errata quando sbagliano.
  • Class-Level Error Divergence (CLED): Misura la divergenza strutturale dei profili di errore tra diverse condizioni.

3. Contributi Chiave

1. Ridefinizione dell'OOD: Spostamento dalla definizione basata sui dati di addestramento del modello a una scala basata sulla difficoltà percettiva umana, permettendo confronti equi tra diversi tipi di distorsione.
2. Framework di Confronto Principiato: Introduzione di una scala comune (spettro OOD) che permette di valutare l'allineamento modello-umano a livelli di difficoltà calibrati, superando l'arbitrarietà dei parametri di distorsione.
3. Analisi Regime-Dipendente: Dimostrazione che l'allineamento non è una proprietà statica, ma varia significativamente a seconda che ci si trovi in regimi Near-OOD o Far-OOD.
4. Baseline Umana: Stabilimento dell'allineamento umano-umano come limite superiore empirico per valutare l'allineamento dei modelli.

4. Risultati Principali

L'analisi rivela profili di allineamento unici e dipendenti dal regime per diverse architetture (CNN, Vision Transformers - ViT, Vision-Language Models - VLM):

• Struttura degli Errori Umani: La difficoltà percettiva (livello OOD) è un fattore strutturante più forte del tipo di distorsione. Gli errori umani sono più coerenti (stimolo-dipendenti) nel regime Near-OOD, mentre diventano più dipendenti dall'osservatore e meno sistematici nel regime Far-OOD.
• Allineamento delle Architetture:
  • VLM (es. CLIP, BLIP): Mostrano l'allineamento più coerente con gli umani attraverso tutti i regimi (Near e Far OOD). La loro conoscenza semantica basata sul linguaggio sembra guidare decisioni simili a quelle umane, anche quando le informazioni visive sono degradate.
  • CNN (es. ResNet, VGG): Nel regime Near-OOD, le CNN sono più allineate agli umani rispetto ai ViT. Tuttavia, nel regime Far-OOD, il loro allineamento crolla drasticamente (EC e MA vicino allo zero), indicando che le loro rappresentazioni non sono robuste quando le informazioni sono gravemente degradate.
  • ViT (es. ViT, Swin): Nel regime Near-OOD, mostrano un allineamento inferiore rispetto alle CNN, nonostante spesso abbiano un'accuratezza superiore. Nel regime Far-OOD, invece, superano le CNN e raggiungono livelli di allineamento comparabili ai VLM. La loro minore dipendenza dalle texture (tipica delle CNN) potrebbe permettere loro di basarsi su informazioni grossolane residue, imitando meglio la resilienza umana.
• Firme di Allineamento: Ogni famiglia di modelli possiede una "firma" di allineamento specifica attraverso i diversi tipi di distorsione, riflettendo i loro pregiudizi induttivi (inductive biases).

5. Significato e Implicazioni

• Oltre l'Accuratezza: Il lavoro dimostra che l'accuratezza non è un proxy sufficiente per l'allineamento cognitivo. Un modello può essere molto accurato ma commettere errori radicalmente diversi da quelli umani (come osservato nei ViT nel Near-OOD).
• Robustezza e Affidabilità: Comprendere come i modelli falliscono (e se falliscono come gli umani) è cruciale per l'affidabilità. I modelli che mostrano errori simili a quelli umani sono più prevedibili e interpretabili nei contesti reali.
• Nuova Metodologia di Valutazione: Lo spettro OOD centrato sull'uomo offre uno strumento standardizzato per testare future architetture, non solo sulla loro capacità di raggiungere alte prestazioni, ma sulla loro capacità di replicare la robustezza e i pattern di errore della visione umana.
• Limiti Attuali: Nonostante i progressi, nessun modello attuale raggiunge il livello di allineamento umano-umano, indicando che i sistemi di visione artificiale e il sistema visivo umano processano ancora le informazioni in modo significativamente diverso.