Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision

1. Il Problema

Le valutazioni tradizionali dei sistemi di visione artificiale (ANN) e della percezione umana si basano quasi esclusivamente sull'accuratezza (percentuale di risposte corrette). Tuttavia, sistemi con accuratezza simile possono commettere errori qualitativamente diversi.

• Limitazione attuale: Le metriche standard trattano le matrici di confusione come strutture aggregate o simmetriche, ignorando la direzionalità degli errori (chi viene scambiato per chi e in quale direzione).
• Ipotesi di lavoro: Le "confusioni direzionali" (asimmetrie sistematiche, es. scambiare un'ellisse per un cerchio più spesso che viceversa) rivelano bias induttivi distinti che l'accuratezza non può catturare. Mentre gli esseri umani mostrano asimmetrie ampie ma deboli (basate su similarità graduali), i modelli di visione profonda tendono a collassi direzionali sparsi ma forti (concentrati su prototipi dominanti).
• Domanda chiave: Quando umani e ANN sono abbinati per compito, perturbazione e livello di accuratezza, mostrano strutture di confusione direzionale sistematicamente diverse? Queste differenze riflettono geometrie di generalizzazione distinte?

2. Metodologia

Gli autori hanno adottato un approccio ibrido che combina psicofisica, teoria dell'informazione e simulazioni meccaniche.

• Dataset e Sistemi:

  • Analisi di risposte umane e di modelli ANN (CNN come GoogLeNet, ResNet-152, VGG-19, e modelli addestrati per la robustezza) su immagini naturali perturbate (16 categorie derivate da ImageNet).
  • Utilizzo del repository GEN (Geirhos et al., 2018b) con 12 tipi di perturbazioni (es. rumore, filtri, variazioni di colore) per creare condizioni fuori distribuzione (OOD).
  • Campione: ~83.000 trial psicofisici umani e risposte di diversi modelli ANN.

• Quadro Teorico: Rate-Distortion (RD):

  • Ogni sistema (umano o macchina) è trattato come un canale di comunicazione rumoroso definito dalla sua matrice di confusione.
  • Viene applicato il framework Rate-Distortion (basato sulla teoria dell'informazione di Shannon e il coding efficiente di Sims, 2018) per quantificare il compromesso tra informazione preservata e distorsione categoriale.
  • Viene stimata una matrice di distorsione latente ($\rho$) tramite stima MAP (Maximum-A-Posteriori) senza forzare la simmetria dei dati.

• Metriche Geometriche (Firme RD):
  Per caratterizzare la frontiera RD, vengono estratte tre firme geometriche:

  1. Pendenza ($\beta$): Il costo marginale di informazione per ridurre l'errore atteso.
  2. Curvatura ($\kappa$): Quanto non uniforme è il compromesso tra punti operativi diversi.
  3. Efficienza (AUC): L'area sotto la curva parametrica $R(D)$, che riassume l'efficienza globale su tutti i livelli di compressione.

• Metriche di Asimmetria:

  • Ampiezza (Breadth): Frazione di coppie di classi che mostrano asimmetria ($f_{pairs}$).
  • Intensità (Strength): Magnitudine media della deviazione direzionale tra le coppie asimmetriche ($\bar{\Delta}$).
  • Asimmetria Globale: Norma di Frobenius normalizzata della parte off-diagonale.

• Simulazioni Meccaniche:

  • Simulazione di sistemi con matrici di distorsione controllate per testare se diverse organizzazioni di asimmetria (ampia/debole vs. "sink-like" concentrata) producono geometrie RD opposte, anche a parità di accuratezza.

3. Contributi Chiave

1. Decomposizione Ampiezza/Intensità: Dimostrazione che la struttura delle confusioni non è monolitica. Gli umani mostrano un profilo "ampio ma debole" (molte coppie con piccole asimmetrie), mentre gli ANN mostrano un profilo "sparso ma forte" (poche coppie con grandi collassi direzionali).
2. Collegamento alla Geometria RD: Prima applicazione del framework Rate-Distortion per collegare direttamente la struttura delle asimmetrie direzionali alla geometria della frontiera di generalizzazione.
3. Indipendenza dall'Accuratezza: Dimostrazione che queste differenze strutturali persistono anche quando si controlla per l'accuratezza, indicando che catturano informazioni sui bias induttivi indipendenti dalle prestazioni grezze.
4. Limiti dell'Addestramento alla Robustezza: Evidenza che l'addestramento per la robustezza riduce l'asimmetria globale verso i livelli umani, ma non recupera il profilo umano di "ampiezza-intensità", suggerendo che le metriche scalari sono insufficienti per valutare l'allineamento cognitivo.

4. Risultati Principali

• Dissociazione Umani vs. ANN:

  • Gli ANN hanno un'asimmetria globale maggiore (misurata con l'indice di Frobenius) rispetto agli umani.
  • Tuttavia, gli ANN hanno meno coppie asimmetriche (bassa ampiezza) ma deviazioni molto più forti (alta intensità) quando si verifica un errore.
  • Gli umani mostrano l'opposto: molte coppie con deviazioni deboli.
  • Questa dissociazione è un "doppio dissociamento": gruppi con asimmetria significativamente diversa dagli umani possono avere la stessa accuratezza, e viceversa.

• Relazione con le Firme RD:

  • Efficienza (AUC): L'organizzazione "ampia-debole" (umana) è associata a una maggiore efficienza RD rispetto ai collassi "sink-like" (ANN), anche a parità di accuratezza.
  • Pendenza e Curvatura: Le associazioni tra asimmetria e pendenza/curvatura sono spesso mediate dall'accuratezza, ma rimangono significative in specifici regimi (es. modelli "Specialised") dopo il controllo per l'accuratezza.
  • I modelli addestrati per la robustezza riducono l'asimmetria globale ma non riescono a spostare la loro geometria RD verso il profilo umano.

• Risultati delle Simulazioni:

  • Le simulazioni confermano che aumentare l'asimmetria in modo "ampio-debole" espande la frontiera RD (migliora l'efficienza), mentre un aumento "sink-like" la collassa (riduce l'efficienza).
  • Questo dimostra che la stessa magnitudine di asimmetria può avere effetti opposti sulla capacità di generalizzazione a seconda di come è organizzata.

5. Significato e Implicazioni

• Nuova Metrica di Valutazione: Le confusioni direzionali e la geometria RD offrono una firma comportamentale compatta e interpretabile dei bias induttivi, superando i limiti dell'accuratezza e delle metriche di errore aggregate.
• Comprensione dei Fallimenti: I modelli di visione profonda falliscono qualitativamente in modo diverso dagli umani: tendono a collassare su pochi stati attrattori dominanti (bias di semplicità), mentre gli umani distribuiscono gli errori su gradienti di similarità.
• Implicazioni per l'Addestramento: Raggiungere l'accuratezza umana o ridurre l'errore globale non garantisce una robustezza "umana". Per allineare i modelli alla visione umana, è necessario redistribuire la struttura degli errori verso pattern più ampi e deboli, piuttosto che concentrarli.
• Prospettiva Futura: Questo approccio suggerisce l'uso di termini di regolarizzazione durante l'addestramento che penalizzino i collassi direzionali ("sink"), spingendo i modelli verso una geometria di rappresentazione più simile a quella biologica, senza necessariamente richiedere un'accuratezza perfetta.

In sintesi, il paper stabilisce che la direzione degli errori è tanto informativa quanto la loro frequenza, e che la geometria Rate-Distortion fornisce il linguaggio matematico per quantificare queste differenze fondamentali tra intelligenza biologica e artificiale.