Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

Immagina di cercare di insegnare a un robot a vedere il mondo come fa un essere umano. Gli scienziati in un campo chiamato NeuroAI sono ossessionati da questa domanda: "Qual è il miglior insieme di regole per insegnare a un computer come riconoscere un gatto o un'auto?". Hanno a disposizione alcuni diversi libri di regole tra cui scegliere. Uno è il metodo standard, super efficiente, usato in quasi tutta l'IA moderna (chiamato backpropagation). Gli altri sono regole "biologicamente plausibili", che cercano di imitare come i veri cervelli imparano davvero, come ad esempio il modo in cui i neuroni scattano in risposta al tempo o come il cervello prevede ciò che vedrà dopo.

Per vedere quale libro di regole funzioni meglio, i ricercatori usano un trucco astuto chiamato Analisi della Similitudine Rappresentazionale (RSA). Immaginatelo come un gioco di "Indovina la Connessione". Prendono i "pensieri" interni del robot (le sue rappresentazioni digitali) su un'immagine e li confrontano con l'effettiva attività elettrica nel cervello umano quando guarda quella stessa immagine. Se i pensieri del robot corrispondono da vicino all'attività cerebrale, diciamo che il robot ha una comprensione "simile al cervello". La grande speranza è che, trovando la regola che rende il robot più simile al cervello, potremmo finalmente decifrare il codice della visione umana. Ma c'è un intoppo: il vero cervello è incredibilmente complesso, e i robot che possiamo addestrare attualmente con queste sofisticate regole biologiche sono ancora piuttosto piccoli e semplici.

Questo articolo scosta il velo su una trappola nascosta in questi confronti. Il ricercatore ha scoperto che la risposta alla domanda "quale regola è la migliore?" cambia completamente a seconda di una cosa: la dimensione dell'immagine che si mostra al robot. Si scopre che, quando gli scienziati confrontano questi piccoli robot ispirati alla biologia con il cervello umano, spesso usano foto ad alta risoluzione e dettagliate (come 224 pixel di larghezza) per testarli, anche se i robot sono stati addestrati solo su immagini minuscole e sfocate da 32 pixel. Lo studio trova che questo disallineamento crea un'illusione magica. Quando testati su immagini grandi e dettagliate, il robot non addestrato, casuale, sembra improvvisamente altrettanto bravo o addirittura migliore del robot intelligente (addestrato) nel comprendere le parti iniziali del sistema visivo. L'autore mostra che questo non è dovuto al fatto che il robot casualo sia segretamente brillante; è perché il modo in cui lo misuriamo è influenzato dalla dimensione dell'immagine.

La Trappola della Risoluzione

La scoperta centrale qui è che il "vincitore" del concorso di somiglianza cerebrale dipende interamente dalla risoluzione delle immagini di test. Immaginate di giudicare un concorso di cucina. Avete uno chef che si è esercitato a preparare un piatto in una padella minuscola da 7 centimetri, e avete una persona a caso che ha solo gettato ingredienti in una ciotola senza cucinare. Se chiedete loro di servire il piatto su un enorme vassoio da 50 centimetri, la persona a caso potrebbe accidentalmente sembrare migliore perché il grande piatto nasconde il fatto che il cibo è crudo. Ma se servite il piatto sulla stessa padella da 7 centimetoli su cui si sono esercitati, lo chef addestrato brilla, e la persona a caso sembra terribile.

In questo studio, la "padella minuscola" è la risoluzione di 32 pixel su cui i robot sono stati addestrati, e il "grande vassoio" è la risoluzione di 224 pixel spesso usata per testarli rispetto ai dati cerebrali. Quando il ricercatore ha testato i robot sulla stessa dimensione di 32 pixel su cui hanno imparato, i robot addestrati (usando la backpropagation) erano leggermente migliori di quelli non addestrati, proprio come ci si aspetterebbe. Ma quando hanno cambiato con le immagini più grandi da 224 pixel, i risultati si sono invertiti. Il robot non addestrato, casuale, improvvisamente sembrava molto più simile alla corteccia visiva precoce dell'uomo (V1) rispetto al robot addestrato. Il divario tra loro è cresciuto costantemente man mano che l'immagine diventava più grande, passando da una piccola differenza di -0,001 a 32 pixel a una grande differenza di +0,044 a 224 pixel.

Escludere i Sospettati

L'autore non si è limitato a trovare il problema; ha giocato a fare il detective per capire perché questo stesse accadendo. Aveva quattro sospetti principali, ed è riuscito a scartarli tutti uno per uno.

Per prima cosa, sospettavano che fosse solo un problema di "disallineamento": forse i robot addestrati performano peggio quando vengono mostrate loro immagini su cui non sono stati addestrati. Per testare questo, hanno provato robot che sono stati effettivamente addestrati sulle immagini grandi da 224 pixel (come un ResNet-50 e un transformer Swin-Tiny). Se la teoria del disallineamento fosse stata vera, questi robot addestrati su immagini grandi avrebbero dovuto performare meglio a 224 pixel. Ma non è stato così. Hanno performato meglio alle basse risoluzioni e sono peggiorati man mano che le immagini diventavano più grandi. Quindi, non si trattava solo di essere stati addestrati sulla dimensione sbagliata.

In secondo luogo, hanno esaminato le impostazioni del robot "non addestrato". I robot non addestrati hanno spesso le impostazioni di "normalizzazione" (che aiutano a mantenere bilanciati i dati) impostate su valori predefiniti, mentre i robot addestrati hanno impostazioni apprese. L'autore ha pensato che forse questa impostazione predefinita fosse la formula segreta. Hanno regolato manualmente le impostazioni del robot non addestrato per farle corrispondere perfettamente ai dati di addestramento. Anche con queste impostazioni perfette, il robot non addestrato ha comunque battuto quello addestrato alle alte risoluzioni. Quindi, non era un glitch delle impostazioni.

In terzo luogo, hanno controllato se i robot stessero solo imitando semplici schemi visivi, come il modo in cui le chiazze di luce e buio (filtri di Gabor) o i pixel grezzi appaiono. Hanno scoperto che i robot che sembravano più simili a questi schemi semplici non necessariamente sembravano più simili al cervello. Infatti, uno dei robot addestrati appariva molto "simile a un Gabor" ma comunque non corrispondeva bene al cervello. Quindi, i pattern semplici non erano l'intera storia.

Quarto, hanno considerato che man mano che l'immagine diventa più grande, il robot sta facendo la media su sempre più pixel, il che potrebbe rendere la sua risposta finale solo una misura della luminosità complessiva dell'immagine. Hanno scoperto che un singolo numero che rappresenta la luminosità media di un'immagine corrispondeva ai dati cerebrali quasi quanto il robot non addestrato. Questo è stato un grande indizio: il robot non addestrato stava facendo gran parte del suo "corrispondenza" semplicemente indovinando la luminosità. Tuttavia, anche dopo aver tenuto conto della luminosità, l'effetto della risoluzione non è scomparso completamente.

Il Vero Colpevole: Il Dettaglio dell'Immagine

Per trovare la vera causa, l'autore ha eseguito un ultimo, astuto esperimento. Ha preso le immagini grandi, le ha rimpicciolite alla dimensione di 32 pixel (limitando il dettaglio) e poi le ha ingrandite nuovamente alla dimensione originale. Ciò significava che il robot stava ancora guardando un'immagine grande e facendo la media su molti pixel, ma il dettaglio effettivo nell'immagine era bloccato alla bassa risoluzione.

Il risultato è stato drammatico. Quando il dettaglio era limitato alla risoluzione di addestramento, i robot addestrati hanno smesso di peggiorare man mano che l'immagine diventava più grande. L'enorme divario tra i robot addestrati e quelli non addestrati è quasi svanito. Questo ha dimostrato che l'effetto non era causato dal fatto che il robot guardasse più pixel (il pooling), ma dal fatto che vedesse più dettagli che non aveva imparato a gestire. Il dettaglio extra nelle immagini ad alta risoluzione stava danneggiando i robot addestrati e aiutando quelli non addestrati, ma l'autore ammette di non capire completamente perché i filtri casuali beneficino di questo dettaglio extra mentre quelli addestrati ne soffrono.

Ciò che Conta Davvero

L'articolo si conclude con un colpo di scena rassicurante. Mentre la parte iniziale del sistema visivo (V1) veniva confusa dalla dimensione dell'immagine, le parti di livello superiore del cervello (chiamate LOC) raccontavano una storia diversa. A questi livelli superiori, i robot addestrati hanno costantemente superato quelli non addestrati, indipendentemente dalla dimensione dell'immagine. Ciò significa che l'apprendimento cambia la natura simile al cervello della rete, ma il "rumore" della risoluzione dell'immagine stava oscurando il segnale nelle fasi iniziali.

Il messaggio principale è un avvertimento per gli scienziati: se volete sapere quale regola di apprendimento è la migliore, dovete essere molto attenti alla dimensione delle immagini che usate per testarle. Il "vincitore" non è una proprietà fissa della regola; è il risultato di come scegliete di misurarla. Finché gli scienziati non concorderanno su un modo standard per far corrispondere la dimensione dell'immagine all'area cerebrale che stanno studiando, i confronti alla corteccia visiva precoce potrebbero essere fuorvianti. L'articolo suggerisce che dovremmo testare alla risoluzione su cui il modello è stato addestrato e riportare chiaramente tale risoluzione, in modo da non essere ingannati dalla trappola della risoluzione.