Sintesi Tecnica: FalseResMem – Una Rete Neurale per Predire i Falsi Ricordi nei Compiti di Riconoscimento Visivo

Problematica

La ricerca sulla memoria visiva si è tradizionalmente basata sulla Teoria della Detezione del Segnale (SDT) per caratterizzare le prestazioni di riconoscimento, separando la forza della memoria (hit) dai criteri decisionali (falsi allarmi). In questo framework, il Tasso di Falsi Allarmi (FAR) — la classificazione errata di immagini nuove come familiari — è spesso trattato come un errore globale a livello di partecipante o come rumore derivante da un criterio di risposta liberale o da una bassa sensibilità. Tuttavia, prove recenti suggeriscono che i falsi ricordi non siano semplici errori casuali, ma fenomeni sistematici e specifici per ogni immagine. Alcune immagini elicitano costantemente un numero maggiore di falsi allarmi tra diversi osservatori (ad esempio, l'Effetto Mandela), indipendentemente dai tratti di memoria generali dell'osservatore.

Gli attuali modelli di deep learning, come ResMem, predicono con successo la memorabilità delle immagini (Hit Rate) estraendo caratteristiche visive intrinseche. Tuttavia, nessun modello esistente mira esplicitamente alla predizione dei falsi allarmi a livello di immagine. Trattare il FAR come mero rumore oscura le proprietà visive sistematiche che guidano il falso riconoscimento. La sfida consiste nello sviluppare un modello in grado di predire la probabilità che un'immagine nuova venga erroneamente riconosciuta come familiare basandosi esclusivamente sulle sue caratteristiche visive, andando oltre le sintesi a livello di partecipante per puntare alla modellazione degli errori specifici dell'immagine.

Metodologia

Dataset

Il modello è stato addestrato esclusivamente sul dataset MemCat (Goetschalckx & Wagemans, 2019), una vasta collezione di 10.000 immagini naturali suddivise in cinque categorie semantiche: animali, cibo, paesaggi, sport e veicoli.

• Verità Fondamentale (Ground Truth): I punteggi FAR sono stati derivati da un compito di riconoscimento continuo che ha coinvolto una media di 99 partecipanti per immagine. Un falso allarme veniva registrato quando un partecipante identificava erroneamente un'immagine nuova come una ripetizione.
• Razionale: MemCat è stato selezionato rispetto al dataset LaMem per la sua superiore coerenza inter-osservatore del FAR ($\rho = 0,78$ vs. $0,67$) e per la maggiore qualità dei dati (es. assenza di duplicati). I tenti di fine-tuning su LaMem non hanno portato miglioramenti nelle prestazioni.

Architettura del Modello: FalseResMem

FalseResMem è un'architettura di deep learning ibrida progettata per predire un singolo punteggio FAR (0–1) per qualsiasi immagine in input. Adatta l'architettura di ResMem, ma è addestrata specificamente per la predizione dell'errore. Il modello consiste in due flussi paralleli di estrazione delle caratteristiche:

1. Flusso ResNet-50: Utilizza gli strati 0–8 (da conv1 al pooling medio adattivo) di una ResNet-50 pre-addestrata su ImageNet-1K. Questo ramo estrae caratteristiche globali a 2.048 dimensioni. Test estesi hanno dimostrato che la ResNet-50 con pre-addestramento su ImageNet ha superato altre varianti (ResNet-18, 34, 101, 152) e l'addestramento da zero.
2. Flusso ispirato ad AlexNet: Uno stack convoluzionale a cinque strati addestrato da zero (inizializzato con pesi casuali). Questo flusso elabora le immagini attraverso una sequenza di strati convoluzionali (kernel 11x11, 5x5, 3x3), attivazioni ReLU, max-pooling e Local Response Normalization (LRN), producendo un vettore di caratteristiche a 9.216 dimensioni. Si ipotizza che questo ramo catturi caratteristiche specifiche legate ai falsi allarmi, distinte dalla memorabilità generale.

Fusione e Testa (Head):
Le caratteristiche ResNet a 2.048 dimensioni e le caratteristiche AlexNet a 9.216 dimensioni vengono concatenate in un vettore di 11.264 dimensioni. Questo viene poi inviato a una testa completamente connessa (fully connected head) a sette strati:

• Strati 1–6: Strati densi con dimensioni 4096, 4096, 2048, 1024, 512 e 256, ciascuno seguito da attivazione ReLU e dropout ($p=0,5$) dopo gli strati 1, 3 e 4.
• Strato 7: Un ultimo strato denso (256 $\to$ 1) con attivazione sigmoidale per produrre la probabilità FAR predetta.

Addestramento e Valutazione

• Ottimizzazione: Il modello è stato addestrato utilizzando lo Stochastic Gradient Descent (SGD) con momentum (0,9) e perdita di Errore Quadratico Medio (MSE).
• Tuning degli Iperparametri: Sono stati condotti 30 tentativi utilizzando Optuna per ottimizzare il tasso di apprendimento ($10^{-5}$ a $10^{-2}$) e la dimensione del batch (8–128). La migliore configurazione ha utilizzato un tasso di apprendimento di 0,009381 e una dimensione del batch di 32.
• Validazione: Le prestazioni sono state valutate tramite cross-validazione a 10 pieghe (10-fold cross-validation). Il limite massimo (ceiling) delle prestazioni del modello è stato stabilito calcolando la coerenza inter-osservatore split-half dei punteggi umani del FAR ($\rho = 0,60 \pm 0,29$).
• Interpretabilità: L'importanza delle caratteristiche è stata analizzata tramite Ablation-CAM (per gestire i problemi di svanimento del gradiente negli strati più profondi) e sensibilità all'occlusione (occluder scorrevoli di 32x32) per identificare le regioni spaziali critiche per le predizioni di alto FAR.

Risultati Chiave

Prestazioni Predittive

FalseResMem ha ottenuto prestazioni robuste sul test set di MemCat:

• Cross-Validazione: Media della correlazione di rango di Spearman ($\rho$) di 0,48 $\pm$ 0,13.
• Miglior Caso: Il modello con le migliori prestazioni ha raggiunto una correlazione di test di $\rho = 0,60$ (MSE = 0,002), raggiungendo efficacementmente il limite della coerenza inter-osservatore umana.
• Generalizzazione: Il modello si è generalizzato con successo a nove dataset indipendenti, inclusi scene (FIGRIM, LaMem), volti, simboli convenzionali e arte, con correlazioni statisticamente significative ($\rho$ compresa tra 0,06 e 0,28).

Prestazioni per Categoria

Le prestazioni variano tra le categorie semantiche:

• Massima Accuratezza: Gli animali ($\rho = 0,673$) e i paesaggi ($\rho = 0,605$) mostrano il più forte allineamento con i dati umani.
• Minima Accuratezza: Le immagini di cibo mostrano la maggiore deviazione dalla verità fondamentale ($\rho = 0,477$), un risultato coerente con il fallimento del modello nel generalizzare al dataset FoodFolio.
• Limiti di Generalizzazione: Sebbene il modello si sia generalizzato a volti e simboli convenzionali, non è riuscito a predire il FAR per i simboli "ingegnerizzati" (progettati per essere memorabili o dimenticabili) e ha mostrato una debole correlazione per le immagini artistiche.

Risultati di Interpretabilità

• Immagini ad Alto FAR: Associate a pattern visivamente semplici, ad alto contrasto e strutturalmente neutri (es. cascate, strisce di zebra). Ablation-CAM e l'analisi di occlusione hanno rivelato che il modello si affida a attivazioni localizzate a bassa intensità in queste regioni.
• Immagini a Basso FAR: Associate a scene complesse, semanticamente sorprendenti o incongruenti. Queste hanno elicitato attivazioni diffuse su tutta l'immagine, suggerendo che il modello le rifiuta come nuove sulla base della complessità globale.
• Contributo delle Caratteristiche: Il flusso AlexNet è stato fondamentale per catturare le caratteristiche locali specifiche che guidano i falsi allarmi, mentre il flusso ResNet ha fornito il contesto globale.

Contributi Chiaveri

1. Primo Predittore di FAR a Livello di Immagine: FalseResMem è la prima rete neurale esplicitamente progettata e addestrata per predire i tassi di falsi allarmi a livello di immagine, spostando l'attenzione dal trattamento del FAR come rumore alla modellazione di un segnale sistematico guidato dall'immagine.
2. Architettura Ibrida: L'introduzione di un'architettura a doppio flusso che combina una ResNet-50 pre-addestrata su ImageNet con uno stack di tipo AlexNet ri-addestrato per catturare sia le caratteristiche globali che quelle specifiche che guidano il falso riconoscimento.
3. Strumento Pratico: Gli autori hanno rilasciato FalseResmem come pacchetto open-source PyPI (falseresmem), fornendo ai ricercatori in psicologia, neuroscienze e visione artificiale uno strumento accessibile per stimare il FAR senza competenze di programmazione.
4. Validazione Empirica: Lo studio fornisce la prova empirica che una parte sostanziale della variabilità del falso riconoscimento è prevedibile dalle sole caratteristiche visive, raggiungendo la coerenza teorica massima dell'osservatore umano.

Significato e Rivendicazioni

L'articolo sostiene che FalseResMem offra un cambio di paradigma nella modellazione della memoria visiva, riformulando i falsi allarmi non come errori casuali o tratti del partecipante, ma come proprietà prevedibili delle immagini. Raggiungendo prestazioni che corrispondono alla coerenza inter-osservatore umana, il modello dimostra che le caratteristiche visive intrinseche (come i bordi di contrasto e l'uniformità spaziale) guidano sistematicamente la "familiarità ingannevole" associata ai falsi ricordi.

Gli autori sottolineano l'utilità di questo strumento per:

• Design Sperimentale: Permettere ai ricercatori di pre-selezionare gli stimoli per indurre intenzionalmente o eliminare i falsi ricordi.
• Applicazioni Forensi e Cliniche: Potenzialmente migliorare le procedure di testimonianza oculare identificando le immagini soggette a falso riconoscimento e indagando sui bias di memoria nelle popolazioni cliniche.
• Avanzamento Teorico: Fornire un quadro quantitativo per studiare l'Effetto Mandela e altri falsi ricordi collettivi, colmando il divario tra la classica teoria della memoria e il moderno deep learning.

L'articolo conclude che integrare metriche basate sull'errore come il FAR nella modellazione della memoria visiva è essenziale per sviluppare teorie complete della memoria che tengano conto sia del richiamo accurato che delle distorsioni sistematiche.