GRAFF-MM : Graph-Frequency Filtering for Multi-Modal Memorability Prediction

Alcune immagini restano impresse nella mente, mentre altre svaniscono quasi istantaneamente. Questa qualità, nota come memorabilità, non riguarda semplicemente quanto una foto sia bella o quanto una persona la gradisca. Si tratta invece di un tratto misurabile dell'immagine stessa, una proprietà che determina quanto sia probabile che una persona ricordi quella specifica scena dopo averla vista una sola volta. I ricercatori sanno da tempo che l'intuizione umana è scarsa nel prevedere quali immagini verranno ricordate; spesso assumiamo che un volto sorprendente o un colore brillante renderanno un'immagine memorabile, solo per scoprire che è una scena banale con una specifica disposizione di oggetti ciò che in realtà persiste. Per comprendere questo fenomeno, gli scienziati si sono rivolti ai computer, costruendo modelli che tentano di prevedere questi punteggi analizzando gli ingredienti visivi di una fotografia. I primi tentativi si basavano su semplici misurazioni di colore e forma, ma spesso trascuravano il contesto più profondo che rende un'immagine memorabile. Gli sforzi più recenti hanno utilizzato l'intelligenza artificiale complessa per esaminare oggetti e le loro relazioni, eppure molti di questi sistemi trascurano ancora i dettagli sottili e ad alta velocità di una scena o il modo in cui l'occhio umano scansiona naturalmente un'immagine.

Un team di ricercatori ha ora proposto un nuovo approccio che unisce diversi modi di vedere un'immagine per risolvere questo enigma. Il loro lavoro, chiamato GRAFF-MM, opera sull'idea che nessun metodo singolo possa catturare tutto ciò che rende un'immagine memorabile. Invece, il modello combina tre flussi distinti di informazioni: la disposizione spaziale degli oggetti, le aree in cui l'occhio umano è più propenso a concentrarsi e il linguaggio descrittivo che spiega cosa stia accadendo nella scena. Per gestire la disposizione spaziale, i ricercatori hanno costruito un sistema che tratta un'immagine come una mappa di punti connessi, dove ogni punto rappresenta un oggetto e le linee tra di essi mostrano come tali oggetti siano correlati tra loro. Fondamentalmente, hanno migliorato questo sistema insegnandogli a prestare attenzione sia ai modelli ampi e fluidi della scena, sia ai bordi netti e dettagliati che spesso segnalano qualcosa di insolito o importante. Questo doppio focus permette al computer di vedere non solo che una motocicletta si trova su una strada, ma che la motocicletta sta inclinando bruscamente in una curva, un dettaglio che potrebbe essere la chiave del motivo per cui l'immagine viene ricordata.

I ricercatori hanno testato questo nuovo modello contro quattro diverse collezioni di immagini, che vanno da migliaia di fotografie variegate a set più piccoli focalizzati su oggetti specifici. In ogni caso, il nuovo modello ha superato i metodi precedenti, raggiungendo un livello di accuratezza che si avvicina molto a quanto gli esseri umani concordano su quali immagini siano memorabili. Su un importante dataset, il modello ha raggiunto un punteggio di 0,692, e su un altro ha raggiunto 0,711, numeri che indicano un forte allineamento con la memoria umana. Lo studio ha incluso anche un esame dettagliato del perché il modello funzioni, mostrando che rimuovere anche solo una delle sue tre parti principali — la mappa spaziale, la guida all'eye-tracking o la descrizione testuale — causava un calo delle prestazioni. Ciò conferma che ogni elemento aggiunge qualcosa di unico: il testo fornisce la storia, la guida all'eye-tracking mostra dove avviene l'azione e la mappa spaziale rivela la struttura.

Uno dei risultati più significativi è che la capacità del modello di rilevare i dettagli ad alta frequenza — quei cambiamenti rapidi e netti nell'immagine che i sistemi precedenti spesso smussavano — è stata essenziale per il suo successo. Filtrando i dati visivi per mantenere sia la visione d'insieme che i dettagli fini, il modello è stato in grado di individuare le disposizioni insolite o le azioni specifiche che fanno risaltare un'immagine. I ricercatori hanno anche visualizzato come il modello ha appreso, mostrando che, man mano che combinava questi diversi tipi di informazioni, le immagini analizzate iniziavano a raggrupparsi più chiaramente in base alla loro memorabilità. Sebbene il modello non sia perfetto e talvolta fatichi con immagini sfocate o scene eccessivamente complesse, esso rappresenta un passo avanti significativo nella comprensione di come i computer possano imparare a vedere il mondo come fa la memoria umana. Il lavoro suggerisce che, per prevedere davvero ciò che ricorderemo, dobbiamo guardare un'immagine non solo come una collezione di pixel, ma come una storia raccontata attraverso lo spazio, l'attenzione e il linguaggio.