The Impact of Noise on Memorability in Minds and Machines
Questo articolo dimostra che mentre le convenzionali reti neurali profonde non riescono a eguagliare la robustezza umana nella stima della memorabilità delle immagini in presenza di rumore a causa del loro affidamento sulle caratteristiche dei singoli immagini, il nuovo modello GraphMem proposto si allinea con successo alle prestazioni umane sfruttando la struttura relazionale tra le immagini.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Non viviamo in un mondo visivo perfetto. I nostri occhi spesso vedono attraverso parabrezza striati dalla pioggia, filmati di sicurezza granulosi o la luce fioca della sera. Eppure, nonostante queste imperfezioni, la memoria umana è straordinariamente costante. Se mostrate a un grande gruppo di persone la fotografia di un bambino che spegne le candeline di un compleanno e un'altra di un parcheggio vuoto, la maggior parte ricorderà la scena della festa e dimenticherà il parcheggio. Questo fenomeno, noto come memorabilità dell'immagine, suggerisce che alcune immagini siano semplicemente più facili da conservare per il nostro cervello rispetto ad altre. Gli scienziati credono da tempo che le immagini memorabili siano elaborate più efficientemente dal cervello, permettendo loro di essere riconosciute e archiviate rapidamente. Per studiare questo aspetto, i ricercatori si sono rivolti sempre più all'intelligenza artificiale, utilizzando reti neurali profonde — sistemi informatici progettati per mimare il cervello umano — per prevedere quali immagini le persone ricorderanno. Questi modelli sono ora usati per valutare e selezionare immagini per tutto, dall' pubblicità alla ricerca scientifica, sostituendo spesso gli osservatori umani. Ma una domanda critica rimane: queste macchine comprendono la memoria allo stesso modo in cui lo facciamo noi, specialmente quando le immagini che vedono sono degradate da rumore o sfocatura?
Un team di ricercatori della George Mason University ha deciso di testare questo aspetto confrontando il modo in cui sia gli esseri umani che l'intelligenza artificiale gestiscono il rumore visivo. Hanno iniziato con un set standard di immagini note per avere livelli variabili di memorabilità, che vanno da scene altamente memorabili a quelle che vengono facilmente dimenticate. Hanno poi degradato sistematicamente queste immagini aggiungendo diverse quantità di statico visivo, simile alla grana vista sui vecchi schermi televisivi, e anche sfocandole. Per prima cosa, hanno fatto passare queste immagini rumorose attraverso diversi modelli informatici all'avanguardia che sono attualmente considerati i migliori nel predire la memoria umana. I risultati sono stati sorprendenti. I modelli informatici si sono comportati in un modo che somiglia al fenomeno chiamato risonanza stocastica, in cui l'aggiunta di un po' di rumore può effettivamente rendere un segnale debole più facile da rilevare. Nei modelli, l'aggiunta di rumore ha reso le immagini meno memorabili apparentemente più memorabili, mentre ha reso quelle più memorabili meno memorabili. Era come se il rumore avesse confuso la concentrazione del computer, portandolo a giudicare erroneamente l'importanza dell'immagine.
I ricercatori hanno poi chiesto ai partecipanti umani di eseguire lo stesso compito, guardando le stesse immagini rumorose e sfocate in un gioco di riconoscimento continuo in cui dovevano identificare immagini ripetute. I risultati umani hanno raccontato una storia completamente diversa. Quando le immagini erano degradate, la memoria umana per le immagini altamente memorabili rimaneva forte e resistente al rumore. Tuttavia, la memoria per le immagini meno memorabili diminuiva drasticamente. A differenza dei computer, gli esseri umani non hanno trovato che il rumore aiutasse a ricordare le immagini dimenticabili; al contrario, il rumore rendeva semplicemente più difficile ricordare qualsiasi cosa, ma la capacità del cervello di trattenere le immagini più accattivanti era molto più robusta. Lo studio ha scoperto che questo divario tra la prestazione umana e quella delle macchine persisteva anche quando i ricercatori riaddestravano i modelli informatici su immagini rumorose, una tecnica che di solito aiuta le macchine a riconoscere meglio gli oggetti degradati. I modelli continuavano a giudicare erroneamente l'effetto del rumore sulla memoria, suggerendo che il loro modo interno di elaborare le immagini è fondamentalmente diverso da come gli esseri umani imparano e ricordano.
Per capire perché i computer stessero fallendo, i ricercatori hanno esaminato dove i modelli stessero "guardando" quando prendevano i loro giudizi. Hanno scoperto che per le immagini altamente memorabili, i modelli concentravano la loro attenzione su una parte specifica e centrale dell'immagine. Quando veniva aggiunto il rumore, questo focus si disperdeva e la fiducia del modello nella memorabilità dell'immagine diminuiva. Per le immagini meno memorabili, i modelli avevano inizialmente un focus disperso, ma il rumore a volte causava loro di concentrarsi su un singolo punto, aumentando accidentalmente il punteggio. Al contrario, la memoria umana non dipende da un singolo punto focale nello stesso modo. I ricercatori hanno scoperto che la memoria umana dipende fortemente da come un'immagine si relaziona con altre immagini in un set, piuttosto che solo dalle caratteristiche dell'immagine stessa. Per testare questo, hanno costruito un nuovo modello chiamato GraphMem. Invece di analizzare ogni immagine isolatamente, questo modello osserva le relazioni tra tutte le immagini, mappandole in base a quanto sono simili tra loro.
Quando i ricercatori hanno testato questo nuovo approccio, i risultati sono cambiati drasticamente. GraphMem, che tiene conto del contesto e delle relazioni tra le immagini, ha performato molto più come un essere umano. Ha predetto correttamente che le immagini altamente memorabili sarebbero rimaste stabili anche all'aumentare del rumore, mentre quelle meno memorabili ne avrebbero sofferto. Non è caduto nella trappola di pensare che il rumore rendesse migliori le immagini scarse. Lo studio suggerisce che la ragione per cui l'attuale intelligenza artificiale fatica con la memoria in condizioni di rumore è che tratta ogni immagine come un oggetto autonomo, ignorando il contesto più ampio in cui guardiamo naturalmente il mondo. Gli esseri umani, essendo cresciuti vedendo il mondo in tutta la sua imperfetta chiarezza, hanno imparato a filtrare il rumore e a fare affidamento sulla distintività di un'immagine rispetto a tutto il resto che abbiamo visto. Le scoperte indicano che per costruire sistemi di memoria veramente simili a quelli umani, l'intelligenza artificiale deve andare oltre l'analisi delle singole caratteristiche e iniziare a comprendere la rete di relazioni che collega un'immagine alla successiva.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.