The Impact of Noise on Memorability in Minds and Machines
Dit artikel toont aan dat terwijl conventionele diepe neurale netwerken er niet in slagen om de menselijke robuustheid te evenaren bij het schatten van beeldmemorabiliteit onder ruis vanwege hun afhankelijkheid van individuele beeldkenmerken, het nieuw voorgestelde GraphMem-model er succesvol in slaagt om met de menselijke prestaties te corresponderen door gebruik te maken van de relationele structuur tussen beelden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
We leven niet in een perfect visuele wereld. Onze ogen kijken vaak door regenstreperige voorruiten, korrelige beveiligingsbeelden of het schemerige licht van de avond. Toch is het menselijk geheugen, ondanks deze imperfecties, opmerkelijk consistent. Als je een grote groep mensen een foto laat zien van een kind dat verjaardagkaarsjes uitblaast en een andere van een lege parkeerplaats, zullen de meesten de feestscène onthouden en de parkeerplaats vergeten. Dit fenomeen, bekend als beeldmemorabiliteit, suggereert dat sommige afbeeldingen simpelweg makkelijker vast te houden zijn door ons brein dan andere. Wetenschappers geloven al lang dat memorabele beelden efficiënter door het brein worden verwerkt, waardoor ze sneller herkend en opgeslagen kunnen worden. Om dit te bestudelen, hebben onderzoekers steeds vaker gebruikgemaakt van kunstmatige intelligentie, waarbij ze diepe neurale netwerken gebruiken—computersystemen die ontworpen zijn om het menselijk brein na te bootsen—om te voorspellen welke afbeeldingen mensen zullen onthouden. Deze modellen worden nu gebruikt om afbeeldingen te scoren en te selecteren voor alles van reclame tot wetenschappelijk onderzoek, waarbij ze vaak menselijke waarnemers vervangen. Maar een cruciale vraag blijft: begrijpen deze machines het geheugen op dezelfde manier als wij, vooral wanneer de beelden gedegradeerd zijn door ruis of onscherpte?
Een team van onderzoekers aan de George Mason University zette zich scharpe om dit te testen door te vergelijken hoe zowel mensen als kunstmatige intelligentie omgaan met visuele ruis. Ze begonnen met een standaard set afbeeldingen waarvan bekend is dat ze variërende niveaus van memorabiliteit hebben, variërend van zeer memorabele scènes tot beelden die gemakkelijk vergeten worden. Vervolgens degradeerden ze deze afbeeldingen systematisch door verschillende hoeveelheden visuele statische elektriciteit toe te voegen, vergelijkbaar met de korrel die te zien is op oude televisieschermen, en door ze ook te vervagen. Eerst haalden ze deze ruizige afbeeldingen door verschillende geavanceerde computermodellen die momenteel als de beste worden beschouwd in het voorspellen van het menselijk geheugen. De resultaten waren verrassend. De computermodellen gedroegen zich op een manier die leek op een fenomeen genaamd stochastische resonantie, waarbij het toevoegen van een beetje ruis een zwak signaal daadwerkelijk gemakkelijker detecteerbaar kan maken. In de modellen zorgde het toevoegen van ruis ervoor dat de minst memorabele afbeeldingen memorabeler leken, terwijl de meest memorabele afbeeldingen minder memorabel leken. Het was alsof de ruis de focus van de computer verwarde, waardoor het de belangrijkheid van de afbeelding verkeerd inschatte.
De onderzoekers vroegen menselijke deelnemers vervolgens om dezelfde taak uit te voeren, waarbij zij dezelfde ruizige en onscherpe afbeeldingen bekeken in een continu herkenningsspel waarbij ze herhaalde plaatjes moesten identificeren. De menselijke resultaten vertelden een totaal ander verhaal. Wanneer de afbeeldingen gedegradeerd waren, bleef het menselijk geheugen voor de zeer memorabele plaatjes sterk en bestand tegen de ruis. Echter, het geheugen voor de minder memorabele plaatjes nam scherp af. In tegen tegenstelling tot de computers, vonden mensen niet dat ruis hielp om de vergetelijke afbeeldingen te onthouden; in plaats daarvan maakte de ruis het simpelweg moeilijker om iets te onthouden, maar het vermogen van het brein om de meest opvallende beelden vast te houden was veel robuuster. De studie vond dat deze kloof tussen menselijke en machinale prestaties standhield, zelfs toen de onderzoekers de computermodellen hertrainden op ruizige afbeeldingen, een techniek die machines normaal gesproken helpt om gedegradeerde objecten beter te herkennen. De modellen bleven de invloed van ruis op het geheugen verkeerd inschatten, wat suggereert dat hun interne manier van beeldverwerking fundamenteel verschilt van hoe mensen leren en onthouden.
Om te begrijpen waarom de computers faalden, keken de onderzoekers naar waar de modellen naar "keken" wanneer ze hun oordelen velden. Ze ontdekten dat de modellen voor zeer memorabele afbeeldingen hun aandacht richtten op een specif specifieke, centrale plek in de afbeelding. Wanneer er ruis werd toegevoegd, verspreidde deze focus zich, en daalde het vertrouwen van het model in de memorabiliteit van de afbeelding. Voor minder memorabele afbeeldingen was de focus aanvankelijk verspreid, maar de ruis zorgde er soms voor dat het model zich op één enkel punt concentreerde, wat de score per ongeluk een boost gaf. In contrast hiermee leunt het menselijk geheugen niet op een enkel brandpunt op dezelfde manier. De onderzoekers ontdekten dat het menselijk geheugen sterk afhangt van hoe een afbeelding zich verhoudt tot andere afbeeldingen in een set, in plaats van alleen naar de kenmerken van de afbeelding zelf te kijken. Om dit te testen, bouwden ze een nieuw model genaamd GraphMem. In plaats van elke afbeelding in isolatie te analyseren, kijkt dit model naar de relaties tussen alle afbeeldingen, waarbij ze in kaart worden gebracht op basis van hoe ze elkaar lijken.
Toen de onderzoekers deze nieuwe aanpak testten, veranderden de resultaten drastisch. GraphMem, dat rekening houdt met de context en de relaties tussen afbeeldingen, presteerde veel meer zoals een mens. Het voorspelde correct dat zeer memorabele afbeeldingen stabiel zouden blijven zelfs wanneer de ruis toenam, terwijl minder memorabele afbeeldingen eronder zouden lijden. Het viel niet in de valstrik om te denken dat ruis slechte afbeeldingen beter maakte. De studie suggereert dat de reden waarom huidige kunstmatige intelligentie moeite heeft met geheugen onder ruizige omstandigheden is dat het elke afbeelding als een op zichzelf staand object behandelt, waarbij de bredere context waarin we de wereld natuurlijk waarnemen, wordt genegeerd. Mensen, die opgegroeid zijn met het zien van de wereld in al haar imperfecte helderheid, hebben geleerd om ruis weg te filteren en te vertrouwen op de onderscheidbaarheid van een afbeelding ten opzichte van alles wat we eerder hebben gezien. De bevindingen wijzen erop dat om werkelijk menselijke geheugensystemen te bouwen, kunstmatige intelligentie verder moet gaan dan het analyseren van individuele kenmerken en moet beginnen met het begrijpen van het web van relaties dat de ene afbeelding met de volgende verbindt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.