Technische Samenvatting: FalseResMem – Een Neuraal Netwerk om Vals Geheugen te Voorspellen in Visuele HerkenningsTaken

Probleemstelling

Visueel geheugenvorschung heeft traditioneel vertrouwd op Signaaldetectietheorie (SDT) om herkenningsprestaties te karakteriseren, waarbij een onderscheid wordt gemaakt tussen geheugensterkte (hits) en beslissingscriteria (false alarms). Binnen dit kader wordt de False Alarm Rate (FAR)—de onjuiste classificatie van nieuwe afbeeldingen als bekend—vaak behandeld als een globale, deelnemer-specifieke fout of ruis die voortkomt uit een liberale beslissingscriterium of lage sensitiviteit. Echter, recent bewijs suggereert dat valse herinneringen niet louter willekeurige fouten zijn, maar consistente, beeld-specifieke fenomenen. Bepaalde afbeeldingen lokken consequent hogere false alarms uit bij verschillende waarnemers (bijv. het "Mandela-effect"), onafhankelijk van de algemene geheugeneigenschappen van de waarnemer.

Huidige deep learning-modellen, zoals ResMem, voorspellen succesvol de memorabiliteit van afbeeldingen (Hit Rate) door intrinsieke visuele kenmerken te extraheren. Echter, geen enkel bestaand model richt zich expliciet op de voorspelling van beeld-specifieke false alarms. Het behandelen van FAR als louter ruis maskeert de systematische visuele eigenschappen die valse herkenning aansturen. De uitdaging bestaat erin een model te ontwikkelen dat de waarschijnlijkheid kan voorspellen dat een nieuwe afbeelding ten onrechte als bekend wordt herkend, uitsluitend op basis van de visuele kenmerken ervan, waarbij de focus verschuift van deelnemer-niveau samenvattingen naar beeld-specifieke foutmodellering.

Methodologie

Dataset

Het model werd uitsluitend getraind op de MemCat-dataset (Goetschalckx & Wagemans, 2019), een grootschalige collectie van 10.000 natuurlijke afbeeldingen verdeeld over vijf semantische categorieën: dieren, voedsel, landschappen, sport en voertuigen.

• Ground Truth: FAR-scores werden afgeleid van een continue herkenningstaak met een gemiddelde van 99 deelnemers per afbeelding. Een false alarm werd geregistreerd wanneer een deelnemer een nieuwe afbeelding onterecht als een herhaling identificeerde.
• Rationale: MemCat werd gekozen boven de LaMem-dataset vanwege de superieure inter-waarnemer FAR-consistentie ($\rho = 0,78$ vs. $0,67$) en hogere datakwaliteit (bijv. afwezigheid van duplicaten). Pogingen om op LaMem te finetunen leverden geen verbetering in prestaties op.

Modelarchitectuur: FalseResMem

FalseResmem is een hybride deep learning-architectuur ontworpen om een enkele FAR-score (0–1) voor elke invoerafbeelding te voorspellen. Het past de architectuur van ResMem aan, maar is specifiek getraind voor foutvoorspelling. Het model bestaat uit twee parallelle extractiestromen van kenmerken:

1. ResNet-50 Stroom: Maakt gebruik van lagen 0–8 (conv1 tot en met adaptive average pooling) van een op ImageNet-1K voorgetrainde ResNet-50. Deze tak extraheert 2.048-dimensionale globale kenmerken. Uit uitgebreid testen bleek dat ResNet-50 met ImageNet-pretraining beter presteerde dan andere varianten (ResNet-18, 34, 101, 152) en training vanaf nul.
2. AlexNet-geïnspireerde Stroom: Een stack van vijf convolutionele lagen getraind vanaf scratch (geïnitialiseerd met willekeurige gewichten). Deze stroom verwerkt afbeeldingen via een sequentie van convolutionele lagen (11x11, 5x5, 3x3 kernels), ReLU-activaties, max-pooling en Local Response Normalization (LRN), wat een 9.216-dimensionale featurevector oplevert. Er wordt verondersteld dat deze tak specifieke, door false alarms gerelateerde kenmerken vastlegt die verschillen van algemene memorabiliteit.

Fusie en Head:
De 2.048-dimensionale ResNet-kenmerken en de 9.216-dimensionale AlexNet-kenmerken worden geconcateneerd tot een 11.264-dimensionale vector. Deze wordt ingevoerd in een seven-layer fully connected head:

• Lagen 1–6: Dense lagen met dimensies 4096, 4096, 2048, 1024, 512 en 256, elk gevolgd door ReLU-activatie en dropout ($p=0,5$) na lagen 1, 3 en 4.
• Laag 7: Een laatste dense laag (256 $\to$ 1) met een sigmoid-activatie om de voorspelde FAR-waarschijnlijkheid uit te voeren.

Training en Evaluatie

• Optimalisatie: Het model werd getraind met behulp van Stochastic Gradient Descent (SGD) met momentum (0,9) en Mean Squared Error (MSE) loss.
• Hyperparameter Tuning: Er werden 30 proeven uitgevoerd met Optuna om de leersnelheid ($10^{-5}$ tot $10^{-2}$) en batchgrootte (8–128) te optimaliseren. De beste configuratie gebruikte een leersnelheid van 0,009381 en een batchgrootte van 32.
• Validatie: Prestaties werden geëvalueerd middels 10-voudige kruisvalidatie. Het plafond voor modelprestaties werd vastgesteld door de split-half inter-waarnemer consistentie van menselijke FAR-scores te berekenen ($\rho = 0,60 \pm 0,29$).
• Interpreteerbaarheid: De belangrijkheid van kenmerken werd geanalyseerd met behulp van Ablation-CAM (om problemen met gradiëntverdwijning in diepere lagen aan te pakken) en occlusie-sensitiviteit (met behulp van verschuivende 32x32 occluders) om de ruimtelijke regio's te identificeren die cruciaal zijn voor hoge FAR-voorspellingen.

Belangrijkste Resultaten

Voorspellende Prestaties

FalseResMem behaalde robuuste prestaties op de MemCat-testset:

• Kruisvalidatie: Gemiddelde Spearman's rangcorrelatie ($\rho$) van 0,48 $\pm$ 0,13.
• Best Case: Het best presterende model bereikte een testcorrelatie van $\rho = 0,60$ (MSE = 0,002), waarmee effectief het plafond van de menselijke inter-waarnemer consistentie werd bereikt.
• Generalisatie: Het model generaliseerde succesvol naar negen onafhankelijke datasets, waaronder scènes (FIGRIM, LaMem), gezichten, conventionele symbolen en kunst, met statistisch significante correlaties ($\rho$ variërend van 0,06 tot 0,28).

Categorie-specifieke Prestaties

Prestaties varieerden per semantische categorie:

• Hoogste Nauwkeurigheid: Afbeeldingen van dieren ($\rho = 0,673$) en landschappen ($\rho = 0,605$) vertoonden de sterkste overeenkomst met menselijke data.
• Laagste Nauwkeurigheid: Voedselafbeeldingen vertoonden de grootste afwijking van de ground truth ($\rho = 0,477$), een bevinding die consistent is met het falen van het model om te generaliseren naar de FoodFolio-dataset.
• Grenzen van Generalisatie: Hoewel het model generaliseerde naar gezichten en conventionele symbolen, kon het de FAR voor "engineered" symbolen (ontworpen om memorabel of vergetelijk te zijn) niet voorspellen en vertoonde het een zwakke correlatie voor kunstafbeeldingen.

Bevindingen over Interpreteerbaarheid

• Hoge FAR Afbeeldingen: Geassocieerd met visueel eenvoudige, hoog-contrastrijke en structureel neutrale patronen (bijv. watervallen, zebra-strepen). Ablation-CAM en occlusie-analyses toonden aan dat het model vertrouwt op gelokaliseerde, lage-intensiteit activaties in deze regio's.
• Lage FAR Afbeeldingen: Geassocieerd met complexe, semantisch verrassende of incongruente scènes. Deze riepen diffuse, globale beeldactivaties op, wat suggereert dat het model ze afwijst als nieuw op basis van globale complexiteit.
• Bijdrage van Kenmerken: De AlexNet-stroom was cruciaal voor het vastleggen van de specifieke lokale kenmerken die false alarms aansturen, terwijl de ResNet-stroom de globale context bood.

Belangrijkste Bijdragen

1. Eerste Beeld-niveau FAR Voorspeller: FalseResMem is de eerste neurale netwerk die expliciet is ontworpen en getraind om beeld-specifieke false alarm rates te voorspellen, waarmee de focus verschuift van het behandelen van FAR als ruis naar het modelleren ervan als een systematisch, beeld-gestuurd signaal.
2. Hybride Architectuur: De introductie van een dual-stream architectuur die een op ImageNet-pretraining gebaseerde ResNet-50 combineert met een opnieuw getrainde AlexNet-achtige stack om zowel globale als specifieke kenmerken te vangen die valse herkenning aansturen.
3. Praktisch Instrument: De auteurs hebben FalseResMem vrijgegeven als een open-source PyPI-package (falseresmem), waardoor onderzoekers in psychologie, neurowetenschappen en computer vision een toegankelijk instrument hebben om FAR te schatten zonder programmeerkennis.
4. Empirische Validatie: De studie levert empirisch bewijs dat een aanzienlijk deel van de variabiliteit in valse herkenning voorspelbaar is vanuit visuele kenmerken alleen, waarbij het plafond van menselijke consistentie wordt bereikt.

Betekenis en Claims

Het artikel claimt dat FalseResMem een paradigmaverschuiving biedt in visuele geheugenmodellering door valse alarmen te herdefiniëren: niet als willekeurige fouten of deelnemer-eigenschappen, maar als voorspelbare eigenschappen van afbeeldingen. Door prestaties te leveren die overeenkomen met de menselijke inter-waarnemer consistentie, demonstreert het model dat intrinsieke visuele kenmerken (zoals contrastgrenzen en ruimtelijke uniformiteit) systematisch de "misleidende bekendheid" aansturen die gepaard gaat met valse herinneringen.

De auteurs benadrukken het nut van dit instrument voor:

• Experimenteel Ontwerp: Het in staat stellen van onderzoekers om stimuli voor te selecteren om doelbewust valse herinneringen op te wekken of juist te elimineren.
• Forensische en Klinische Toepassingen: Het potentieel om getuigenverklaringen te verbeteren door afbeeldingen te identificeren die gevoelig zijn voor valse herkenning en het onderzoeken van geheugenbiases in klinische populaties.
• Theoretische Vooruitgang: Het bieden van een kwantitatief kader voor het bestuderen van het "Mandela-effect" en andere collectieve valse herinneringen, waardoor de kloof tussen klassieke geheugentheorie en moderne deep learning wordt overbrugt.

Het artikel concludeert dat het integreren van fout-gebaseerde metrieken zoals FAR in visuele geheugenmodellering essentieel is voor het ontwikkelen van uitgebreide theorieën van geheugen die zowel rekening houden met accurate herinnering als met systematische verstoringen.