Representational magnitude as a geometric signature ofimage and word memorability

Dit onderzoek toont aan dat de grootte van representaties in zowel neurale netwerken als hersenen een universele voorspeller is van de herkenbaarheid van stimuli, aangezien deze niet alleen geldt voor afbeeldingen maar ook voor woorden, hoewel dit effect niet voor stemmen geldt.

De kern

Waarom onthouden we sommige dingen en vergeten we andere? Het geheim zit in de "kracht" van de herinnering.

Stel je voor dat je hersenen een enorme bibliotheek zijn. Elke keer als je iets ziet, hoort of leest, wordt er een nieuw boekje in deze bibliotheek geplaatst. Maar waarom blijven sommige boekjes (zoals het gezicht van je beste vriend) voor altijd hangen, terwijl andere (zoals de naam van een voorbijganger) direct weer verdwijnen?

Volgens dit nieuwe onderzoek is het antwoord verrassend simpel: het gaat om hoe hard het boekje op de plank "schreeuwt".

De "Grootte" van een Gedachte

De onderzoekers hebben ontdekt dat dingen die we goed onthouden, een soort grootte-voordeel hebben in onze hersenen (en zelfs in computerprogramma's).

Stel je voor dat je hersenen een enorm groot laken zijn met duizenden kleine haken.

• Een saaie, gewone foto van een stoel pakt misschien maar één klein haakje vast. Het laken zakt nauwelijks. Dit is een kleine "representatie".
• Een opvallende, grappige of unieke foto (bijvoorbeeld een stoel die eruitziet als een mens) pakt tientallen haken tegelijk en trekt er flink aan. Het laken zakt diep en vormt een groot, duidelijk gat. Dit is een grote "representatie".

De onderzoekers noemen dit de "Representational Magnitude" (of in het Nederlands: de grootte van de vertegenwoordiging). Hun conclusie? Hoe meer haken een stimulus pakt en hoe harder hij eraan trekt, hoe groter de kans is dat je het onthoudt.

Het Experiment: Van Foto's naar Woorden

Eerder wisten we al dat dit werkt voor foto's. Als een computer (een kunstmatige hersenen) een foto ziet, en de "signaalsterkte" van die foto is hoog, dan is de kans groot dat een mens die foto later ook onthoudt.

Maar de onderzoekers wilden weten: Geldt dit alleen voor foto's, of werkt dit ook voor andere dingen?

Ze hebben drie grote experimenten gedaan:

1. Foto's (De bevestiging): Ze keken naar duizenden foto's. Net als verwacht: foto's met een sterke "signaal" in de computer werden beter onthouden door mensen.
2. Woorden (De verrassing): Ze keken naar duizenden woorden. Ze gebruikten slimme computerprogramma's die woorden omzetten in cijferrijtjes (zoals een stamper van een vingerafdruk).
   • Het resultaat: Woorden met een "sterkere" cijferrij (een grotere L2-norm, om het technisch te houden) werden ook beter onthouden! Of het nu een woord was als "liefde" of "bliksem", als het woord in het computerprogramma een sterke, duidelijke "voetafdruk" liet, onthielden mensen het beter.
   • Belangrijk: Dit had niets te maken met hoe vaak het woord gebruikt werd of of het een mooi woord was. Het ging puur om de kracht van de code.
3. Stemmen (De uitzondering): Ze keken ook naar stemmen (wie spreekt er?). Hier werkte het geheim niet. De "grootte" van de stemcode voorspelde niet of mensen de stem zouden onthouden.
   • Waarom? Misschien omdat we stemmen onthouden op basis van heel andere dingen, zoals de toonhoogte of het ritme, en niet op basis van hoe "groot" de code is.

Wat betekent dit voor ons?

Dit onderzoek vertelt ons iets moois over hoe het geheugen werkt:

• Het is niet alleen "opslag": Onthouden is niet alleen een kwestie van een plek vinden in je hoofd. Het begint al bij het moment dat je iets ziet of hoort.
• De "Voetafdruk": Als iets je hersenen (of een computer) zo hard raakt dat het veel verschillende onderdelen tegelijk activeert, laat het een grote voetafdruk achter. Die grote voetafdruk is makkelijker te vinden als je later probeert te herinneren wat je zag.
• Het is universeel: Of het nu gaat om een beeld, een woord of een idee: hoe krachtiger de eerste indruk is, hoe beter het blijft hangen.

De Analogie van de Gitaar

Stel je voor dat je een gitaar hebt met duizenden snaren (je hersenen).

• Als je een zacht, eentonig geluid maakt, trilt misschien één snar heel zachtjes. Die trilling is nauwelijks te horen en verdwijnt snel.
• Als je een krachtige, complexe akkoord slaat, trillen honderden snaren tegelijk hard. De hele gitaar trilt mee. Die trilling is krachtig, duurt langer en is veel makkelijker te horen als je later weer luistert.

Dit onderzoek zegt: Dingen die een "complexe akkoord" zijn voor je hersenen, blijven hangen. Dingen die maar één snar raken, vergeten we snel.

Conclusie

We onthouden niet alles wat we zien of horen. We onthouden vooral de dingen die een diepe, krachtige indruk maken op onze hersenen. Of het nu een foto is, een woord of een idee: hoe meer "kracht" er achter die eerste gedachte zit, hoe beter het in je geheugen blijft staan. Het is alsof je een dieper spoor in het zand laat lopen; hoe dieper het spoor, hoe makkelijker je het later weer kunt vinden.

Technische samenvatting

Probleemstelling

De kernvraag van dit onderzoek is: Wat maakt sommige stimuli intrinsiek beter onthoudbaar dan andere?
Hoewel eerder onderzoek (o.a. Jaegle et al., 2019) heeft aangetoond dat de representatiekracht (de grootte van de responsvector of L2-norm) in de inferotemporale cortex van apen en in convolutionele neurale netwerken (CNN's) de herkenbaarheid van afbeeldingen voorspelt, bleef onduidelijk of dit een specifiek visueel fenomeen is of een algemeen principe van gedistribueerde representaties. Bestaande theorieën suggereren dat stimuli die meer kenmerken activeren en dit sterker doen, een groter "voetafdruk" achterlaten in het geheugen. De auteurs willen onderzoeken of dit principe van representational magnitude (L2-norm) ook geldt buiten het visuele domein, specifiek voor taal (woorden) en auditieve stimuli (stemmen).

Methodologie

De auteurs hebben een grootschalige analyse uitgevoerd over zes datasets, omvattende meer dan 35.000 memorabiliteitsbeoordelingen.

1. Datasets:

   • Beelden: De THINGS-dataset (Kramer et al., 2023) met 26.107 natuurlijke objectafbeeldingen, getest bij 13.946 deelnemers.
   • Woorden: Drie datasets voor woordherkenning en -recall: Aka et al. (2023), Cox et al. (2018) en Madan (2021), samen goed voor meer dan 8.500 scores.
   • Stemmen: De Revsine et al. (2025) dataset met stemherkenningstaken voor meer dan 600 stemclips.

2. Representatiekracht (L2-norm) Berekening:

   • Beelden: Voor elke afbeelding werden de features geëxtraheerd uit alle lagen van een AlexNet (een CNN). De L2-norm (vectorlengte) van de respons na de ReLU-activatiefunctie werd berekend.
   • Woorden: Voor elk woord werden de embeddings opgehaald uit een vooraf getraind Word2vec-model (GoogleNews-vectors-negative300). De L2-norm van deze 300-dimensionale vectoren werd berekend.
   • Stemmen: Voor audio-bestanden werden features geëxtraheerd uit Wav2vec (een self-supervised model voor spraak). De L2-norm van de lagen werd berekend.

3. Statistische Analyse:

   • Er werd een Spearman-correlatie berekend tussen de L2-norm en de memorabiliteitsscores (hit rate gecorrigeerd voor false alarms bij beelden; herkenning/recall percentages bij woorden; d' bij stemmen).
   • Controle-analyses: Om te voorkomen dat de correlatie werd veroorzaakt door verstorende variabelen, werden partieel correlaties uitgevoerd. Voor beelden werd gecontroleerd voor "typicality" (hoe prototypisch een object is). Voor woorden werd gecontroleerd voor woordfrequentie, valentie en woordlengte.
   • Betrouwbaarheid: 95% betrouwbaarheidsintervallen werden bepaald via non-parametrische bootstrapping (10.000 resampling).

Belangrijkste Resultaten

1. Replicatie in het Visuele Domein:
   De studie bevestigde de bevindingen van Jaegle et al. (2019). Er is een significante positieve correlatie tussen de L2-norm in de latere lagen van AlexNet en de memorabiliteit van afbeeldingen. In de vroege lagen was deze correlatie verwaarloosbaar. Dit effect bleef bestaan na correctie voor object-typische eigenschappen.

2. Generalisatie naar het Taaldomein:
   Er werd een sterke en consistente positieve correlatie gevonden tussen de L2-norm van Word2vec-embeddings en de herkenning (recognition) van woorden over drie onafhankelijke datasets.

   • Correlaties varieerden van $r \approx 0.22$ tot $r \approx 0.47$.
   • Het effect bleef significant na statistische controle voor woordfrequentie, valentie en lengte.
   • Dit suggereert dat het principe niet beperkt is tot visuele cortex of CNN-architecturen, maar een eigenschap is van gedistribueerde representaties in het algemeen.

3. Beperkingen bij Recall:
   Het effect was niet consistent voor vrije recall (free recall) van woorden. Hoewel er een significant effect was in de Cox-dataset, was dit niet het geval in de Aka- en Madan-datasets. Dit wijst erop dat representational magnitude vooral gerelateerd is aan herkenning (recognition) en niet noodzakelijk aan herinnering via strategie (recall).

4. Afwijking in het Auditieve Domein:
   In tegenstelling tot beelden en woorden, werd er geen significante relatie gevonden tussen de L2-norm van Wav2vec-embeddings en de memorabiliteit van stemmen. De auteurs speculeren dat stemherkenbaarheid mogelijk wordt gedreven door lagere, akoestische kenmerken (zoals toonhoogte en prosodie) die niet goed worden gevangen door de representatiekracht in de huidige modellen, of dat de variabiliteit tussen deelnemers bij stemmen groter is.

Bijdragen en Significatie

• Universeel Principe: De studie toont aan dat "representational magnitude" een algemeen principe is van gedistribueerde representaties. Stimuli die een grotere vectorlengte hebben (meer en sterker geactiveerde features) in zowel biologische systemen als kunstmatige netwerken, laten een sterker geheugenspoor na.
• Theoretische Integratie: Het resultaat verbindt moderne deep learning met klassieke cognitieve theorieën over geheugensterkte (zoals signal detection theory). Het suggereert dat de "sterkte" van een geheugenspoor inherent is aan de codering (encoding) zelf: een grotere representatieve voetafdruk resulteert direct in een sterker signaal.
• Mechanistisch Inzicht: Het biedt een verklaring voor eerdere tegenstrijdige bevindingen in de literatuur over beeldherkenning. Stimuli met een hoge L2-norm zijn makkelijker te classificeren (snellere convergentie) maar moeilijker te reconstrueren (grotere reconstructiefout), wat beide consistent is met een grotere representatieve complexiteit.
• Domein-specifieke nuances: De studie benadrukt dat hoewel het principe algemeen is, de implementatie domein-afhankelijk kan zijn. Het effect geldt voor visuele en semantische (woord) representaties, maar niet voor de specifieke auditieve representaties die in deze studie werden getest, wat nieuwe vragen oproept over de aard van auditief geheugen.

Kortom, de auteurs concluderen dat memorabiliteit geen eigenschap is die door latere geheugensystemen wordt toegevoegd, maar inherent is aan hoe een stimulus wordt gecodeerd: hoe sterker en uitgebreider de initiële representatie, hoe beter de stimulus onthouden wordt.