The Geometry of Forgetting

Dit paper stelt dat vergeten en valse herinneringen geen biologische gebreken zijn, maar inherente eigenschappen van de meetkunde van hoge-dimensionale semantische ruimtes, waarbij concurrentie tussen geheugenitems en niet de tijd zelf de oorzaak is van vergeten.

De kern

De Geometrie van Vergeten: Waarom ons brein (en computers) fouten maken

Stel je voor dat je geheugen niet is als een videoband in een kastje, waar oude opnames langzaam vervagen tot ruis. Stel je voor dat het in plaats daarvan is als een gigantische, driedimensionale bibliotheek vol met boeken die op elkaar lijken.

Dit is de kern van een nieuw onderzoek van Sambartha Ray Barman en zijn team. Zij ontdekten iets verrassends: het vergeten en het "foute herinneren" van gebeurtenissen die nooit zijn gebeurd, is misschien wel geen defect van ons biologische brein. Het is een wiskundig onvermijdelijk gevolg van hoe we informatie ordenen op basis van betekenis.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Grote Vergeten: Het is niet tijd, het is drukte

We denken vaak dat we dingen vergeten omdat de tijd voorbijgaat (zoals een foto die verkleurt). Dit onderzoek zegt: Nee.

Stel je voor dat je een boek in een bibliotheek legt. Als er maar één boek is, vind je het altijd terug, of het nu gisteren of een jaar geleden is. Maar wat als de bibliotheek vol staat met boeken die op elkaar lijken?

• Je zoekt naar "De Grote Droom".
• Maar er liggen duizenden boeken over "Slapen", "Dromen", "Wakker worden" en "Nacht".
• Omdat ze allemaal dicht bij elkaar in de schappen liggen (in de "ruimte" van betekenis), raak je de weg kwijt. Je vindt het verkeerde boek, of je vindt het helemaal niet meer.

De onderzoekers lieten dit zien met computersystemen. Als je een computer alleen maar laat "verouderen" (tijd laten verstrijken), vergeet hij bijna niets. Maar zodra je duizenden andere, vergelijkbare herinneringen toevoegt, begint het systeem precies zoals een mens te vergeten: in een karakteristiek patroon. Het is niet de tijd die wist; het is de drukte en de verwarring tussen de herinneringen.

2. De "Dimensionale Illusie": Waarom computers net zo fouten maken als wij

Je zou denken: "Computers zijn slim, ze hebben duizenden 'dimensies' (ruimtelijke richtingen) om informatie op te slaan. Ze kunnen niet vergeten!"

Maar hier komt de verrassing. De onderzoekers keken naar de binnenkant van deze slimme computersystemen en ontdekten een illusie.
Hoewel de computers zeggen dat ze duizenden ruimtes hebben, gebruiken ze er eigenlijk maar 16 om de echte betekenis van woorden te vangen. De rest is leeg of vol met ruis.

• De Analogie: Het is alsof je een enorm, leeg stadion hebt (1000 stoelen), maar je gebruikt er maar 16 om een voetbalwedstrijd te spelen.
• Omdat ze zich in die kleine ruimte van 16 stoelen moeten proppen, komen alle "verwante" herinneringen (zoals 'slaap' en 'droom') heel dicht bij elkaar te zitten. Ze raken in de war.
• Dit betekent dat zelfs de slimste AI-systemen, net als mensen, kwetsbaar zijn voor verwarring omdat ze in een "kleine" ruimte werken.

3. Valse Herinneringen: De "Sleep" die er nooit was

Het meest fascinerende deel is hoe ze valse herinneringen ontdekten. Dit is het fenomeen waarbij mensen zich een woord herinneren dat ze nooit hebben gelezen, maar wel logisch bij de lijst past.

• Het Experiment: Mensen krijgen een lijst met woorden: bed, rust, wakker, moe, droom.
• Het Resultaat: Mensen zeggen later: "Ik herinner me dat het woord slaap ook in de lijst stond." (Terwijl dat woord er niet in stond).
• De Computer: De onderzoekers gaven exact dezelfde lijst aan een computer. De computer "dacht" ook dat het woord slaap in de lijst had gestaan.

Waarom? Omdat in de "ruimte van betekenis", het woord slaap precies in het midden van de andere woorden ligt. Het is zo dicht bij de andere woorden dat de computer (en ons brein) ze niet van elkaar kan onderscheiden.
De boodschap is schokkend: Valse herinneringen zijn geen fouten. Ze zijn een bijproduct van een systeem dat goed is in het begrijpen van betekenis. Als je systemen niet zou laten "verwarren" met verwante woorden, zouden ze ook niet goed kunnen begrijpen wat woorden betekenen.

4. Waarom is dit belangrijk?

De onderzoekers concluderen dat het vergeten en het maken van fouten geen "bug" is in de hardware van ons brein. Het is een feature (een eigenschap) van elk systeem dat informatie ordent op basis van betekenis.

• Voor ons: Het betekent dat we niet hoeven te schamen voor onze vergeetachtigheid of onze valse herinneringen. Het is de prijs die we betalen voor een brein dat slim genoeg is om verbanden te leggen.
• Voor AI: Het waarschuwt ontwikkelaars. Als je AI-systemen bouwt die op deze manier werken, zullen ze altijd vatbaar zijn voor dit soort fouten. Je kunt ze niet "fixen" zonder hun intelligentie te verminderen.

Kortom:
Ons geheugen is geen perfecte videoband. Het is een levendige, drukke bibliotheek waar boeken soms door elkaar lopen. En dat is precies wat het zo menselijk (en slim) maakt. De wiskunde van de ruimte waarin we denken, bepaalt hoe we vergeten, niet onze biologische "hardware".

Technische samenvatting

Titel: De Geometrie van Vergeten (The Geometry of Forgetting)

Auteurs: Sambartha Ray Barman, Andrey Starenky, Sophia Bodnar, Nikhil Narasimhan, en Ashwin Gopinath.
Affiliaties: Sentra en MIT.

---

1. Het Probleem

Traditionele psychologische theorieën verklaren menselijk geheugenverlies (vergeten) en valse herinneringen voornamelijk door biologische beperkingen ("hardware"), zoals het vervaagden van sporen door tijd (decay) of biologische "lekken".
De auteurs stellen een fundamenteel ander perspectief voor: vergeten is geen bug van de biologische implementatie, maar een onvermijdelijk gevolg van de meetkunde van semantische ruimtes.

De centrale vraag is of de wiskundige eigenschappen van hoog-dimensionale inbeddingsruimten (embedding spaces), waarin informatie wordt georganiseerd op basis van betekenis en opgehaald via nabijheid, op zichzelf de kwantitatieve kenmerken van menselijk geheugen kunnen reproduceren zonder specifieke biologische engineering.

2. Methodologie

De auteurs hebben een reeks experimenten uitgevoerd met behulp van open-weight transformer-modellen en publieke datasets. Ze simuleren geheugensystemen waarbij contextueel verrijkte inbeddings (met positionele, temporele en episodische metadata) worden opgeslagen en opgehaald via cosinus-achtigheid (cosine similarity).

Belangrijke experimentele componenten:

• Modellen: Gebruik van Qwen2.5-7B, MiniLM-L6-v2, BGE-base/large en CLIP.
• Simulatie van Ebbinghaus: 1.000 feiten werden gecodeerd over 30 dagen. Ophaalscores werden gemoduleerd door een tijdsvervalfunctie ($S(t) = \cos(q, m) \times (1+\beta t)^{-\psi}$).
• Interferentie-testen: Het effect van concurrentie werd getest door duizenden "distractors" ( concurrerende herinneringen) toe te voegen.
• Dimensionaliteitsanalyse: Spectrale analyse (participatie-ratio) werd gebruikt om de effectieve dimensionaliteit ($d_{eff}$) te bepalen versus de nominale dimensionaliteit van de modellen.
• DRM-paradigma: De Deese-Roediger-McDermott-test werd nagebootst met 24 woordlijsten om valse herinneringen te meten zonder parameter-tuning.
• Ruimtelijke effecten: Testen van "spaced repetition" (verspreide herhaling) versus "massed repetition" (massale herhaling) onder ruiscondities.

3. Belangrijkste Bijdragen en Resultaten

A. Interferentie, niet verval, drijft vergeten aan

• Resultaat: Vergeten volgt een machtsfunctie (power-law) met een exponent $b \approx 0.460$ (menselijk: $\approx 0.5$).
• Vinding: Wanneer alleen tijdsverval wordt toegepast zonder concurrenten, is de exponent verwaarloosbaar klein ($b \approx 0.009$). Pas wanneer duizenden concurrerende herinneringen worden toegevoegd, stijgt de exponent naar menselijke waarden.
• Conclusie: Tijd alleen veroorzaakt geen vergeten in dit systeem; concurrentie (interferentie) is de drijvende kracht.

B. De Illusie van Dimensionaliteit

• Vinding: Productie-modellen met nominale dimensionaliteiten van 384 tot 1.024, concentreren hun variantie in slechts ~16 effectieve dimensies ($d_{eff}$).
• Gevolg: Omdat de kans op interferentie exponentieel afneemt naarmate de dimensionaliteit toeneemt (concentratie van maat), werken deze modellen in een kwetsbaar regime.
• Data: Bij $d=64$ is interferentie sterk; bij $d \ge 256$ is het verwaarloosbaar. Biologische neurale codes (geschat op 100-500 dimensies) bevinden zich in een overgangszone waar interferentie niet-catastrofaal maar wel significant is.

C. Valse Herinneringen zijn "Ongebakken" (Unbaked)

• Vinding: Het DRM-experiment toonde aan dat valse herinneringen (het "onthouden" van een niet-geleerd woord dat semantisch gerelateerd is) ontstaan uit de pure meetkunde van de ruimte.
• Data: Zonder enige parameter-tuning of randvoorwaarden, gaf de cosinus-achtigheid op vooraf getrainde inbeddings een vals alarmpercentage van 0.583 voor kritieke lure-woorden, wat zeer dicht bij de menselijke waarde van ~0.55 ligt.
• Conclusie: Valse herinneringen zijn geen fouten, maar een inherent kenmerk van systemen die informatie ordenen op basis van betekenis.

D. Ruimtelijke Effecten en Tip-of-Tongue

• Spaced Repetition: Verspreide herhaling presteerde beter dan massale herhaling omdat de meest recente trace minder aan ruis onderhevig was. Dit bevestigt dat de "laatste trace" domineert onder tijdsafhankelijke corruptie.
• Tip-of-Tongue (TOT): Toestanden waarbij het juiste antwoord op rang 2-20 staat, kwamen voor bij 3,66% (menselijk ~1,5%), wat suggereert dat partiële ophaalmechanismen geometrisch ontstaan.

E. Topologische Structuur

• Persistente homologie-analyse toonde een fase-overgang in de connectiviteit van de geheugenmanifold, met tijdelijke "lussen" (holes) die corresponderen met hiërarchische thematische structuren in taal.

4. Significatie en Implicaties

1. Fundamentele Verandering in Geheugentheorie:
   De paper suggereert dat kernverschijnselen van het geheugen (vergeten, valse herinneringen) geen biologische "bugs" zijn, maar features van elk systeem dat informatie op basis van betekenis organiseert en ophaalt via nabijheid. Biologie bepaalt de parameterregimes, maar de meetkunde bepaalt de faalmodi.

2. Implicaties voor AI en RAG-systemen:

   • Vector-databases gebaseerd op huidige embedding-modellen opereren onbewust in een interferentie-gevoelig regime door hun lage effectieve dimensionaliteit.
   • Vector Averaging Fallacy: Het samenvoegen van nabije embeddings (bijv. voor compressie of consolidatie) is geometrisch destructief omdat het de hoekverschillen verwijdert die nodig zijn voor onderscheidend ophalen. Dit leidt tot onvermijdelijk verlies van precisie naarmate de database groeit.

3. Biologische Interpretatie:
   Menselijk vergeten is mogelijk de "prijs van toelating" voor de rekenkundige voordelen van matig-dimensionale codes die generalisatie mogelijk maken. Een systeem dat nooit verwart, kan ook niet generaliseren.

Samenvatting

De auteurs tonen aan dat meetkunde, niet biologie, de diepere oorzaak is van menselijke geheugenfenomenen. Door te simuleren hoe ruis, interferentie en tijdsverval werken in hoog-dimensionale semantische ruimtes, reproduceren ze kwantitatief menselijk gedrag (vergeten, valse herinneringen) zonder specifieke engineering. Dit impliceert dat zowel biologische als kunstmatige geheugensystemen dezelfde wiskundige beperkingen en faalmodi delen.