Geometric Indexing Does Not Improve Versioned Memory Retrieval: Three Pre-Registered Negative Results and a Silent Total-Failure Mode

Het Geheugenprobleem: Waarom AI Moet Onthouden, Niet Alleen Lezen

Stel je voor dat je praat met een zeer slimme robotvriend. Je vertelt hem: "Mijn favoriete film is Star Wars." Later verander je van gedachten en zeg je: "Eigenlijk trek ik dat terug; mijn favoriet is The Matrix." Als je de robot later weer vraagt: "Wat is mijn favoriete film?", wil je dat hij het nieuwe antwoord onthoudt, niet het oude. Dit is de uitdaging van conversationele geheugens. In tegen tegenstelling tot een bibliotheek die simpelweg boeken (documenten) opslaat voor iedereen om te lezen, moet een persoonlijk geheugen weten wie jij bent, bijhouden hoe je gedachten in de loop van de tijd veranderen, en omgaan met correcties zonder in de war te raken.

Om dit te doen, gebruiken computers iets dat embeddings wordt genoemd. Denk aan een embedding als een magische kaart waar elke zin een stip is. Zinnen die vergelijkbare dingen betekenen, worden dicht bij elkaar op de kaart geplaatst, terwijl verschillende ideeën ver uit elkaar liggen. Wanneer je een vraag stelt, zoekt de computer naar de stippen die het dichtst bij je vraag liggen om het antwoord te vinden. Een populair idee in AI-onderzoek is geweest om de geometrie van deze kaart te gebruiken om veranderingen af te handelen. De theorie was: als je van gedachten verandert, wis dan niet de oude stip, maar plaats de nieuwe stip net naast de oude. Het idee was dat de afstand tussen de stippen de computer zou vertellen: "Hé, deze twee zijn gerelateerde versies van hetzelfde feit!"

Maar werkt deze slimme truc eigenlijk wel? Dat is precies wat dit onderzoek onderzoekt. De onderzoekers wilden weten of het simpelweg plaatsen van "gecorrigeerde" herinneringen nabij "originele" herinneringen op deze kaart helpt om later het juiste antwoord te vinden. Ze zetten een strikt, vooraf gepland experiment op om dit te testen, in de hoop een magische afkorting voor het geheugen van AI te vinden. In plaats daarvan ontdekten ze dat de afkorting een doodlopende weg is, en daarmee legden ze een stille bug bloot die veel real-world AI-systemen kan breken.

---

Het Experiment: Proberen te Balanceren op een Kaart

De onderzoekers zetten een simulatie op met 3.000 fictieve feiten, zoals "De directeur van Helios Laboratory is Ana." Vervolgens testten ze wat er gebeurde wanneer de "directeur" werd gecorrigeerd naar "Beto", daarna naar "Carlos", enzovoort. Ze vergeleken drie manieren om deze wijzigingen op te slaan:

1. De "Overwrite"-methode (Overschrijven): Wis het oude feit en schrijf het nieuwe op. (Dit verliest de geschiedenis, maar behoudt het huidige feit).
2. De "Duplicate"-methode (Dupliceren): Sla het nieuwe feit exact op waar het thuishoort op de kaart, gebaseerd op de eigen woorden.
3. De "Budding"-methode (Kiemen - De Held van het Verhaal): Plaats het nieuwe feit iets verwijderd van het oude, in de hoop dat de geometrie (de vorm en afstand) ze aan elkaar koppelt.

De Eerste Mislukking: De Drijvende Cluster

In de eerste test probeerden de onderzoekers de "Budding"-methode met een vaste regel: elke keer dat een feit werd gecorrigeerd, verplaatsen ze de nieuwe versie een kleine, vaste stap weg van de originele versie.

Stel je voor dat je probeert in een rechte lijn te lopen, maar elke keer dat je een stap zet, word je gedwongen om een klein beetje naar links af te buigen. Na één stap ben je nog prima. Na vier stappen ben je flink van koers afgedwaald. Na zes stappen loop je de andere kant op.

Dat is precies wat er gebeurde met het geheugen van de AI. Met een vaste stapgrootte begon de "cluster" van gecorrigeerde feiten een random walk (willekeurige wandeling) weg van het originele feit te maken.

• Na 4 revisies was de verbinding met de oorspronkelijke vraag zo laag geworden dat de computer het antwoord niet meer herkende.
• Na 6 revisies was de verbindingsscore zelfs negatief geworden (van een hoog van 0,811 naar -0,139).

De computer zocht naar het antwoord, maar de "gecorrigeerde" herinnering was zo ver weg gedreven op de kaart dat het als een vreemde werd gezien. Het "Budding"-idee faalde omdat de afstand zich bleef opstapelen, waardoor het juiste antwoord uit de topresultaten werd geduwd.

De Tweede Mislukking: De Onvermijdelijke Belasting

De onderzoekers dachten: "Oké, misschien is het probleem dat we het te ver laten afdwalen. Wat als we de nieuwe versie dwingen om dicht bij de originele ankerplaats te blijven, in plaats van bij de vorige versie?" Ze probeerden een "bounded" (begrensde) versie waarbij elke revisie op een vaste afstand van het beginpunt bleef.

Deze keer dreef het geheugen niet weg. De verbindingsscore bleef vlak en stabiel op 0,8177. Maar hier kwam de twist: het verloor nog steeds.

Waarom? Omdat de "Budding"-methode een constante belasting betaalde van ongeveer 0,036 op de score.

• De "Duplicate"-methode (het feit opslaan waar het van nature hoort) scoorde 0,8540.
• De "Bounded Budding"-methode scoorde 0,8177.

De onderzoekers realiseerden zich dat de kaart van de computer al perfect was. Wanneer je zegt "De directeur is Beto", plaatst de computer die zin vanzelf op de juiste plek. Door de zin kunstmatig weg te bewegen om het met het verleden te "koppelen", beweeg je het juist weg van de perfecte plek. Het is alsoer je een vriend probeert te helpen zijn huis te vinden door te zeggen dat hij drie voet links van de voordeur moet gaan staan. Het huis staat er al; hen verplaatsen maakt het alleen maar moeilijker om het te vinden.

De Derde Mislukking: De Stille Moordenaar

De onderzoekers waren nog niet klaar. Ze vermoedden dat hun conclusie rustte op het feit dat hun testzinnen "zelfstandig" waren (ze benoemden de persoon en het feit duidelijk). In het echte leven gebruiken mensen vaak beknopte formuleringen. Ze zeggen: "Nee, het is Beto," zonder te zeggen: "De directeur van Helios is Beto." Dit wordt een elliptische correctie genoemd.

Ze zetten een "worst-case scenario"-test op, ontworpen om de geometrische truc goed te laten lijken. Ze vergeleken de "Budding"-methode met een "Hydrated"-methode (waarbij een slim systeem "Nee, het is Beto" herschrijft naar de volledige zin voordat het wordt opgeslagen).

De resultaten waren schokkend:

• Rauwe elliptische correcties (het opslaan van "Nee, het is Beto" precies zoals gesproken) hadden een succespercentage van 0,0000.
• De computer gaf elke keer een antwoord, maar het was nooit het juiste antwoord.
• De fout was stil. De computer zei niet "Ik weet het niet." Hij gaf vol vertrouwen het verkeerde antwoord terug, dat even hoog gerangschikt was als het juiste antwoord dat er had kunnen zijn.

Zelfs in dit regime waar geometrie zou moeten helpen, won het alleen als het alternatieve systeem (dat de zinnen herschrijft) vaker dan 45% van de tijd faalde. Aangezien real-world systemen veel beter zijn dan dat, biedt de geometrische truc geen enkel voordeel.

De Belangrijkste Conclusie

Dit paper levert een duidelijk, vooraf geregistreerd oordeel: Geometrische indexering verbetert de retrieval van versiebeheer in het geheugen niet.

Het idee dat je de fysieke afstand tussen stippen op een kaart kunt gebruiken om verschillende versies van een feit aan elkaar te koppelen, is een doodlopende weg.

1. Als je de afstand laat groeien, drijft het geheugen weg en raakt het verloren.
2. Als je de drift stopt, betaal je nog steeds een boete die het geheugen slechter maakt dan wanneer je het feit simpelweg correct opslaat.
3. Als je dit probeert te gebruiken voor korte, elliptische correcties (zoals "Nee, het is Beto"), faalt het systeem volledig en geeft het met vol vertrouwen het verkeerde antwoord.

De belangrijkste bevinding voor iedereen die deze systemen bouwt, is een waarschuwing: Als je conversationele beurten opslaat zonder eerst de voornaamwoorden/verwijzingen te corrigeren, verlies je 100% van de correcties. Het systeem zal je niet vertellen dat het kapot is; het zal je gewoon vol vertrouwen het verkeerde antwoord geven. Het paper suggereert dat we, in plaats van te proberen slim te zijn met geometrie, ons moeten houden aan eenvoudige, deterministische regels: corrigeer de zin, en sla hem dan pas op.