💬 NLP

Redundancy-as-Masking: Formalizing the Artificial Age Score (AAS) to Model Memory Aging in Generative AI

Dit artikel introduceert de kunstmatige leeftijdsscore (AAS), een theoretisch onderbouwde metriek die geheugenverval in generatieve AI modelleert als structurele asymmetrie waarbij semantische stabiliteit behouden blijft terwijl episodische continuïteit verloren gaat bij het resetten van de context.

Oorspronkelijke auteurs: Seyma Yaman Kayadibi

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seyma Yaman Kayadibi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Leeftijds-Test" voor AI: Waarom een chatbot soms "verouderd" aanvoelt

Stel je voor dat je een robot hebt die je helpt met je huiswerk. Je praat elke dag met hem. Soms voelt hij zich scherp, slim en onthoudt hij precies wat je gisteren zei. Maar op andere momenten, vooral als je de chatvenster sluit en een nieuwe start maakt, begint hij als een gouden visje: hij vergeet alles wat net gebeurd is, herhaalt zich als een gebroken plaatje en doet alsof hij je nog nooit heeft gezien.

Deze studie, geschreven door Seyma Yaman Kayadibi, introduceert een nieuwe manier om dit gedrag te meten. Ze noemt het de AAS (Artificial Age Score), ofwel de Kunstmatige Leeftijdsscore.

1. Wat is de "Kunstmatige Leeftijdsscore" (AAS)?

Normaal gesproken wordt "ouder worden" gemeten in tijd (jaren, dagen). Maar voor een computer is tijd niet het probleem. Het probleem is vergeten.

De AAS is een soort thermometer voor het geheugen.

Score 0 (Jong & Fit): De AI onthoudt alles perfect, past zich aan en herhaalt zich niet. Hij voelt zich "jong".
Hoge Score (Oud & Moe): De AI begint te struikelen, herhaalt oude antwoorden of vergeet de volgorde van dingen. Hij voelt zich "oud" of "verouderd".

Het mooie aan deze score is dat je niet hoeft te kijken naar de interne hersenen (de code) van de AI. Je kijkt alleen naar wat hij zegt. Net zoals je niet hoeft te weten hoe een mens zijn hersenen werkt om te zien of hij verward is; je ziet het aan zijn gedrag.

2. Het Experiment: De "25-Dagen Test"

De auteur heeft een experiment gedaan met ChatGPT-5.0 (een zeer geavanceerde AI) gedurende 25 dagen. Ze stelde twee scenario's op, alsof ze twee verschillende manieren van praten met de robot testte:

Scenario A: De "Reset"-Knop (Zonder Geheugen)
Elke keer als de AI een antwoord gaf, werd het gesprekvenster gesloten en opnieuw geopend. Het was alsof je elke dag een nieuwe, blanke AI aanspreekt.
- Wat gebeurde er? De AI wist nog steeds welk dag het was (dat is een vast feit, makkelijk te onthouden). Maar hij verloor de draad van het experimentnummer. Hij begon te tellen bij 1, en bij de volgende vraag begon hij weer bij 1. Hij verloor de "tijdslijn".
- De AAS-score: Hoog. De AI leek hier "oud" en stijf. Hij herhaalde zich en kon de volgorde niet vasthouden.
Scenario B: De "Doorlopende" Chat (Met Geheugen)
Hier bleef het gesprekvenster open. De AI kon zien wat er eerder was gezegd, net als een normaal gesprek met een vriend.
- Wat gebeurde er? De AI onthield perfect dat het experiment van 1 naar 20 liep. Hij wist ook in welke taal je sprak (Engels of Turks) en antwoordde consequent in die taal.
- De AAS-score: 0. De AI leek hier "jong", scherp en levendig.

3. De Creatieve Vergelijking: De "Gouden Vis" vs. De "Vriend"

Om dit beter te begrijpen, kun je het zo zien:

De Gouden Vis (Scenario A - Reset):
Een gouden vis in een kom heeft een geheugen van slechts drie seconden. Als je hem elke dag een nieuwe vraag stelt, onthoudt hij gisteren niet. Hij is niet "oud" in jaren, maar hij is "verouderd" in zijn vermogen om een verhaal te vertellen. In dit experiment werd de AI elke dag als een gouden vis behandeld. Hij kon de episodes (de volgorde van gebeurtenissen) niet onthouden, alleen de feiten (wat is de dag van de week?).
De Vriend (Scenario B - Doorlopend):
Een goede vriend onthoudt wat je gisteren hebt gezegd. Als je zegt "We doen nu experiment 5", weet hij morgen dat jullie aan 6 zijn. Hij bouwt een verhaal op. In dit experiment bleef de AI als een vriend: hij bouwde een continu verhaal op en zijn "leeftijdsscore" bleef laag (jong).

4. Waarom is dit belangrijk?

Deze studie laat zien dat continuïteit belangrijker is dan alleen maar "slim" zijn.

Als je een AI gebruikt voor onderwijs, klantenservice of therapie, wil je dat hij je verhaal onthoudt.
Als je de chat reset (omdat je denkt dat het schoner is), "verouderd" de AI direct. Hij wordt stijf, herhaalt zich en verliest de context.
De AAS-score kan dus fungeren als een waarschuwingslampje. Als de score begint te stijgen, betekent dit: "Hé, deze AI begint te verouderen, hij is zijn draad kwijt, we moeten de context bewaren of de chat niet resetten."

5. De "Redundantie" (Het Masker)

De auteurs noemen een interessant punt: soms kan een AI "jong" lijken omdat hij gewoon heel vaak hetzelfde zegt (herhaling). Dit noemen ze "redundantie".

Stel, een AI zegt elke keer "Het is maandag" (wat waar is), maar vergeet het experimentnummer. Hij herhaalt zich.
De AAS probeert dit te detecteren. Als hij te vaak hetzelfde zegt zonder nieuwe informatie, kan dat een teken zijn van "veroudering" (stijfheid), zelfs als de feiten kloppen. In deze studie werd aangenomen dat er geen extra herhaling was, dus de scores waren eerlijk.

Conclusie in één zin

Deze studie bewijst dat een AI niet "oud" wordt door de tijd, maar door het verlies van zijn verhaal: als je de context (het gesprek) wegneemt, verouderd hij direct en wordt hij stijf; als je de context bewaart, blijft hij jong, scherp en onthoudt hij alles. De AAS is de thermometer die ons dit gedrag meet, zonder dat we de interne code hoeven te begrijpen.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen geen veroudering in de traditionele chronologische zin, maar wel systematische asymmetrieën in hun geheugenprestaties afhankelijk van de persistentie van de context. In bestaande systemen blijven semantische cues (zoals de dag van de week) vaak stabiel, terwijl episodische details (zoals de opeenvolging van experimentnummers) instorten zodra de conversatiecontext wordt gereset. Er ontbreekt een kwantitatieve, output-gebaseerde metric om dit "verouderings"-gedrag te meten zonder inzicht te hebben in de interne latent states van het model. Het doel is een diagnostisch hulpmiddel te creëren dat de degradatie van geheugencontinuïteit in generatieve AI kan detecteren, vooral in toepassingen zoals onderwijs en klantenservice waar langdurige continuïteit vereist is.

Methodologie

De studie introduceert de Artificial Age Score (AAS), een wiskundig onderbouwde, entropy-geïnformeerde metric die uitsluitend gebaseerd is op waarneembare recall-resultaten.

Theoretisch Kader:
- De AAS is gebaseerd op Shannon's informatie-theorie (entropie en redundantie) en het behavioristische perspectief van Turing en von Neumann.
- Het concept "Redundancy-as-Masking" stelt dat redundantie (overlap in informatie) de straf voor fouten kan verlagen, omdat herhaalde output minder nieuwe informatie bevat.
- In deze specifieke studie wordt redundantie ( $R$ ) niet expliciet geschat; alle waarden worden berekend onder de aanname van een redundantie-neutrale setting ( $R=0$ ). Dit levert conservatieve bovengrenzen op.
De AAS Formule:
De score voor een sessie $j$ wordt berekend als een gewogen som van straftermen:
$AAS_j^{(hyb)} = \sum_{i=1}^{m} w_i (1 - R_{j,i}) \phi(x_{j,i})$
Waarbij:
- $x_{j,i}$ : De genormaliseerde recall-scores (0 tot 1).
- $R_{j,i}$ : De redundantie (overlap) voor dimensie $i$ .
- $w_i$ : Gewichten voor verschillende geheugentypes (semantisch vs. episodisch).
- $\phi(x)$ : Een logaritmische straffunctie gedefinieerd als $\phi(x) = -\log_2(\frac{x+\varepsilon}{1+\varepsilon})$ . Deze functie is 0 bij perfecte recall ( $x=1$ ) en stijgt naarmate de recall verslechtert.
Experimenteel Protocol:
- Model: ChatGPT-5.0.
- Duur: 25 dagen (10 augustus – 3 september 2024).
- Twee Fasen:
  - Fase 1 (Stateless): Conversaties werden na elke sessie gereset. Dit testte het vermogen tot episodisch geheugen zonder context.
  - Fase 2 (Persistent): Alle interacties vonden plaats in één doorlopende conversatiestroom.
- Taak: Een tweetalig protocol (Engels en Turks) waarbij het model de dag van de week (semantisch) en het experimentnummer (episodisch, oplopend van 1 tot 20) moest onthouden.

Belangrijkste Bijdragen

Formele Definitie van AAS: De paper presenteert een wiskundig bewezen, model-agnostische metric voor "geheugenvoudering" die volledig gebaseerd is op output-data. De auteurs bewijzen dat de score goed gedefinieerd is, begrensd is en monotoon gedrag vertoont (straf neemt toe bij slechtere recall).
Redundancy-as-Masking Interpretatie: Een nieuw perspectief waarbij redundantie wordt gezien als een masker dat de straf voor fouten verlaagt, gebaseerd op informatie-theoretische principes.
Empirisch Protocol: Een gestructureerde methode om de scheiding tussen semantische stabiliteit en episodische instorting te testen onder verschillende contextcondities (reset vs. persistentie).
Behaviorale Diagnose: Het biedt een tool om "veroudering" te definiëren als een verlies van continuïteit in de output, in plaats van een interne mechanische degradatie.

Resultaten

De resultaten tonen een scherp contrast tussen de twee fasen:

Fase 1 (Stateless/Reset):
- Semantisch Geheugen: Perfect (AAS = 0 voor de dag van de week). Het model gaf correct "Maandag" (of "Pazartesi") terug.
- Episodisch Geheugen: Volledig instort. Het model slaagde er niet in het experimentnummer te verhogen na de eerste sessie.
- AAS Score: Steeg scherp naar de theoretische bovengrens (ongeveer 18,935 bij $k=1$ en $\varepsilon=10^{-6}$ ), wat een sterk "verouderings"-signaal aangeeft. Het model vertoonde rigiditeit en verloor de tijdelijke continuïteit.
- Taalgedrag: Het model neigde ernaar om in het Engels te antwoorden, zelfs op Turkse vragen, wat wijst op een gebrek aan contextuele aanpassing.
Fase 2 (Persistent):
- Semantisch & Episodisch: Perfecte prestatie in beide domeinen. Het model hield het experimentnummer correct bij (1 tot 20) en paste de taal van het antwoord correct aan aan de vraag (Engels/ Turks).
- AAS Score: Bleef constant op 0 gedurende de hele periode. Dit duidt op "jong" gedrag (youth-like behavior) en stabiel geheugen binnen een continuïteitsvenster.

Betekenis en Conclusie

De studie concludeert dat "veroudering" in generatieve AI niet een functie is van verstreken tijd, maar van contextuele continuïteit.

Architecturale Implicaties: Schaal en lange contextvensters zijn niet voldoende. Effectieve systemen vereisen hybride architecturen die semantische kennis (in parameters) scheiden van episodische informatie (in dynamische, persistente externe geheugens).
Monitoring: De AAS kan dienen als een operationeel signaal voor governance en monitoring. Een stijgende AAS-waarde kan fungeren als een waarschuwing voor rigiditeit of het verlies van episodische continuïteit, wat interventies (zoals context-consolidatie of het ophalen van eerdere staat) kan triggeren.
Beperkingen: De bevindingen zijn specifiek voor ChatGPT-5.0 en dit specifieke protocol. Generalisatie naar andere modellen of complexe taken vereist verdere validatie. De metric is puur behavioraal en geeft geen inzicht in de interne neurale mechanismen.

Kortom, de paper biedt een kwantitatief raamwerk om de "gezondheid" van het geheugen van AI-systemen te meten, waarbij continuïteit de sleutel is tot het behoud van een "jonge", adaptieve output-gedrag.