Auditing Forgetting in Limited Memory Language Models

Technische Samenvatting: Het Auditeren van Vergeten in LMLM's met Beperkt Geheugen

Probleemstelling
Limited Memory Language Models (LMLMs) vertegenwoordigen een hybride architectuur die linguïstische competentie (gecodeerd in de modelparameters) scheidt van feitelijke kennis (opgeslagen in een externe database). Dit ontwerp beoogt "verwijderingsgebaseerd ontleren" (deletion-based unlearning) mogelijk te maken, waarbij het verwijderen van feiten uit de database de toegang tot deze feiten elimineert zonder het model opnieuw te trainen. Bestaande evaluatiemethoden voor vergeten zijn echter ontoereikend. Ze meten doorgaans de geaggregeerde correctheid vóór en na verwijdering, maar slagen er niet in om het mechanisme van de correctheid na verwijdering te onderscheiden. Een model kan nog steeds correct antwoorden vanwege:

1. Residuele parametrische geheugen: Het feit blijft gecodeerd in de gewichten van het model.
2. Alternatieve retrieval-paden: Het feit wordt opgehaald via aliassen, parafrasen of semantisch gerelateerde vermeldingen die niet expliciet zijn verwijderd.
3. Retrieval-artefacten: Het model genereert het juiste antwoord op basis van nabijgelegen kandidaten die niet goud-equivalent zijn aan het verwijderde feit.

Huidige metrieken kunnen niet bepalen of kennis succesvol is geexternaliseerd of dat het persisteert binnen de interne parameters van het model.

Methodologie: Causaal Auditing Framework
De auteurs stellen een causaal auditing framework voor dat het model constant houdt terwijl de staat van de database tijdens inferentie wordt gevarieerd. Het framework evalueert 12.228 alias-closure verwijderingen over dertien databases (inclusief de vrijgegeven LMLM-database en twaalf aangepaste varianten) met behulp van zes verschillende prompt-formuleringen.

Het framework maakt gebruik van drie gecontroleerde interventiestaten:

1. FULL: De database is intact en retrieval is ingeschakeld. Dit stelt de baseline-accuratesse vast.
2. DEL-ON: Het doelfeit (en zijn alias-equivalenten) is verwijderd uit de database, maar retrieval blijft ingeschakeld. Dit test voor herstel via alternatieve paden of artefacten.
3. DEL-OFF: Het doelfeit is verwijderd en retrieval is uitgeschakeld. Dit isoleert parametrische recall, waardoor het model wordt gedwongen te antwoorden zonder extern bewijs.

Kernmetrieken en Decompositie
Het framework deelt het gedrag na verwijdering op in drie afzonderlijke componenten:

• Parametrische Lek ($L(f)$): Treedt op wanneer het model correct antwoordt in de DEL-OFF staat. Dit geeft aan dat het verwijderde feit persisteert in de modelparameters.
• Retrieval-gemedieerde Correctheid ($R(f)$): Treedt op wanneer het model correct is in de DEL-ON staat, maar incorrect in de DEL-OFF staat. Dit geeft aan dat het antwoord is opgehaald via de retrieval-grafiek.
• Retrieval-artefact Rate ($A(f)$): Treedt op wanneer het model het juiste antwoord produceert in de DEL-ON staat, ondanks de afwezigheid van een goud-equivalent kandidaat in de retrieval-trace. Dit geeft aan dat het antwoord is gereconstrueerd uit nabijgelegen kandidaten (bijv. parafrasische decoys).

De auteurs construeren aangepaste database-varianten om specifieke faalmodi te testen:

• Base: Alleen canonieke triplets (schone baseline).
• Alias: Feiten opgeslagen onder enkel gealiaseerde vormen (test de volledigheid van de alias-closure).
• Noise: Decoy-triplets met parafrasische onderwerpen die naar hetzelfde object wijzen (test de reconstructie van nabijgelegen buren).
• Collision: Bijna-mis-triplets die hetzelfde onderwerp delen maar naar een ander object leiden (test de drift van verwarbare buren).

Belangrijkste Resultaten
De audit levert verschillende cruciale bevindingen op over 36.684 model-completions:

1. Bijna nul Parametrische Lek: Over alle database-varianten en prompt-stijlen heen is de parametrische lek ($\hat{L}$) effectief nul (gemiddeld 0,11%). Het model geeft zelden een verwijderd antwoord terug in de afwezigheid van retrieval. Dit suggereert dat voor deze klasse LMLM's de "ontleer"-operatie binnen de modelparameters schoon is; het model gedraagt zich alsof het het feit nooit heeft gezien zodra de retrieval is uitgeschakeld.
2. Residuals Leven in de Retrieval-grafiek: De overlevende correctheid na verwijdering is bijna volledig toe te schrijven aan de retrieval-grafiek, niet aan het model. De mate van retrieval-gemedieerde correctheid ($R(f)$) komt overeen met de retrieval-artefact rate ($A(f)$) binnen afrondingsfouten over alle varianten. Dit bevestigt dat de correctheid na verwijdering voornamelijk wordt gereconstrueerd uit nabijgelegen retrieval in plaats van te worden onthouden.
3. Database Topologie Controleert Residuals: De omvang van de residual (het percentage verwijderde feiten dat overleeft) wordt bepaald door de topologie van de database, niet door de modelarchitectuur of de prompt-stijl.
   • Base: ~3,7% residual.
   • Alias: ~6,2% residual.
   • Collision: ~7,2% residual.
   • Noise: ~13,6% residual (het slechtste geval, waarbij parafrasische decoys de retrieval in staat stellen het antwoord te herstellen).
   • Released LMLM Database: ~0,7% residual.
4. Impact van Prompt-formulering: Hoewel de prompt-stijl de baseline (FULL) accuratesse aanzienlijk beïnvloedt (variërend van ~17% tot ~57% F1), heeft het minimale onafhankelijke controle over de post-verwijdering residual. Zodra ondersteunend bewijs is verwijderd, wordt de overlevingskans van een feit bepaald door de structuur van de retrieval-grafiek, niet door de oppervlaktevorm van de vraag.

Betekenis en Claims
De paper claimt dat de primaire bijdrage een decompositie is van het vergeten-gedrag, in plaats van een enkele geaggregeerde metriek. Door de parametrische recall te isoleren van de retrieval-zijde correctheid, onthult de audit dat:

• De "ontleer-grens" in deze klasse LMLM's primair wordt getrokken door de database-beheerder, niet door het model.
• Standaard verwijderingsprocedures die alleen canonieke en alias-equivalente triplets verwijderen, onvoldoende zijn als de retrieval-grafiek parafrasische decoys bevat (zoals te zien in de "Noise" variant).
• De geobserveerde residuale correctheid in eerdere studies (bijv. de originele LMLM-paper) waarschijnlijk een eigenschap is van de specifieke retrieval-grafiek die werd gebruikt (die gunstig was), en niet een falen van het model om te vergeten.

De auteurs concluderen dat voor effectief ontleren in LMLM's, governance zich verder moet uitstrekken dan entiteit-aliassen en ook de topologie van de retrieval-grafiek moet omvatten, om ervoor te zorgen dat parafrasische routes naar gevoelige informatie ook worden gesloten op het moment van verwijdering. De paper claimt niet dat LMLM's universeel perfect zijn in ontleren, maar dat hun faalmodi structureel zijn aan het databaseontwerp en niet inherent aan het parametrische geheugen van het model.