💬 NLP

Can a Language Model Learn Facts Continually in Its Weights?

Dit artikel toont aan dat hoewel brede trainingsdata taalmodellen in staat stelt om nieuwe feiten effectiever in hun gewichten op te slaan dan kale beweringen, continu leren op basis van gewichten onvermijdelijk catastrofale vergetelheid en interferentie veroorzaakt, waardoor context het enige betrouwbare kanaal is voor het behouden en samenstellen van kennis over opeenvolgende updates.

Oorspronkelijke auteurs: Charles O'Neill

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Charles O'Neill

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotvriend hebt die veel dingen weet. Je wilt de robot elke dag nieuwe, verzonnen feiten leren — zoals: "Zorvathine is een metaal dat smelt als het koud wordt." De grote vraag is: Kunnen we deze feiten direct in het brein van de robot (zijn "gewichten") schrijven, zodat hij ze voor altijd onthoudt, zelfs nadat je hem nog honderd andere dingen hebt geleerd?

Dit artikel probeert die vraag te beantwoorden door een spel van "schrijven, vergeten en controleren" te spelen met een model genaamd Qwen3. Dit is wat ze ontdekten, gebruikmakend van een paar leuke analogieën.

De twee manieren om een robot te onderwijzen

De onderzoekers ontdekten dat hoe je de robot onderwijst belangrijker is dan hoe vaak je de les herhaalt.

De "Naakte Bewering"-methode (de slechte manier): Stel je voor dat je het feit slechts één keer in het oor van de robot fluistert: "Zorvathine smelt onder de -10°C." Je doet dit steeds opnieuw. De robot wordt heel goed in het opzeggen van precies die zin. Het is als een papegaai die een zin perfect kan herhalen, maar niet begrijpt wat het betekent.
De "Studie"-methode (de goede manier): Stel je voor dat je de robot onderwijst met behulp van een heel tekstboek. Je geeft het feit aan, stelt er vragen over, geeft verschillende manieren om hetzelfde te zeggen, en laat zien hoe het feit in strijd is met wat de robot normaal gesproken denkt. De robot leert het idee achter het feit, niet alleen de woorden.

Het resultaat:
Wanneer de robot leerde via de "Studie"-methode, kon hij het feit daadwerkelijk gebruiken om nieuwe puzzels op te lossen. Wanneer de robot leerde via de "Naakte Bewering"-methode, kon hij alleen de zin opzeggen. Als je hem een lastige vraag stelde zoals: "Wat gebeurt er als ik Zorvathine afkoel?", zei de "Studie"-robot: "Het smelt!" De "Naakte Bewering"-robot staarde alleen maar glazig voor zich uit of gaf het verkeerde antwoord, ook al had hij de zin perfect uit zijn hoofd geleerd.

Het "Overschrijf"-probleem: De bibliotheek van verloren boeken

Nu komt het lastige deel. De onderzoekers leerden de robot 20, dan 100 nieuwe feiten, één na de ander. Ze wilden zien of de oude feiten zouden overleven.

De "Naakte Bewering"-feiten: Deze verdwenen bijna onmiddellijk. Na slechts 20 nieuwe lessen was 99% van hen vergeten. Het was alsof je een notitie op een plakbiljet schrijft en er dan direct een nieuw, groter briefje bovenop plakt. Het oude briefje is er fysiek nog wel, maar je kunt het niet meer zien.
De "Studie"-feiten: Deze waren taaier. Na 20 nieuwe lessen waren er nog ongeveer 46% bruikbaar. Na 100 lessen stabiliseerden ze op een plateau van 25–28%. Ze verdwenen niet volledig, maar ze werden moeilijker te vinden.

De grote verrassing:
De onderzoekers controleerden het brein van de robot (zijn "gewichten") zelfs nadat het leek alsof de robot een feit vergeten was. Ze ontdekten dat de "herinnering" aan het feit er nog steeds was! De robot had de gegevens niet gewist; hij was alleen de het adres kwijt om de gegevens te vinden.

Denk aan een bibliotheek. De boeken (feiten) staan nog steeds in de schappen. Maar de bibliothecaris (de robot) heeft een nieuwe kaart gekregen die naar de nieuwste boeken wijst. Wanneer je om een oud boek vraagt, kijkt de bibliothecaris op de nieuwe kaart, ziet dat de plek van het oude boek nu gelabeld is als "Nieuwste Feit", en overhandigt je het verkeerde boek. Het oude boek is er nog wel, maar de robot kan er niet bij.

Waarom kunnen we het adres niet gewoon "repareren"?

De onderzoekers probeerden veel slimme trucs om de robot te helpen de oude feiten te onthouden terwijl hij nieuwe leerde:

Ze probeerden de robot te "straffen" als hij iets vergat.
Ze probeerden de nieuwe lessen weg te "projecteren" van de oude.
Ze probeerden een "bevroren leraar" te gebruiken (een perfecte kopie van de robot voordat hij begon met leren) om de nieuwe lessen te begeleiden.

Wat werkte:
Het gebruik van een bevroren leraar hielp de robot om zijn algemene intelligentie (zoals rekenen of logica) te behouden zonder dat dit verslechterde. Het voorkwam dat de robot "gek" werd. Maar het loste het probleem niet op van het vinden van de oude feiten. De oude feiten raakten nog steeds zoek in de chaos.

Wat niet werkte:
Geen matter hoe nauwkeurig ze de "conflict" tussen nieuwe en oude feiten maten, ze konden de nieuwe lessen niet tegenhouden om de oude te blokkeren. Het artikel suggereert dat lokale metingen (kijken naar slechts de volgende stap) kunnen voorspellen wat er onmiddellijk gebeurt, maar dat ze niet kunnen voorspellen wat er na een lange reeks lessen gebeurt. Het is als proberen een file te voorspellen door naar de auto direct voor je te kijken; je ziet de ongeluk dat drie kilometer verderop gebeurt niet.

De definitieve conclusie: Context is koning

Dus, kunnen we feiten in het brein van een robot schrijven en ze voor altijd bewaren?

Als je wilt dat de robot het feit gebruikt: Dan moet je het hem leren met brede, diverse voorbeelden (de "Studie"-methode), en niet alleen door eenvoudige herhaling.
Als je wilt dat het feit 100 nieuwe lessen overleeft: Dan suggereert het artikel dat het in het brein schrijven het verkeerde hulpmiddel is. Zelfs de beste methoden verliezen meer dan de helft van de feiten na 20 updates.

De meest betrouwbare manier om een feit bruikbaar te houden, is door het de robot in de prompt te geven (de "context").
Stel je voor dat de robot een whiteboard naast zich heeft staan. Als je het feit elke keer dat je een vraag stelt op het whiteboard schrijft, kan de robot het perfect gebruiken, zelfs nadat hij 100 andere dingen heeft geleerd. Het whiteboard wordt niet overschreven; het wordt alleen bijgewerkt.

De kern van de zaak:
Het brein van de robot is geweldig in het opslaan van inhoud, maar het is erg slecht in het creëren van een permanent "adres" voor die inhoud dat nieuwe updates overleeft. Als je wilt dat een feit kan worden gecombineerd met andere kennis, of onthouden blijft na vele nieuwe lessen, houd het dan in de context (de prompt), niet in de gewichten (het brein). Het brein slaat het wat op, maar de context biedt het waar.

Technische Samenvatting: Kan een taalmodel feiten continu leren in zijn gewichten?

Probleemstelling

Continually learning (continu leren) heeft als doel om taalmodellen (LM's) in staat te stellen nieuwe feiten te verwerven na de initiële training en deze te behouden via daaropvolgende updates, waarbij kennis effectief direct in de gewichten van het model wordt geschreven. Hoewel contextgebaseerd leren (in-context learning) onmiddellijk gebruik van feiten mogelijk maakt, is dit vluchtig. De centrale vraag die dit werk adresseert, is of gewicht-gebaseerd continu leren kan ondersteunen bij de accumulatie van bruikbare kennis. Specifiek onderzoekt het paper drie kritieke vereisten voor succesvol schrijven:

Creatie: Creëert elke schrijfactie kennis die bruikbaar is buiten eenvoudige recitatie (het letterlijk opzeggen)?
Preservatie: Overleven algemene vaardigheden de accumulatie van updates?
Bereikbaarheid: Kunnen eerdere feiten bereikbaar blijven na latere schrijfacties?

Eerdere observaties suggereren dat fine-tuning feiten traag leert, vaak faalt bij multi-hop redeneren of omkeringen vergeleken met in-context gebruik, en lijdt onder distributieve drift. Er ontbrak echter een verenigde verklaring voor waarom sommige schrijfacties bruikbare kennis produceren, waarom sommige overleven, en wat de aard is van "vergeten" feiten.

Methodologie

De studie maakt gebruik van Qwen3-4B modellen (met LoRA-adapters en varianten voor volledige fine-tuning) en een gecontroleerd evaluatiekader bestaande uit 247 uitgevonden feiten over niet-bestaande entiteiten (bijv. "Zorvathine is een metaal dat smelt wanneer het afkoelt onder −10°C"). Deze fechten spreken de priors van het model tegen om te garanderen dat antwoorden steunen op de nieuwe kennis.

Evaluatieontwerp

Vijf Vraagtypen: Om onderscheid te maken tussen recitatie en echt gebruik, worden feiten getest via:
1. Recall (Herinnering): De directe bewering van het feit.
2. Paraphrase (Parafrasering): Het herformuleren van het feit.
3. Application (Toepassing): Eénstapsgebruik van het feit.
4. Composition (Compositie): Het combineren van het feit met niet-vermeld wereldwijd kennis.
5. Counterfactual (Contrafactueel): Het kiezen van het geschreven feit boven de standaardinstelling van het model.
Anchors (Ankers): Prestaties worden gemeten tegen een vloer (het originele model zonder het feit) en een plafond (het originele model met het feit in de prompt).
Dubbel Beoordelingsbeleid: Antwoorden worden gescoord onder een strikt beleid (vereist de specifieke conclusie) en een lenient (vergevingsgezind) beleid (waarbij feiten die de conclusie impliceren worden erkend). Het verschil, de entailment gap genoemd, meet de kloof tussen "recitatie-naar-gebruik".
Continuaal Protocol: Modellen ondergaan sequentiële schrijfacties (20 tot 100 feiten) waarbij adapters na elk feit worden samengevoegd (merged). Retentie wordt gemeten door eerdere feiten opnieuw te evalueren na opeenvolgende schrijfacties.

Experimentele Condities

De studie varieert in:

Breedte van Trainingsdata: "Bare-statement" (feit in triviale kaders) versus "Study" (24 diverse parafrases, Q&A, implicaties en contrasten).
Objectives (Doelstellingen): Supervised Fine-Tuning (SFT), Offline Context Distillation, en Online Context Distillation (Forward/Reverse KL).
Update Methoden: LoRA versus Full Fine-Tuning.
Teachers (Docenten): Bevroren origineel model versus geaccumuleerd (bewegend) model voor distillatie.

Belangrijkste Bijdragen en Resultaten

1. De breedte van trainingsdata bepaalt de bruikbaarheid van kennis

De breedte van de trainingsdata is de primaire causale factor in het creëren van bruikbare kennis.

Recitatie versus Gebruik: "Bare-statement" training produceert hoge recitatie (97% recall) maar faalt bij toepassing en contrafactuele vragen (21–23% nauwkeurigheid). Het laat een grote entailment gap achter (27,4 punten), wat aangeeft dat het model de bewering wel onthoudt maar geen conclusies kan afleiden.
Effect van Brede Data: "Study" training (diverse herformuleringen) vermindert de entailment gap tot 5,4 punten zonder expliciet conclusies te tonen. Het verbetert de toepassing (+21 punten), compositie (+18 punten) en contrafactueel gebruik (+29 punten) aanzienlijk vergeleken met bare-statement training.
Schaalonafhankelijkheid: Dit effect houdt stand over verschillende modelgroottes (4B en 8B) en update-methoden (LoRA en Full FT).

2. Type kennis voorspelt overleving in continu schrijven

De aard van de geschreven kennis bepaalt de overlevingskans onder opeenvolgende updates.

Retentieverschil: Na 20 sequentiële schrijfacties behouden feiten geschreven via bare-statement training slechts 1% nauwkeurigheid, terwijl study-getrainde feiten 46% behouden.
Correlatie: Er is een sterke negatieve correlatie ( $\rho = -0,526$ ) tussen de initiële entailment gap en retentie; methoden die bruikbare kennis creëren (lage gap) overleven beter.
Langetermijnplateau: Zelfs met study training vlakt de retentie af op 25–28% na 100 schrijfacties, wat aangeeft dat hoewel brede data helpt, het het bereikbaarheidsprobleem niet volledig oplost.

3. Vergeten vernietigt toegang, niet opslag

Het paper demonstreert dat "vergeten" een falen is van retrieval (toegang) in plaats van de uitwissing van de opgeslagen trace (spoor).

Opslagpersistentie: Gereconstrueerde checkpoints laten zien dat "vergeten" feiten (die alle vragen falen) nog steeds 57–67% van de log-waarschijnlijkheidsstijging behouden die hun oorspronkelijke schrijfactie produceerde.
Address Capture (Adresovername): In bare-statement condities bevat 70% van de foute antwoorden op vergeten feiten de inhoud van het meest recent geschreven feit. Dit suggereert dat latere schrijfacties het "adres" (de query-routing) naar nieuwe inhoud omleiden, waardoor de route naar het oude feit wordt overschreven.
Context Herstel: Wanneer de bewering van een vergeten feit in de prompt wordt meegegeven, herstelt de nauwkeurigheid naar 77–80% (study conditie), wat bewijst dat de inhoud nog aanwezig is maar onbereikbaar via het interne query-mechanisme van het model.
Gezamenlijk Gebruik Falen: Twee individueel bruikbare geschreven feiten kunnen niet betrouwbaar samen worden gebruikt (32% nauwkeurigheid), omdat het model niet beschikt over een zelf-retrieval mechanisme om beide gelijktijdig te benaderen, in tegen tegenstelling tot wanneer beide in de prompt staan (91% nauwkeurigheid).

4. Algemene Vaardigheden en Distributieve Drift

Verlies van algemene capaciteit correleert sterk met de distributieve drift van het originele model.

KL Correlatie: Schade aan capaciteit correleert sterk met de KL-divergentie van het originele model ( $\rho = 0,83$ tot $0,946$).
Frozen Teacher: Het distilleren tegen een bevroren origineel model behoudt algemene capaciteiten (bijna nul kosten) en behoudt feiten beter dan distilleren tegen een bewegend, geaccumuleerd model.
Drift Straf: Het toevoegen van een KL-straf aan de huidige basis verbetert retentie en capaciteit, maar vermindert de gemeten KL-divergentie van het originele model niet, wat suggereert dat de straf degeneratieve instorting voorkomt in plaats van drift te herstellen.

5. Interferentie wordt veroorzaakt door inkomende schrijfacties

Causale tests isoleren de bron van interferentie.

Inkomend versus Opgeslagen: De methode van de inkomende schrijfactie bepaalt de retentie. Study-gebaseerde inkomende schrijfacties verbeteren de retentie met 37,6 punten vergeleken met bare-statement inkomende schrijfacties, ongeacht hoe het eerdere feit is opgeslagen.
Lokaal Controle Falen: Geliniariseerde voorspellers kunnen het onmiddellijke effect van een update voorspellen ( $\rho = 0,795$ ), maar falen in het voorspellen van langetermijnvergeten ( $\rho = -0,258$ ). Lokale interventies (gradient projection, activation patching) slaagden er niet in de retentie significant te verbeteren.

Betekenis en Claims

Het paper concludeert dat continual learning in gewichten momenteel onvoldoende is voor feiten die gecomponeerd moeten worden of die uitgebreide latere schrijfacties moeten overleven.

De "Vraag-Gekeyde" Aard van Gewichten: Geschreven kennis is "vraag-gekeyed", wat betekent dat het alleen bereikbaar is via de specifieke vragen die tijdens de training zijn gebruikt. Het model mist een algemeen "adres" of handvat om feiten op aanvraag op te halen. Latere schrijfacties leiden deze vraag-keys om naar nieuwe inhoud.
Context als het Betrouwbare Kanaal: Hoewel brede data bruikbare kennis kan creëren en frozen teachers algemene capaciteiten kunnen behouden, garandeert geen geteste interventie dat eerdere feiten bereikbaar blijven. Daarom blijft context het betrouwbare kanaal voor feiten die compositie of langetermijnretentie vereisen.
Praktische Richtlijnen: Om het nut van gewicht-gebaseerde updates te maximaliseren, zouden beoefenaars diverse herformuleringen (diverse restatements) moeten gebruiken en moeten distilleren tegen een bevroren origineel model. Echter, voor robuuste, compabele kennis moeten feiten in de context of externe retrieval-systemen worden gehouden, in plaats van uitsluitend te vertrouwen op gewicht-updates.

Het werk herkadert catastrophic forgetting niet als data-uitwissing, maar als een verlies van toegangswegen, waarbij het "adres" van een feit wordt overgenomen door opeenvolgende updates. Het benadrukt een fundamentele beperking in de huidige gewicht-gebaseerde continual learning: het vermogen om inhoud op te slaan is niet gelijk aan het vermogen om een persistent, doorzoekbaar adres voor die inhoud te creëren.