Technische Samenvatting: "Vergeten is Overal"

Probleemstelling

Het artikel behandelt een fundamentele uitdaging in machine learning: de neiging van leeralgoritmen om eerder verworven kennis te verliezen terwijl ze zich aanpassen aan nieuwe gegevens. Hoewel "vergeten" een goed gedocumenteerd fenomeen is in specifieke domeinen zoals Continual Learning (CL) en Reinforcement Learning (RL), ontbreekt het in de bestaande literatuur aan een verenigde, principiële definitie die de onderliggende dynamiek van vergeten over verschillende leerparadigma's heen verklaart.

Huidige metrieken verwarren vaak twee verschillende fenomenen: backward transfer (waarbij nieuw leren de prestaties op eerdere taken verbetert) en vergeten (waarbij nieuwe updates eerdere kennis eroderen). Bovendien zijn de meeste bestaande maten taakspecifiek (bijv. prestatievermindering op vorige taken in CL) of mechanismespecifiek (bijv. parameterdrift), en slagen ze er niet in om een algemeen, algoritme-agnostisch kader te bieden. De auteurs stellen dat vergeten een fundamentele eigenschap is van elk adaptief systeem dat zijn overtuigingen bijwerkt, wat zelfs voorkomt in i.i.d.-omgevingen (onafhankelijk en identiek verdeeld) zonder taakverschuivingen.

Methodologie

De auteurs stellen een algemene, algoritme- en taak-agnostische theorie van vergeten voor, gebaseerd op predictieve zelfconsistentie.

1. Algemeen Kader

Het artikel formaliseert leren als een stochastisch interactieproces tussen een leerder en een omgeving, waarbij supervised learning, RL en generatieve modellering worden verenigd.

• Toestand van de leerder ($Z_t$): Vat alle inhoud van de leerder samen (parameters, buffers, etc.).
• Interactieproces: De leerder observeert $X_t$, geeft een output $Y_t$ af en werkt zijn toestand $Z_t$ bij via een updatefunctie $u$.
• Predictieve Verdeling: De toestand van de leerder induceert een predictieve verdeling $q(H_{t+1:\infty} | Z_t, H_{0:t})$ over oneindige toekomstige interactiesequenties. Dit wordt afgeleid door het toekomstige gedrag van de leerder te simuleren met behulp van een inferentie-modus updatefunctie $u'$.

2. Definiëren van Vergeten via Zelfconsistentie

Het kerninzicht is dat vergeten optreedt wanneer een leerupdate een verandering induceert in de predictieve verdeling van de leerder die niet gerechtvaardigd wordt door nieuwe informatie.

• Gesimuleerde Marginalisering: De auteurs definiëren een proces waarbij de leerder zijn toestand bijwerkt op basis van gegevens gesampled uit zijn eigen huidige predictieve verdeling (introspectieve gegevens). Omdat deze gegevens geen nieuwe informatie bevatten ten opzichte van de huidige toestand, zou een niet-vergetende leerder in zijn gedrag onveranderd moeten blijven.
• Zelfconsistentie-voorwaarde: Een leerder is $k$-stap zelfconsistent als de predictieve verdeling vóór en na gesimuleerde marginalisering equivalent is.
• Neiging tot Vergeten ($\Gamma_k(t)$): Vergeten wordt gekwantificeerd als de divergentie (bijv. KL-divergentie) tussen de initiële predictieve verdeling en de verdeling na gesimuleerde marginalisering. Als de verdelingen divergeren, is de update vergeetachtig.

Belangrijkste Bijdragen

1. Verenigde Theorie: Een algemene theoretische formulering voor het redeneren over hoe leerders capaciteiten verwerven, behouden en verliezen, onafhankelijk van specifieke probleeminstellingen of algoritmen.
2. Predictieve Definitie: Een precieze definitie van vergeten als een schending van predictieve zelfconsistentie, wat het onderscheidt van louter prestatieveranderingen of parameterupdates.
3. Operationele Maatstaf: De introductie van de neiging tot vergeten ($\Gamma_k(t)$), een metriek die de waarschijnlijkheid van vergeten kwantificeert op elk gegeven tijdstap zonder afhankelijk te zijn van taakspecifieke prestatie-metrieken.
4. Theoretische Bewijzen:
   • Bayesiaans Niet-Vergeten: Bewijs dat exacte Bayesiaanse updates voldoen aan de zelfconsistentie-voorwaarde en dus niet vergeten (Stelling 5.1).
   • Degradatie van Generatieve Modellen: Een tautologische verklaring voor waarom generatieve modellen degraderen wanneer ze getraind worden op hun eigen synthetische outputs (Model Collapse), waarbij dit wordt geframed als een onvermijdelijk gevolg van vergeten tijdens gesimuleerde marginalisering.
5. Empirische Validatie: Uitgebreide experimenten binnen classificatie, regressie, generatieve modellering, CL en RL die aantonen dat vergeten alomtegenwoordig is en een belangrijke rol speelt in de efficiëntie van het leren.

Resultaten

• Alomtegenwoordigheid van Vergeten: Experimenten bevestigen dat vergeten aanwezig is in alle deep learning-settings, inclusief i.i.d.-scenario's. Het is niet enkel een resultaat van taakverschuivingen, maar een fundamentele eigenschap van gradiëntgebaseerde updates.
• Bayesiaanse Leerder: Exacte Bayesiaanse leerders vertonen een nul-neiging tot vergeten, omdat hun posterior-predictieve verdelingen een martingale vormen. In contrast hiermee schenden benaderde leerders (bijv. variational inference, punt-schattingen via gradiëntafdaling) de zelfconsistentie en vertonen zij vergeten.
• Niet-monotone Efficiëntie: De relatie tussen vergeten en leer-efficiëntie is niet-monotoon. De "vergeten-efficiëntie"-curve vertoont een "elleboog", wat suggereert dat een matige hoeveelheid vergeten gunstig is voor adaptatie (stabiliteit-plasticiteit trade-off), terwijl excessief vergeten het leren destabiliseert en onvoldoende vergeten de adaptatie vertraagt.
• Taakgrenzen: In continual learning-settings neemt de neiging tot vergeten abrupt toe bij taakgrenzen, wat correleert met verschuivingen in de observatieverdeling.
• RL-Dynamiek: In Deep Q-Networks (DQN) volgt de vergeten-curve de Temporal Difference (TD) loss, wat aangeeft dat vergeten het mechanisme is waarmee agenten de afweging beheren tussen het verwerven van nieuwe informatie en het consolideren van bestaande kennis.

Betekenis en Claims

Het artikel claimt een geprincieerde verstandhouding van vergeten te hebben vastgesteld die onafhankelijk is van backward transfer en specifieke leerdomeinen. Door vergeten te herformuleren als een gebrek aan zelfconsistentie in predictieve verdelingen, bieden de auteurs een fundament voor:

• Het analyseren van de informatiebehoud-capaciteiten van algemene leeralgoritmen.
• Het verklaren van fenomenen zoals model collapse in generatieve modellen en de stabiliteit-plasticiteit trade-off zonder te vertrouwen op ad-hoc aannames.
• Het ontwerpen van toekomstige algoritmen die expliciet vergeten beheren als een mechanisme voor efficiënte adaptatie.

De auteurs benadrukken dat hun werk niet een specifiek nieuw algoritme voorstelt om vergeten te voorkomen, maar eerder een theoretisch perspectief biedt om te begrijpen waarom vergeten optreedt en hoe het de leerdynamiek beïnvloedt. Zij stellen dat "vergeten overal is" omdat het een inherent gevolg is van hoe adaptieve systemen hun overtuigingen bijwerken in afwezigheid van exacte Bayesiaanse inferentie.