🤖 machine learning

Interference and Retention in Continual Learning

Dit artikel stelt Interference-Gated Functional Allocation (IGFA) voor, een replay-vrije continual learning-methode die vergeten modelleert als taakinterferentie-energie om het structureel te elimineren voor scheidbare taken en om retentie met plasticiteit optimaal te balanceren voor conflicterende taken.

Oorspronkelijke auteurs: Julius Störk

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julius Störk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je brein een gigantische, multifunctionele werkplaats is. Je hebt net een perfecte, ingewikkelde klok gebouwd (Taak A). Daarna krijg je blauwdrukken voor een raket (Taak B) in handen. Als je probeert de raket te bouwen met exact dezelfde gereedschappen en dezelfde werkbankruimte als de klok, kun je per ongeluk de klok omverwerpen of de tandwielen in de war schoppen. In de wereld van kunstmatige intelligentie wordt dit catastrofale vergeten genoemd: het leren van iets nieuws zorgt ervoor dat je het oude vergeet.

Lamaag de wetenschappers probeerden dit op te lossen door de AI dingen te laten "onthouden" (zoals het bewaren van een fotoalbum van de klok) of door zware gewichten toe te voegen aan de tandwielen van de klok zodat ze niet zouden bewegen (regularisatie). Maar dit artikel betoogt dat we het probleem verkeerd hebben bekeken. In plaats van te proberen de schade te repareren nadat deze is opgetreden, moeten we de geometrie van interferentie begrijpen om de crash te voorkomen voordat deze begint.

Het kernidee: De "Interferentie-boekhouding"

De auteurs, Julius Störk, stellen een nieuwe manier voor om naar leren te kijken. Stel je voor dat de werkplaats een specifieke "actieve zone" heeft waar de klok leeft.

De Zone van de Klok: Dit is de ruimte waar de tandwielen van de klok draaien. Als je de raket binnen deze zone probeert te bouwen, breek je de klok.
De Lege Zone: Er is ook lege ruimte in de werkplaats waar de klok niet bestaat. Als je de raket daar bouwt, is de klok volkomen veilig.

Het artikel bewijst een wiskundig feit: Vergeten is exact de energie die je verspilt door het nieuwe ding te bouwen binnen de actieve zone van het oude ding.

Als de nieuwe taak (de raket) een compleet andere set gereedschappen nodig heeft (een disjunct ondersteuning), kun je deze bouwen zonder de klok aan te raken. Het vergeten is dan nul. Maar als de raket moet werken met sommige van dezelfde tandwielen als de klok, en die tandwielen moeten in tegengestelde richtingen draaien, kom je een "distortie-vloer" tegen. Dit is een harde limiet: hoe slim je ook bent, je kunt niet zowel de perfecte klok als de perfecte raket hebben als ze strijden om hetzelfde tandwiel. Het artikel laat zien dat dit geen bug is; het is een wet van het universum voor deze modellen.

De oplossing: De "Slimme Poort" (igfa)

Het artikel introduceert een methode genaamd igfa (Interference-Gated Functional Allocation). Denk aan een superintelligente voorman die de blauwdrukken controleert voordat je ook maar één gereedschap aanraakt.

Controleer de overlap: De voorman kijelt naar de zone van de klok en de zone van de raket.
De beslissing:
- Als ze totaal verschillend zijn: De voorman zegt: "Ga je gang! Bouw de raket in de lege ruimte. Deel niets, maar dat hoeft ook niet."
- Als ze vergelijkbaar zijn: De voorman zegt: "Hé, deze tandwielen draaien dezelfde kant op! Laten we ze delen. Dat is efficiënt."
- Als ze conflicteren: De voorman trapt op de rem. "Stop! Je kunt dat tandwiel niet gebruiken. Bouw de raket in een andere richting."

Deze "poort" is speciaal omdat hij replay-vrij is (hij heeft geen fotoalbum van oude taken nodig) en Fisher-vrij (hij heeft geen complexe wiskunde nodig om te berekenen hoe "belangrijk" elk enkel tandwiel is). Hij kijkt gewoon naar de geometrie.

Wat het artikel uitsluit (De "Niet Nodig" lijst)

Het artikel is heel duidelijk over wat niet werkt of niet nodig is in bepaalde situaties:

Bescherm niet blindelings alles: Oude methoden zeiden vaak: "Bescherm elke richting uit het verleden." Het artikel betoogt dat dit te conservatief is. Als de nieuwe taak vergelijkbaar is met de oude, stopt het beschermen van alles het delen van nuttige kennis. Het is alsof je weigert een hamer te delen omdat je bang bent de klok te breken, zelfs wanneer je een huis bouwt dat diezelfde hamer nodig heeft.
Ga er niet vanuit dat je alles kunt repareren: Als de taken op een conflicterende manier overlappen, is er een niet-nul distortie-vloer. Het artikel bewijst dat je deze kosten niet kunt elimineren. Je kunt het niet "repareren" met betere algoritmen; je kunt alleen beslissen waar je de kosten plaatst (als vergeten bij de oude taak, of als een licht imperfecte pasvorm bij de nieuwe taak).
Vertrouw niet op "verouderde" kaarten: Als je een model traint terwijl de "werkplaats" zelf beweegt (feature drift), zal het gebruik van een kaart van de werkplaats van het begin van de dag falen. Het artikel laat zien dat als je je kaart van de actieve zones niet bijwerkt terwijl je bezig bent, je uiteindelijk de ruimte opgebruikt en het model stopt met leren.

Hoe zeker zijn ze?

De auteurs zijn zeer zelfverzekerd, maar ze zijn ook precies over waar hun vertrouwen vandaan komt.

Bewezen Wiskunde: In het "frozen-feature" regime (waarbij de hoofdbrein vaststaat en alleen de kop leert), is de wiskunde exact. Ze hebben bewezen dat vergeten exact gelijk is aan de interferentie-energie. In simulaties met lineaire koppen kwam de voorspelling overeen met de werkelijkheid tot op machineprecisie (fout van 0.0).
Gemeten Realiteit: Toen ze dit testten op echte data (zoals het herkennen van cijfers of geroteerde afbeeldingen), hield de wiskunde het ongelooflijk goed vol. Op een taak genaamd "Split-Digits" behaalde hun methode een nauwkeurigheid van 0.980 met bijna nul vergeten, wat de beste bestaande methoden evenaart zonder dat ze oude data hoeven op te slaan.
Gesimuleerd & Gesuggereerd: Voor zeer diepe, complexe netwerken waar de "werkplaats" veel beweegt, is de wiskunde een benadering (eerste-orde). Ze hebben dit gemeten en ontdekken dat de voorspelling nog steeds erg goed is voor ondiepe netwerken, maar wat vager wordt voor diepe netwerken (correlatie daalt naar ongeveer 0.2–0.4 zonder correctie). Echter, ze lieten zien dat door een "segment-gemiddelde" correctie te gebruiken (kijken naar het pad van het leren in plaats van alleen naar het begin), ze de nauwkeurigheid kunnen herstellen naar 1.00, zelfs in deze lastige gevallen.

De Kernboodschap

Het artikel suggereert dat we niet bang hoeven te zijn voor vergeten. In plaats van het verleden te proberen te memoriseren of het heden te bevriezen, moeten we de vorm van de taken begrijpen.

Als taken verschillend zijn, vechten ze niet.
Als taken vergelijkbaar zijn, kunnen ze delen.
Als taken vechten, is er een limiet aan hoe goed ze kunnen samenleven.

De "igfa"-methode is een hulpmiddel dat automatisch uitvindt in welke van deze drie situaties je je bevindt en daarop handelt. Het is als een voorman die precies weet wanneer hij een gereedschap moet delen en wanneer hij een nieuw exemplaar moet maken, waardoor je werkplaats efficiënt blijft en je oude klokken blijven tikken, zonder dat je een gigantisch fotoalbum van het verleden nodig hebt.

Kortom: Vergeten is geen mysterie; het is geometrie. En zodra je de vorm van het probleem begrijpt, kun je het oplossen zonder het zware werk van oude methoden.

Technische Samenvatting: Interferentie en Retentie in Continual Learning

Probleemstelling

Continual learning (CL) staat voor de uitdaging van catastrofale vergetelheid (catastrophic forgetting), waarbij een model dat sequentieel is getraind op een nieuwe taak $B$ in prestaties degradeert op een eerder geleerde taak $A$ . Standaard benaderingen, zoals experience replay, elastic weight consolidation (EWC) en distillatie, fungeren doorgaans als correctieve mechanismen die proberen het vergeten te herstellen nadat de interferentie al heeft plaatsgevonden. Deze methoden vertrouwen vaak op heuristieken, grote geheugenbuffers (replay) of computationeel dure Fisher-informatie matrices.

Dit werk betoogt dat vergeten direct gemodelleerd moet worden als interferentie tussen taken, gestuurd door de geometrie van de feature-ruimte. Het artikel stelt dat de kernvraag niet is hoe men schade kan herstellen, maar hoe men kan voorspellen wanneer interferentie vermijdbaar is, wanneer het onvermijdelijk is, en welke structurele beperkingen een update moet voldoen om oude kennis te behouden zonder nuttige transfer op te offeren.

Methodologie en Theoretisch Kader

1. De Interferentie-functionaal

Het artikel vestigt een theoretisch kader dat primair plaatsvindt in het frozen-feature regime, waarbij een vaste feature extractor $\phi(x)$ wordt gekoppeld aan een trainbare lineaire head $w$ .

Interferentie-energie: Het vergeten van taak $A$ na het leren van taak $B$ wordt exact gekwantificeerd als de interferentie-energie:
$\Delta L_A = \frac{1}{2} \Delta^\top \Sigma_A \Delta$
waarbij $\Delta = w_B - w^*_A$ de update-vector is, en $\Sigma_A = \mathbb{E}_{x \sim D_A}[\phi(x)\phi(x)^\top]$ de feature second-moment matrix is (de covariantie van de features voor taak $A$ ).
Verwijderbaarheids-dichotomie:
- Disjuncte Supports: Als de actieve feature-subruimten van twee taken disjunct zijn (d.w.z. $\text{range}(\Sigma_A) \cap \text{range}(\Sigma_B) = \emptyset$ ), is vergeten verliesloos verwijderbaar. Updates kunnen worden beperkt tot de kernel van $\Sigma_A$ ( $\ker \Sigma_A$ ), waardoor de loss voor taak $A$ ongewijzigd blijft.
- Overlappende Supports: Als de ondersteuning van taken overlapt in conflicterende richtingen, is een niet-nul distortie-vloer onvermijdelijk. Geen enkel single-head model kan beide taken simultaan perfect fitten; de kosten zijn een onreduceerbare fout die wordt bepaald door de taak-confusabiliteit en doel-discrepantie.

2. Generalisatie naar Diepe Netwerken

Hoewel de exacte identiteit geldt voor frozen features, breidt het artikel dit concept uit naar end-to-end training via Stelling 2:

In diepe netwerken met feature drift wordt de vaste kromming $\Sigma_A$ vervangen door een pad-gemiddelde Hessian $\bar{H}_A$ , gemiddeld langs het traject van $w_A$ naar $w_B$ .
Dit maakt het mogelijk dat de interferentie-functionaal een geldige voorspeller van vergeten blijft, zelfs wanneer features veranderen, mits de kromming wordt geschat (bijv. via een klein aantal forward passes langs het update-segment).

3. Optimale Merging als $\Sigma$ -Orthogonalisatie

Het artikel herformuleert model merging (het combineren van onafhankelijk getrainde modellen) als een online continual learning probleem.

Optimale Merge-conditie: De totale loss wordt geminimaliseerd wanneer taak-vectoren paarwijs $\Sigma$ -orthogonaal zijn ( $\Delta_{t'} \in \ker \Sigma_t$ ).
Metriek: De correcte inwendige product voor merging is de taak-afhankelijke $\Sigma$ -metriek, niet de standaard Euclidische metriek. Euclidische orthogonaliteit is alleen optimaal wanneer features isotroop zijn ( $\Sigma \propto I$ ).

4. Interference-Gated Functional Allocation (igfa)

Op basis van deze inzichten stelt de auteur igfa voor, een replay-vrije en Fisher-vrije structurele controller.

Mechanisme: igfa houdt een low-rank samenvatting bij van de bezette feature-subruimte. Voor elke nieuwe taak-gradient:
1. Het deelt de gradient op in componenten die parallel ( $g_\parallel$ ) en orthogonaal ( $g_\perp$ ) zijn aan de bezette subruimte.
2. Het past een signed gate toe op basis van de gelijkenis tussen de doelrichting van de nieuwe taak en de bestaande subruimten.
  - Uitgelijnd ( $s > s^*$ ): Deelt de richting (laat $g_\parallel$ toe) om transfer te behouden.
  - Conflicterend ( $s < s^*$ ): Orthogonaliseert (verwijder $g_\parallel$ ) om oude kennis te beschermen.
Status: De methode vereist slechts een low-rank subruimte-samenvatting ($O(dk)$ geheugen), wat de noodzaak voor exemplar buffers of volledige Fisher-matrices elimineert.
Drift-afhandeling: Om feature drift in diepe netwerken te behandelen, gebruikt igfa een recursieve Gauss-Newton update om de geometrie te volgen, wat de "capaciteitsuitputting" voorkomt die optreedt bij methoden die gebruikmaken van verouderde, vaste subruimten.

Belangrijkste Resultaten

1. Theoretische Validatie

Exacte Identiteit: In het frozen-feature regime komt de voorspelde interferentie-energie overeen met de gemeten vergetelheid met machineprecisie ( $r=1.0$ ).
Verliesloze Allocatie: Bij disjuncte supports bereikt igfa bijna nul vergetelheid terwijl nieuwe taken worden geleerd, wat de theoretische ondergrens benadert.
Distortie-vloer: Bij overlappende supports met conflicterende doelen identificeert de methode correct dat kosten niet kunnen worden verwijderd, maar slechts kunnen worden verplaatst (van het vergeten van de oude taak naar het uitgestelde fitten van de nieuwe taak).

2. Benchmark Prestaties

Dissimilaire Taken (Split-Digits, Split-CIFAR-100, CUB-200): Wanneer taken een lage feature-overlap hebben, reduceert igfa tot orthogonale projectie (OGD/GPM), en bereikt het state-of-the-art retentie onder replay-vrije en Fisher-vrije methoden (bijv. 0.980 accuratesse op Split-Digits met bijna nul vergetelheid).
Similaire Taken (Rotated-Digits, ImageNet-R): Wanneer taken een structuur delen, is onvoorwaardelijke projectie (OGD) te conservatief. De similarity gate van igfa staat sharing toe, wat aanzienlijk beter presteert dan OGD (bijv. 0.771 vs 0.684 op Rotated-Digits) terwijl bijna nul vergetelheid behouden blijft.
Schaalbaarheid: Experimenten met gefroren ViT backbones bevestigen dat de methode effectief schaalt. De "gate gain" ten opzichte van onvoorwaardelijke projectie correleert met de share density van de stream (het deel van de taakparen dat de gelijkenis-drempel overschrijdt).

3. Capaciteit en Plasticiteit

Het artikel demonstreert een "capacity knee" waar de prestaties degraderen zodra de cumulatieve rank van de bezette subruimten de feature-dimensie overschrijdt.
igfa beheert dit via een rate-distortion aanpak: wanneer de capaciteit vol is, overschrijft het gracieus de minst geëxciteerde richtingen, waarbij de geïnduceerde vergetelheid wordt begrensd door de eigenvalue van de weggegooide richting.

Betekenis en Claims

Het artikel claimt een geometrische taal te bieden voor continual learning die heuristische correcties vervangt door voorspellende structurele allocatie.

Voorspellend versus Correctief: In tegen tegenoverking van replay of regularisatie die schade herstellen, voorspelt de interferentie-functionaal wanneer interferentie optreedt en of het verwijderbaar is voordat de training begint.
Verenigd Zicht: Het verenigt offline model merging en online continual learning als oplossingen voor hetzelfde probleem van het minimaliseren van interferentie onder verschillende schema's.
Structurele Garanties: In het frozen-feature regime (veelvoorkomend bij PEFT en adapter tuning) zijn de retentiegaranties exact. Voor diepe netwerken biedt de methode een eerste-orde benadering met gekwantificeerde residuen.
Efficiëntie: igfa bereikt sterke retentie zonder de geheugenoverhead van replay buffers of de computationele kosten van Fisher-matrix schattingen, door gebruik te maken van low-rank subruimte-tracking.
Besluitvormingsprocedure: Het framework biedt een diagnostisch instrument vooraf: door de overlap van taak-supports en de doel-gelijkenis te meten, kan men bepalen of men structurele allocatie (igfa/OGD), sharing, of een distortie-vloer onvermijdelijk is, waardoor de keuze voor een mechanisme (replay vs. projectie vs. sharing) wordt gestuurd door de data-geometrie in plaats van door trial-and-error.

De auteurs benadrukken dat hoewel de methode uitblinkt in het "structurele retentie"-regime, het de fundamentele distortie-vloer veroorzaakt door taak-ambiguïteit niet elimineert; in plaats daarvan wordt de kost van die vloer optimaal toegewezen tussen vergetelheid en uitgesteld fitten.