Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

Technische Samenvatting: Lokale Redundantie als een Informatietheoretische Maatstaf voor Plasticiteit

Probleemstelling
Neurale netwerken die getraind worden over lange horizonten of over meerdere taken heen, lijden vaak aan een "verlies van plasticiteit", een fenomeen waarbij het netwerk progressief het vermogen verliest om nieuwe taken effectief te leren. Dit probleem brengt continu leerprocessen en transfer learning-pipelines in gevaar, met name in de fasen die betrokken zijn bij fine-tuning en alignment. Bestaande metrieken die deze degradatie diagnosticeren—zoals effectieve rang, het deel van de dode neuronen, gewichtsnormen en de afstand tot initialisatie—missen een verenigde theoretische basis. Empirisch gezien correleren deze proxies slecht met toekomstige taakprestaties en bieden ze geen geprincipeerd maat voor de huidige capaciteit van een netwerk om zich aan te passen.

Methodologie: Lokale Redundantie
De auteurs introduceren lokale redundantie, een informatietheoretische maatstaf voor plasticiteit afgeleid van de universele compressietheorie.

• Theoretische Definitie: Het framework definieert plasticiteit niet als de globale capaciteit van een architectuur, maar als de capaciteit van een netwerk om te leren van zijn huidige parametertoestand ($\theta_0$). De auteurs definiëren een lokale modelfamilie als de verzameling distributies die bereikbaar zijn binnen een infinitesimale buurt langs gradiëntrichtingen vanaf $\theta_0$.
• Redundantie als Plasticiteit: Gebaseerd op de theorie van minimax-redundantie (Shtarkov, 1987; Rissanen, 1984), wordt lokale redundantie gedefinieerd als de worst-case redundantie van deze lokale familie. Geometrisch komt dit overeen met de informatieradius van de verzameling distributies die het model kan uitdrukken via een enkele gradiëntstap. Een hoge informatie-radius impliceert dat het netwerk in staat is om zijn outputdistributie naar vele diverse targets te sturen (hoge plasticiteit), terwijl een lage radius aangeeft dat het netwerk is ingestort in een rigide regio waar gradiënten minimale verandering induceren.
• Berekenbare Ondergrens: Omdat exacte berekening van de worst-case redundantie onhandelbaar is, bewijzen de auteurs dat de verwachte gekwadrateerde gradiëntnorm op een synthetische memorisatie-taak een berekenbare ondergrens vormt voor lokale redundantie (Theorema 3.4).
  • Constructie van Synthetische Data: De methode maakt gebruik van synthetische inputs (bijv. willekeurige vormen voor visie, Gaussische ruis voor tijdreeksen) gekoppeld aan labels gesampled uit de eigen predictieve distributie van het model ($y \sim P_{\theta_0}(y|x)$).
  • Mechanisme: Het model wordt niet getraind op deze data. In plaats daarvan berekent een enkele backward pass de gradiëntnorm. Het theoretische bewijs laat zien dat het vermogen van de huidige parameters om willekeurige labels te fitten (memorizatie-winst) via een kleine gradiëntstap direct gerelateerd is aan de worst-case redundantie van de lokale familie.

Belangrijkste Bijdragen

1. Definitie van Lokale Redundantie: Het artikel formaliseert plasticiteit als de worst-case redundantie van een lokale parameternabijheid, waarbij het concept wordt gegrond in de universele compressietheorie en de informatie-radius.
2. Efficiënte Schatting: De auteurs bewijzen dat de verwachte gekwadrateerde gradiëntnorm op synthetische memorisatie-data dient als een ondergrens voor lokale redundantie. Deze estimator vereist slechts één backward pass en heeft geen toegang nodig tot downstream-taakdata.
3. Empirische Validatie: Het framework wordt gevalideerd in twee verschillende settings: continue beeldclassificatie en tijdreeks transfer learning.

Resultaten

• Continual Learning (Continual ImageNet): In een benchmark bestaande uit 3.000 sequentiële binaire classificatietaken, werd vastgesteld dat de lokale redundantie gestaag afnam naarmate de training vorderde, wat het verlies van plasticiteit volgde. Cruciaal was dat bij het voorspellen van toekomstige taaknauwkeurigheid (taken $t+1$ tot $t+10$) na het wegregresseren van het taaknummer, lokale redundantie de hoogste correlatie vertoonde (Pearson $r \approx 0,089$) vergeleken met bestaande metrieken zoals gewichtsnorm, de ratio dode neuronen en de trainingsgradiëntnorm.
• Transfer Learning (ETT Time Series): Bij het selecteren van pretraining checkpoints voor tijdreeksvoorspelling vergeleken de auteurs strategieën gebaseerd op validatieverlies versus lokale redundantie. Terwijl de validatieverlies vaak een plateau bereikt, bleef de lokale redundantie evolueren. Het selecteren van checkpoints met de maximale lokale redundantie leverde betere downstream fine-tuning prestaties op (lagere MSE) dan het selecteren van het checkpoint met de laagste validatieverlies. Opvallend genoeg was dit de enige metriek die getest werd (inclusief de ratio dode neuronen en gewichtsnorm) die erin slaagde superieure checkpoints te identificeren zodra de validatieverlies verzadigde.
• Stabiliteit-Plasticiteit Tradeoff: Lokale redundantie vertoonde een positieve correlatie met vergeten (de daling in de nauwkeurigheid van vorige taken), consistent met de theoretische tradeoff waarbij een hogere aanpassingscapaciteit een grotere neiging impliceert om eerdere kennis te overschrijven.

Betekenis en Claims
Het artikel claimt dat lokale redundantie een geprincipleerde, berekenbare maatstaf voor plasticiteit biedt die bestaande heuristieken overtreft in het voorspellen van downstream prestaties. De primaire betekenis ligt in het vermogen om checkpoint-selectie te sturen in scenario's waar traditionele metrieken (zoals validatieverlies) niet in staat zijn te differentiëren tussen modellen, specifiek wanneer de validatieverlies is geplatteerd maar de capaciteit van het model om zich aan te passen blijft evolueren.

De auteurs houden een bescheiden standpunt aan met betrekking tot causaliteit, waarbij zij opmerken dat hoewel lokale redundantie prestaties voorspelt, de studie niet bewijst dat het dit veroorzaakt; gecontroleerde interventies zouden vereist zijn om causaliteit vast te stellen. Bovendien erkennen zij dat de huidige synthetische memorisatie-datasets slechts een fractie van de theoretische informatiecapaciteit verzadigen (ongeveer 1–2 bits per parameter), wat suggereert dat de gradiëntnorm een proxy is in plaats van een gekalibreerde absolute waarde. Desalniettemin biedt het framework een nieuw theoretisch perspectief voor het begrijpen en meten van de "leerbaarheid" van neurale netwerken in hun huidige staat.