Technische Samenvatting: MoRe: Modulaire Representaties voor Principiële Voortdurende Representatieleren op Sequentiële Data

1. Probleemdefinitie

Het artikel behandelt de uitdaging van Voortdurend Leren (CL), specifiek het probleem van catastrofaal vergeten wanneer modellen zich sequentieel aanpassen aan nieuwe data. De auteurs betogen dat bestaande CL-methoden (zowel toezicht als ontoezicht) grotendeels vertrouwen op heuristische strategieën—zoals parameterbeperkingen, replay, distillatie of architecturale isolatie—om te beslissen wat behouden moet worden en wat bijgewerkt moet worden. Deze benaderingen behandelen de beslissing "wat te updaten" vaak als een taakniveau- of parameterniveau-probleem in plaats van een representatief probleem.

Het kernprobleem dat wordt geïdentificeerd, is dat taken onderscheidende maar gestructureerde representaties vereisen die selectief kunnen worden bijgewerkt zonder bestaande kennis te verstoren. Huidige methoden missen echter een principiële criterium dat is geworteld in de intrinsieke structuur van de data om te bepalen welke delen van een representatie opnieuw gebruikt moeten worden versus vervangen. Het artikel stelt dat voor sequentiële data, tijdvertraagde afhankelijkheden een natuurlijk signaal bieden om de intrinsieke organisatie van data bloot te leggen, en inzicht geven in hoe fundamentele representaties specifieke representaties doen ontstaan.

2. Methodologie: MoRe Framework

De auteurs stellen MoRe (Modulaire Representaties) voor, een framework voor principiële voortdurende representatieleren. In tegenstelling tot methoden die modulariteit op het architectuurniveau toewijzen (bijvoorbeeld aparte netwerken per taak), identificeert MoRe modulariteit binnen de representatie zelf.

2.1 Generatief Model en Aannames

MoRe neemt aan dat de data wordt gegenereerd door een hiërarchisch proces waarbij latente variabelen $Z_t$ zijn georganiseerd in $d$ lagen ($Z^1_t, \dots, Z^d_t$):

• Hiërarchie: Hogere lagen coderen fundamentele, domein-agnostische kennis (bijvoorbeeld fysische principes), terwijl lagere lagen gespecialiseerde, domeinspecifieke informatie vastleggen.
• Unidirectionele Tijdvertraagde Afhankelijkheden: Effecten tussen lagen stromen unidirectioneel van fundamentele naar specifieke lagen met een tijdvertraging (bijvoorbeeld $Z^i_t$ is afhankelijk van $Z^j_{t-\tau}$ waarbij $j < i$). Instantane cross-layer afhankelijkheden zijn verboden.
• Intra-layer Afhankelijkheden: Afhankelijkheden binnen dezelfde laag zijn onbeperkt.

2.2 Theoretische Garanties (Identificeerbaarheid)

Een centrale bijdrage is het bewijs dat deze specifieke generatieve structuur identificeerbaarheid van het latente proces mogelijk maakt:

• Stelling 1 (Identificeerbaarheid van Latente Variabelen): Onder voorwaarden van gladde dichtheid en voldoende variabiliteit zorgen instantane relaties ervoor dat latente variabelen alleen binnen dezelfde laag kunnen worden gemengd, niet over lagen heen.
• Stelling 2 (Identificeerbaarheid van Hiërarchische Orde): De unidirectionele, tijdvertraagde cross-layer effecten beperken de toelaatbare permutaties van lagen. De hiërarchie is identificeerbaar tot een "compatibele orde" (een orde die ware tijdvertraagde effecten niet omkeert).
• Corollarium 1: Door deze te combineren, is het volledige latente proces identificeerbaar tot onbepaaldheid binnen de laag en compatibele hiërarchische orde. Dit transformeert modules van heuristische constructies naar goed gedefinieerde objecten, wat principiële beslissingen over hergebruik en uitbreiding mogelijk maakt.

2.3 Aanpassingsalgoritme

MoRe hanteert een aanpassingsprocedure in twee fasen voor nieuwe datasets $D_k$:

1. Fitting en Beoordeling (Alleen Inference):

   • Nieuwe data wordt geprojecteerd in het bestaande coördinatenstelsel met behulp van de vorige encoder $f_{k-1}$.
   • Zelfconsistentie Scoring: Elke bestaande module wordt gescoord ($a_j$) op basis van of de aangenomen generatieve structuur (temporale autocorrelatie en conditionele onafhankelijkheid van de residuen van andere modules) behouden blijft in de nieuwe data.
   • Residuanalyse: Het reconstructieresidu in de observatieruimte wordt geanalyseerd om kandidaat-nieuwe coördinaten ($V_{new}$) te identificeren die orthogonaal zijn aan de bestaande basis, waardoor ontbrekende structuur aan het licht komt.

2. Selectieve Bijwerking:

   • Gating Mechanisme: Elke module (bestaand en kandidaat-nieuw) is gekoppeld aan een Hard Concrete gate ($g_j$). De zelfconsistentiescore $a_j$ initialiseert de gate-prior (hoge $a_j$ $\rightarrow$ positieve logit; lage $a_j$ $\rightarrow$ negatieve logit).
   • Alignering: Een leerbare aligneringsmatrix $T$ (geinitialiseerd als identiteit) maakt kleine coördinaataanpassingen mogelijk voor hergebruikte modules zonder volledige hertraining.
   • Doelfunctie: De loss combineert datafit (likelihood van verandering van variabelen), een aligneringsregularisator ($\|T - I\|_F^2$) en spaarzaamheidsstraffen op gates ($L_0$) en nieuwe transitieblokken ($J_{new}$).
   • Commitment: Aan het einde van de training worden de gates binaire gemaakt. Modules met $g_j=0$ worden gedeactiveerd (maar behouden in de bibliotheek), en nieuwe modules met $g_j=1$ worden toegevoegd.

3. Belangrijkste Bijdragen

1. MoRe Framework: Een methode om representaties te ontleden in een hiërarchie van fundamentele en specifieke modules die het data-generatieproces weerspiegelt in plaats van taakgrenzen.
2. IdentificeerbaarheidsGaranties: Theoretische bewijzen die aantonen dat onder cross-layer tijdvertraagde afhankelijkheden de hiërarchische modulaire structuur identificeerbaar is, wat een principiële basis biedt voor het beslissen welke modules opnieuw gebruikt of uitgebreid moeten worden.
3. Aanpassingsprocedure: Een algoritme in twee fasen dat nieuwe data interpreteert via bestaande modules, deze scoort op consistentie, en ze selectief aligneert, behoudt of uitbreidt met behulp van leerbare gates.
4. Empirische Validatie: Demonstraties op synthetische benchmarks en real-world Large Language Model (LLM) activatiedata die een interpreteerbare hiërarchische structuur en verbeterde plasticiteit-stabiliteit trade-offs tonen.

4. Experimentele Resultaten

4.1 Synthetische Benchmarks

• Identificeerbaarheid (S-RQ1): MoRe slaagde erin latente factoren te herstellen over variërende dimensies (tot 128) en diepten (tot 4 lagen) in zowel lineaire als niet-lineaire settings, met hoge Mean Correlation Coefficients (MCC > 0,9).
• Plasticiteit-Stabiliteit (S-RQ2): In overgangsscenario's met nieuwe factoren of ontbrekende factoren, bereikte MoRe bijna nul of negatief vergeten (verbetering van herstel van oude factoren) terwijl het plasticiteit behield die vergelijkbaar was met fine-tuning. Ablatiestudies bevestigden dat de aligneringsmatrix $T$ cruciaal is voor het beschermen van oude representaties.
• Factortoewijzing (S-RQ3): MoRe routeerde factoren correct naar hergebruikte of nieuwe modules. In "harde" selectieve gevallen waarbij oude en nieuwe factoren deels overlapten, daalde de gate-accuraatheid tot 0,5, wat de inherente ambiguïteit weerspiegelt, maar vereiste spaarzaamheidsstraffen op zowel oude als nieuwe gates om correct te functioneren.

4.2 Real-World LLM Activaties

• Hiërarchische Emergentie (RW-RQ1): Toegepast op activaties van Pythia-1.4B en Gemma-2-9B op datasets zoals ArXiv, AMPS en Wikipedia, legde MoRe een "breed-naar-specifiek" structuur bloot.
  • Conceptconcentratie: Op de AMPS-dataset (wiskundecurriculum) toonden lagere lagen ($L_0$) een hogere conceptconcentratie (specificiteit voor moeilijkheidsgraden) dan hogere lagen, in lijn met de curriculumhiërarchie.
  • Cross-Layer Links: Geëxtraheerde B-matrix links toonden overgangen van fundamentele concepten (bijvoorbeeld rekenkunde) naar specifieke concepten (bijvoorbeeld lineaire algebra) in AMPS, en van abstracte wiskunde naar toegepaste domeinen in ArXiv.
• Label-efficiëntie (RW-RQ2): Lineaire probes getraind op bevroren MoRe-representaties presteerden beter dan PCA-baselines in few-shot settings. Bijvoorbeeld, MoRe bereikte equivalente prestaties als PCA met 256 dimensies met slechts 64 dimensies uit één laag en de helft van de gelabelde data.

5. Betekenis en Claims

Het artikel claimt dat de centrale uitdaging van voortdurend leren representatief is. Door het aanpassingsproces te gronden in de identificeerbare structuur van de data (specifiek, tijdvertraagde cross-layer afhankelijkheden), biedt MoRe een principiële alternatief voor heuristische taak-gebaseerde of parameter-gebaseerde isolatie.

• Principiële Basis: Het framework suggereert dat voortdurende aanpassing niet gedreven moet worden door taaklabels, maar door de intrinsieke organisatie van de data, waardoor hergebruik van fundamentele bouwstenen mogelijk is terwijl specifieke componenten worden uitgebreid.
• Interpreteerbaarheid: De geleerde hiërarchie is interpreteerbaar en weerspiegelt de overgang van algemene principes naar specifieke toepassingen, zoals blijkt uit de alignering met door mensen gedefinieerde hiërarchieën in real-world datasets.
• Efficiëntie: De methode demonstreert dat rijke representaties, eenmaal geleerd, label-efficiënte downstream aanpassing mogelijk maken, waarbij slechts enkele samples nodig zijn om representaties voor nieuwe taken samen te stellen.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de huidige implementatie lineaire instantiaties gebruikt en dat de theoretische aannames (unidirectionele vertragingen, spaarzaamheid) in de praktijk mogelijk slechts bij benadering worden vervuld. Ze zien het werk als een fundamentele stap naar een compleet voortdurend leersysteem, waarbij stabiliteit op lange termijn en niet-lineaire schaling worden overgelaten voor toekomstig onderzoek.