🤖 machine learning

Dimensionality Controls When Modularity Helps in Continual Learning

Dit artikel toont aan dat de effectiviteit van modulaire architecturen in continual learning afhankelijk is van de representationele dimensionaliteit, aangezien modulariteit slechts een beslissend voordeel biedt in laagdimensionale "rijke" regimes door het mogelijk maken van adaptieve, taakafhankelijke subspace-organisatie, terwijl in hoogdimensionale "luie" regimes expliciete modulariteit weinig voordeel biedt ten opzichte van single-network baselines.

Oorspronkelijke auteurs: Kathrin Korte, Christian Medeiros Adriano, Joachim Winther Pedersen, Eleni Nisioti, Sebastian Risi

Gepubliceerd 2026-06-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kathrin Korte, Christian Medeiros Adriano, Joachim Winther Pedersen, Eleni Nisioti, Sebastian Risi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je leert om twee verschillende instrumenten te spelen: de piano en de viool.

Het Grote Probleem: De "Plakkerige" Hersenen
Wanneer je een nieuwe vaardigheid leert, krijgt je brein (of een computerprogramma) te maken met een lastig dilemma. Het moet plastisch zijn (flexibel genoeg om de nieuwe viool te leren) maar ook stabiel (de pianivaardigheden vasthouden zodat je ze niet vergeet). Als je probeert de viool te leren met exact dezelfde mentale "spier" als de piano, kun je per ongeluk je kennis van de piano overschrijven. Dit wordt de "stabiliteit-plasticiteit dilemma" genoemd.

De Voorgestelde Oplossing: Afzonderlijke Kamers Bouwen
Eén manier om dit op te lossen is door een modulair systeem te bouwen. In plaats van één groot brein, geef je de leerling twee afzonderlijke "kamers" (modules). Eén kamer is voor de piano, de andere voor de viool. Het idee is dat door ze fysiek gescheiden te houden, de pianivaardigheden niet verpest kunnen worden door de vioollessen.

De Ontdekking van het Papier: Het Hangt Af van de Grootte van de Kamer
De onderzoekers in dit artikel vroegen zich af: Helpt het bouwen van afzonderlijke kamers altijd?

Ze kwamen tot de conclusie dat het antwoord nee is. Het hangt er volledig vanaf hoeveel "ruimte" de leerling heeft om mee te werken. Ze testten dit door de "grootte" van de mentale ruimte (wat ze dimensionaliteit noemen) te veranderen.

Hier is de uitsplitsing met behulp van een eenvoudige analogie:

1. Het Scenario van de "Enorme Magazijn" (Hoge Dimensionaliteit)

Stel je voor dat de leerling een enorm, leeg magazijn heeft met oneindige planken.

Wat er gebeurt: Of je nu twee afzonderlijke kamers bouwt of gewoon één grote open vloer gebruikt, het maakt niet veel uit. Er is zoveel ruimte dat de piano- en vioolvaardigheden gewoon op verschillende planken kunnen staan zonder tegen elkaar aan te botsen.
Het Resultaat: Het "afzonderlijke kamers" (modulaire) ontwerp presteert net zo goed als het "één grote kamer" (enkel netwerk) ontwerp. De extra structuur van het hebben van aparte kamers is verspilde moeite omdat er toch al genoeg ruimte is om uit te spreiden.

2. Het Scenario van het "Kleine Studioappartement" (Lage Dimensionaliteit)

Stel je nu voor dat de leerling gedwongen wordt in een klein, krap studioappartement. Er is heel weinig ruimte.

Wat er gebeurt: Als je probeert de piano- en vioolvaardigheden in één kleine kamer te proppen, zullen ze botsen. Je legt misschien je vioolbladmuziek op de pianotoetsen, en plotseling kun je geen piano meer spelen. Dit is interferentie.
Het Resultaat: Dit is waar het afzonderlijke kamers (modulaire) ontwerp uitblinkt.
- Omdat de ruimte zo krap is, dwingt het modulaire ontwerp het systeem om zichzelf slim te organiseren.
- Als de taken zeer vergelijkbaar zijn (zoals piano en orgel), plaatst het systeem ze in overlappende hoeken van de kamer omdat ze gereedschappen delen.
- Als de taken enigszins verschillend zijn, krijgen ze hun eigen duidelijke zones.
- Als de taken totaal verschillend zijn (piano en jongleren), worden ze naar de tegenovergestelde hoeken geduwd om elkaar niet in de weg te zitten.

De Belangrijkste Les

Het papier beweert dat modulariteit (afzonderlijke kamers) alleen nuttig is wanneer de "ruimte" krap is.

In een grote ruimte: Heb je geen afzonderlijke kamers nodig; één grote kamer werkt prima.
In een kleine ruimte: Zijn afzonderlijke kamers essentieel om de boel georganiseerd te houden en chaos te voorkomen.

De "Gegradueerde" Organisatie

De meest interessante bevinding is dat het modulaire systeem in het "kleine ruimte" scenario niet zomaar alles blindelings scheidde. Het creëerde een slimme, gegradeerde kaart:

Vergelijkbare taken overlapten (deelde ruimte).
Verschillende taken bleven uit elkaar (scheidde ruimte).
Dit creëerde een zeer georganiseerde, efficiënte indeling die het enkel netwerksysteem niet uit zichzelf had kunnen bereiken.

Samenvatting

Denk aan het inpakken voor een reis.

Als je een enorme verhuiswagen hebt, kun je alles in één grote hoop gooien, en maakt het niet veel uit hoe je het organiseert.
Als je alleen een kleine rugzak hebt, moet je zorgvuldig organiseren. Je moet weten dat sokken bij schoenen horen, en dat breekbare items in hun eigen vakjes moeten.

Dit papier laat zien dat modulaire architectuur als een zorgvuldige inpakstrategie is. Het is niet altijd noodzakelijk (wanneer je een enorme verhuiswagen hebt), maar wanneer je beperkt bent (in een kleine rugzak), is het de enige manier om te voorkomen dat je vaardigheden door elkaar worden gehaald en vernietigd.

Technische Samenvatting: Dimensionaliteitscontroles wanneer modulariteit helpt bij Continual Learning

Probleemstelling

Continual learning staat voor het fundamentele "stabiliteit–plasticiteit-dilemma": een systeem moet nieuwe kennis verwerven (plasticiteit) terwijl het eerder geleerde representaties behoudt (stabiliteit). Deze spanning wordt verergerd wanneer taken structureel overeenkomen, wat een risico op interferentie creëert waarbij nieuw leren de voorkennis verstoort. Hoewel modulaire architecturen vaak worden voorgesteld om interferentie te beperken door taakspecifieke berekeningen te isoleren, blijft het onduidelijk wanneer dergelijke structurele biases functioneel voordelig zijn versus wanneer ze redundant zijn. Specifiek onderzoekt dit artikel of het nut van modulariteit afhankelijk is van het representatieve regime—de geometrische eigenschappen van de geleerde representaties, in het bijzonder hun effectieve dimensionaliteit.

Methodologie

Experimenteel Paradigma

De studie maakt gebruik van een sequentiële A–B–A transfer–interferentie paradigma (geïnspireerd door Holton et al., 2026).

Fase A1: Het netwerk leert Taak A (het mappen van plantkenmerken naar draaiposities op basis van een seizoensgebonden regel).
Fase B: Het netwerk leert Taak B met nieuwe stimuli. Taak B deelt dezelfde formele structuur als A, maar varieert in regel-gelijkenis: Same (identieke regel), Near (kleine hoekverschuiving), of Far (grote hoekverschuiving).
Fase A2: Het netwerk wordt opnieuw getest op Taak A om retentie en interferentie te meten.

Architecturen

Er werden twee recurrente architecturen vergeleken:

Single-Network Baseline: Een enkele recurrente populatie verwerkt alle inputs met een gedeelde readout.
Task-Partitioned Modular Network: Inputs worden gerouteerd naar afzonderlijke recurrente modules ( $M_A$ voor Taak A, $M_B$ voor Taak B) op basis van taakidentiteit. De outputs van de modules worden geconcateneerd en verwerkt door een gedeelde readout. Dit dwingt structurele scheiding af in de recurrente verwerking, maar behoudt koppeling op het niveau van de output.

Controleren van Representatieve Regimes

Om de effectieve dimensionaliteit van de geleerde representaties te manipuleren zonder de netwerkcapaciteit te veranderen, varieerden de auteurs de initialisatie-gewichtsschaal ( $\gamma$ ).

Hoog-dimensionaal ("Lazy") Regime: Grote $\gamma$ -waarden houden representaties dicht bij de initialisatie, wat resulteert in een hoge effectieve dimensionaliteit en minder gespecialiseerde codes.
Laag-dimensionaal ("Rich") Regime: Kleine $\gamma$ -waarden dwingen representaties in lager-dimensionale manifolds, wat leidt tot gestructureerde, gespecialiseerde codes.
Metriek: Effectieve dimensionaliteit werd gekwantificeerd als het aantal hoofdcomponenten dat nodig is om 99% van de variantie in de verborgen toestanden te verklaren.

Analyse

Prestaties werden gemeten via hoeknauwkeurigheid, transfer (verbetering op Taak B gebaseerd op Taak A) en interferentie (verschuiving in Taak A gedrag richting Taak B regels). De representatieve geometrie werd geanalyseerd met behulp van Principal Component Analysis (PCA) om de effectieve dimensionaliteit, de hoofdhoeken tussen taakspecifieke subruimten en 3D-visualisaties van taak-trajecten te berekenen.

Belangrijkste Resultaten

1. Modulariteit is Conditioneel aan Dimensionaliteit

Het voordeel van een modulaire architectuur is niet universeel, maar wordt afgestemd door het representatieve regime:

Hoog-dimensionaal (Lazy) Regime: Zowel enkelvoudige als modulaire netwerken behaalden vergelijkbare nauwkeurigheid, transfer en interferentie-niveaus. De expliciete structurele scheiding van het modulaire netwerk bood geen significant voordeel, aangezien de hoog-dimensionale ruimte het enkelvoudige netwerk in staat stelde om taken te coderen met beperkte geometrische druk.
Laag-dimensionaal (Rich) Regime: Modulariteit werd beslissend. Het modulaire netwerk behield een hoge nauwkeurigheid voor Taak A en een lage interferentie over alle gelijkenis-condities. In contrast hiermee leed het enkelvoudige netwerk onder significante interferentie, vooral in de "Far" conditie, omdat het moeite had om zijn beperkte representatieve ruimte te reorganiseren zonder voorkennis te overschrijven.

2. Emergentie van Gelijkenis-afhankelijke Geometrie

In het laag-dimensionale regime ontwikkelde het modulaire netwerk een gegradeerde, compositionele organisatie van representatieve subruimten die het enkelvoudige netwerk niet wist te bereiken:

Gelijke Taken (Same): Representaties bleven nauw op elkaar uitgelijnd (overlappende subruimten).
Matig Ongelijke Taken (Near): Representaties namen tussenliggende hoeken in (gedeeltelijke scheiding).
Ongelijke Taken (Far): Representaties werden sterk orthogonaal (gescheiden subruimten).
Het enkelvoudige netwerk vertoonde een zwakkere, minder gestructureerde afhankelijkheid van taak-gelijkenis, waarbij subruimten verstrengeld bleven ongeacht de afstand tussen taken.

3. Robuustheid van de Bevindingen

Ablatie-studies waarbij de modulegrootte en input-routing varieerden, bevestigden dat deze effecten robuust zijn tegenover gematigde architecturale variaties. De kernbevinding—dat dimensionaliteit de functionele impact van modulariteit reguleert—bleef standhouden in verschillende configuraties.

Belangrijkste Bijdragen

Identificatie van een Gating Variabele: Het artikel identificeert het door initialisatie geïnduceerde representatieve regime (dat samenhangt met dimensionaliteit) als de sleutelfactor die bepaalt wanneer structurele modulariteit functioneel voordelig is in continual learning.
Karakterisering van Compositionele Geometrie: Het toont aan dat modulaire netwerken in beperkte (laag-dimensionale) regimes van nature een gelijkenis-afhankelijke geometrische organisatie ontwikkelen (overlappend $\to$ gedeeltelijk $\to$ orthogonaal) die compositioneel hergebruik ondersteunt en tegelijkertijd interferentie minimaliseert.
Herformulering van Continual Learning Doelstellingen: De bevindingen ondersteunen het idee om continual learning niet te zien als een binaire keuze tussen "delen" en "scheiden", maar als een adaptieve allocatie van representatieve subruimten, waarbij de optimale geometrie afhankelijk is van de taak-gelijkenis.

Betekenis en Claims

Het artikel betoogt dat representatieve dimensionaliteit controleert wanneer modulariteit helpt. Structurele biases (zoals modulariteit) hervormen het leergedrag en de interne geometrie pas wanneer de representatieve ruimte voldoende beperkt is om geometrie tot een bindende factor te maken. In hoog-dimensionale "lazy" regimes heeft het netwerk genoeg vrijheidsgraden om taken op te lossen zonder expliciete structurele scheiding nodig te hebben. Echter, in laag-dimensionale "rich" regimes wordt het netwerk gedwongen berekeningen te organiseren in afzonderlijke subruimten, waarbij architecturale modulariteit een cruciaal voordeel biedt bij het beheren van de stabiliteit–plasticiteit-trade-off.

De auteurs concluderen dat robuust compositioneel continual learning mechanismen vereist die zowel de representatieve dimensionaliteit als de subruimte-organisatie dynamisch reguleren in reactie op veranderende taakstructuren, in plaats van enkel te vertrouwen op vaste architecturale scheiding.

Noot: Het artikel vermeldt expliciet beperkingen, waaronder het gebruik van PCA als proxy voor intrinsieke dimensionaliteit en de beperking tot korte, gecontroleerde taaksequenties, en erkent dat verder onderzoek nodig is om te bepalen of deze effecten zich uitstrekken tot langere, heterogene continual learning benchmarks.