🤖 machine learning

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

Dit artikel introduceert "gate-zero growth", een functie-behoudend continual learning-framework dat gebruikmaakt van met nul geïnitialiseerde poorten om rangscheiding in de functionele Jacobiaan te induceren, waardoor veilige capaciteitsuitbreiding met bijna nul vergeten en gecontroleerde functionele drift mogelijk wordt.

Oorspronkelijke auteurs: Dante Lok

Gepubliceerd 2026-07-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dante Lok

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die jarenlang een enkel, heerlijk recept heeft geperfectioneerd. Je weet precies hoe je het precies goed moet laten smaken. Stel je nu voor dat iemand je vraagt om een enorm banket te bereiden voor duizend mensen, maar je hebt alleen de ingrediënten voor een klein diner. De voor de hand liggende oplossing is om een grotere keuken te kopen en meer koks in te huren, maar er is een addertje onder het gras: als je gewoon nieuwe mensen in de keuken gooit en begint met koken, kan het originele recept verpest worden. De nieuwe koks kunnen per ongeluk de kruiden in het oude gerecht veranderen, en de nieuwe potten kunnen botsen met de oude, waardoor je beroemde gerecht plotseling naar modder smaakt. Dit is de dagelijkse strijd van "Continual Learning" in kunstmatige intelligentie. AI-modellen zijn als die meesterkoks; ze leren van data, maar wanneer we probeert ze nieuwe dingen te leren of ze groter te maken, lijden ze vaak aan "catastrophic forgetting", waarbij ze alles wat ze eerder wisten vergeten. Wetenschappers proberen een manier te vinden om deze AI-hersenen te laten groeien zonder de onderdelen die al werken kapot te maken, in de hoop om slimmere systemen te bouwen zonder de oude weg te hoeven gooien en weer vanaf nul te moeten beginnen.

Dit artikel introduceert een slimme nieuwe truc genaamd "Gate-Zero Growth" om dat keukenprobleem op te lossen. Denk aan het AI-model als een meerlagige taart. Normaal gesproken, als je de taart hoger wilt maken, stapel je gewoon meer lagen bovenop. Maar als je zomaar een nieuwe laag erop ploft, kan het de taart eronder platdrukken of de smaak van het geheel veranderen. De auteurs stellen een andere manier voor: ze voegen nieuwe lagen toe, maar ze bevestigen ze met een speciale "poort" (gate) die volledig gesloten begint (gesteld op nul). Omdat de poort gesloten is, zijn de nieuwe lagen onzichtbaar voor de taart; ze raken de smaak of de textuur totaal niet aan. De taart smaakt precies hetzelfde als voorheen, ook al is hij nu veel groter. Dit wordt "function-preserving" groei genoemd omdat de oorspronkelijke functie (de smaak) perfect behouden blijft.

De onderzoekers testten dit idee door een middelgroot AI-model (ongeveer 300 miljoen parameters) te laten groeien tot een gigantisch model (ongeveer 857 miljoen parameters). Ze voegden nieuwe lagen toe met behulp van deze "zero gates" en probeerden het gigantische model vervolgens een nieuwe taaltaak te leren. De resultaten waren indrukwekkend: toen ze hun speciale "Gate-Zero"-methode gebruikten, herinnerde het model zich zijn oude kennis bijna perfect, met bijna nul vergeten. Sterker nog, de oude kennis bleef zo intact dat de prestaties van het model op de oude taak nauwelijks veranderden.

Het artikel waarschuwt ons echter ook voor wat er gebeurt als je deze truc niet gebruikt. Ze testten een "naïeve" methode waarbij ze gewoon nieuwe lagen stapelden zonder de zero gates (wat ze "Gstack" noemen). Dit was als het toevoegen van een nieuwe laag taart die onmiddellijk de oude laag begon plat te drukken. Het resultaat was een ramp: het model vergat zijn oude kennis bijna volledig, en de nieuwe taart smaakte verschrikkelijk. Dit bewijst dat het simpelweg toevoegen van meer onderdelen niet genoeg is; je hebt de juiste "poort"-mechanisme nodig om de oude onderdelen veilig te houden.

Het artikel ontdekte ook iets interessants over hoe je deze nieuwe, gigantische modellen traint. Ze vonden twee hoofdwijzen om de training uit te voeren. De eerste is "Isolation", waarbij je de oude onderdelen van het model volledig bevriest en alleen de nieuwe onderdelen laat leren. Dit is de veiligste optie, die garandeert dat het oude recept exact hetzelfde blijft. De tweede manier is "Freeze-Nothing", waarbij je het hele model samen laat leren. Verrassend genoeg maakte deze tweede methode het model zelfs beter in de nieuwe taak, en het heeft de oude taak ook niet verpest — het veranderde de smaak slechts lichtjes op een manier die eigenlijk een verbetering was, geen fout.

De auteurs leggen uit dat dit werkt vanwege een verborgen geometrische structuur in de wiskunde achter de AI. Wanneer de poorten op nul staan, zijn de nieuwe onderdelen van het model wiskundig gezien "vlak" en interfereren ze niet met de oude onderdelen. Het is als het toevoegen van een nieuwe kamer aan een huis die momenteel afgesloten is; je kunt de nieuwe kamer hoe je wilt bouwen, en het zal de lay-out van de oude kamers niet veranderen totdat je besluit de deur te openen. Het artikel laat zien dat dit "Gate-Zero"-idee niet slechts een eenmalige truc is; het is hetzelfde onderliggende principe achter verschillende andere populaire AI-technieken, wat het een fundamentele regel maakt voor het veilig laten groeien van AI-hersenen.

Kortom, dit artikel laat ons zien dat als we grotere, slimmere AI-modellen willen bouwen zonder de kennis die ze al hebben te verliezen, we niet simpelweg nieuwe onderdelen aan de oude moeten toevoegen. In plaats daarvan moeten we ze toevoegen met een "zero gate" die ze uit de weg houdt totdat ze er klaar voor zijn. Dit stelt de AI in staat om te groeien als een boom die nieuwe takken toevoegt zonder de wortels te laten schudden, waardoor de wijsheid van het verleden intact blijft terwijl de toekomst wordt gebouwd.

Technische Samenvatting: Gate-Zero Growth

Probleemstelling

Het dominante paradigma voor het vergroten van de capaciteit van taalmodellen is het trainen van grotere modellen vanaf nul. Modelgroei—het uitbreiden van een bestaand getraind model door parameters toe te voegen—biedt een aantrekkelijk alternatief, mits het uitgebreide model kan worden gefinetuned zonder catastrofale vergetelheid (catastrophic forgetting) van de kennis die door het kleinere model is verworven.

Hoewel er Function-Preserving (FP) groeimethoden bestaan (bijv. Net2Net, bert2BERT), voldoen deze alleen op het moment van groei aan behoud door constructie. De geometrische structuur die in de parameterruimte wordt gecreëerd door deze initialisaties, en de reden waarom bepaalde Continual Learning (CL) strategieën (zoals het bevriezen van oude parameters) wel of niet slagen op het gegroeide model, is onduidelijk gebleven. Bestaande literatuur verklaart CL-gedrag vaak operationeel in plaats van via de onderliggende geometrie van de groeoperator.

Methodologie: Gate-Zero Growth

De auteurs stellen Gate-Zero Growth voor, een geometrisch framework voor FP-diepte-expansie in CL. De kernmechanisme bestaat uit het invoegen van nieuwe residual blocks waarbij de bijdrage wordt gereguleerd door een gate met een scalaire $\alpha_\ell$ , geïnitialiseerd op nul ( $\alpha_0 = 0$ ).

Theoretisch Framework

Het artikel stelt vast dat onder een transversaliteitsconditie, Gate-Zero Growth een specifieke geometrische structuur induceert in de functionele Jacobiaan en de Fisher Informatie Matrix:

Rangscheiding (Rank Separation): Op het groeipunt ( $\alpha=0$ ) decomponeert de functionele Jacobiaan $J(\theta')$ helder. De $K$ nieuwe gewichtsrichtingen zijn exact vlak (nul gradiëntbijdrage aan de output), terwijl de nieuwe gate-richtingen de enige bron van eerste-orde functionele variatie vormen.
Jacobiaan-decompositie: De rang van de post-growth Jacobiaan voldoet aan $rank(J(\theta')) = r + rank((I - P_{old})J_\alpha)$ , waarbij $r$ de rang van de oude Jacobiaan is. Onder transversaliteit zijn de nieuwe gate-richtingen lineair onafhankelijk van de oude parameterruimte.
Sparse Fisher-structuur: De empirische Fisher Informatie Matrix vertoont een ijle (sparse) blokstructuur. Specifiek zijn het nieuwe gewichts-Fisher-blok en alle kruistermen met nieuwe gewichten identiek nul. Dit impliceert dat tweede-orde methoden (zoals EWC) geen straf opleggen aan beweging van nieuwe gewichten op het groeipunt.
Gecontroleerde Afwijking: Naarmate de gates openen tijdens CL (d.w.z. wanneer $\alpha$ weg beweegt van 0), is de afwijking van de FP-locus begrensd. Functionele drift is $O(\|\alpha\|^2)$ en Jacobian-lekkage is $O(\|\alpha\|_\infty)$ .

Unificatie

De auteurs betogen dat deze geometrische analyse ogenschijnlijk verschillende methoden verenigt:

LoRA (met $B=0$ initialisatie)
ReZero (residual scaling)
Zero-init Adapters
Gate-Zero Growth

Alle methoden delen de structurele eigenschap van het toevoegen van parameters via een additieve tak die factoriseert door een met nul geïnitialiseerde gate. Omgekeerd falen niet-FP methoden zoals Gstack (die blokken dupliceren zonder zero-initialisatie) omdat zij de Jacobian-structuur niet behouden, wat leidt tot onmiddellijke functionele drift.

Belangrijkste Bijdragen

Gate-Zero Growth Operator: Een specifieke FP-operator voor continual learning die nieuwe residual blocks toevoegt via zero-geïnitialiseerde gates. Het bereikt exacte functiebehoud bij groei en bijna-nul vergetelheid ( $\Delta A < 0.1$ ) tijdens CL op schaal (300M $\to$ 857M).
Geometrisch Framework: Een verenigd theoretisch systeem dat bewijst dat zero-initialisatie rangscheiding, sparse Fisher-blokken en exacte coördinaat-projectie isolatie induceert. Dit framework is toepasbaar op LoRA, ReZero en zero-init adapters, en stelt Gate-Zero Growth vast als de canonieke instantie van deze gedeelde lokale geometrie.
Voorspellende Structurele Validatie: Het artikel biedt drie falsifieerbare voorspellingen die empirisch zijn geverifieerd:
- Coördinaat-bevriezing is exact behoudend alleen onder FP-groei (Gstack + Isolation is structureel ongedefinieerd).
- LoRA-CL kent geen aparte "Isolation" rij omdat de bevroren basis-constructie structureel al Isolation is.
- $\Delta A < 0.1$ voor elke geteste zero-init FP-operator onder Isolation.

Experimentele Resultaten

Het framework werd geëvalueerd op een 300M $\to$ 857M Transformer aangepast van WikiText-103 (Taak A) naar BookCorpus (Taak B).

Functiebehoud bij Groei

Gate-FP: Exacte functiebehoud (bit-exact voor dense, binnen numerieke tolerantie voor MoE). $\Delta PPL_A = 0.00$ .
Gstack (Negatieve Controle): Onmiddellijke degradatie van Taak A prestaties ( $\Delta PPL_A = +46.11$ ) voordat enige CL-training begint.

Continual Learning Prestaties

Onder het Isolation protocol (het bevriezen van alle oude parameters):

Gate-FP + Isolation: Bereikte $\Delta A = +0.04$ (bijna-nul vergetelheid) terwijl de Taak B perplexiteit werd teruggebracht van 560.75 naar 28.41.
Gstack + Isolation: Faalde structureel. Omdat Gstack de functie bij groei niet behoudt, behoudt het bevriezen van oude parameters de functie niet. De methode leed aan catastrofale vergetelheid ( $\Delta A > +1000$ ).
Vergelijking met Scratch: Een model dat vanaf nul (scratch) is getraind (857M) op beide datasets bereikte een finale staat van $PPL_A=43.23$ , maar zijn beste validatie-checkpoint was $17.40$. De auteurs merken op dat Gate-FP + Isolation niet noodzakelijkerwijs beter presteert dan een correct gestopte scratch-model, maar wel een structurele garantie van behoud biedt.

MoE Validatie

In een Mixture-of-Experts (MoE) setting (706M $\to$ 2.5B) bereikte Gate-FP + Isolation $\Delta A = +0.20$ , wat bevestigt dat het behalmechanisme overdraagbaar is naar verschillende architecturen. Echter, de plasticiteit was lager dan in dense modellen (Taak B PPL verbeterde slechts 12x vs. 20x in dense), toegeschreven aan clone-block redundantie waarbij nieuwe experts onvoldoende differentieerden van de bevroren bronnen.

Ablatie Studies

Bevriezingsstrategie: De "bindende beperking" voor behoud is het bevriezen van oude gewichten, niet alleen de oude gates. "Freeze Nothing" (waarbij oude gewichten mogen updaten) leverde eigenlijk betere gezamenlijke prestaties op ( $\Delta A = -1.98$ , wat duidt op verbetering op Taak A, hoewel technisch gezien een drift van de oorspronkelijke functie), maar ten koste van exacte behoud.
Groei-timing: De behoudseigenschap is robuust tegen de volwassenheid van het basismodel (groei bij 25%, 50%, 75%, of 100% van de training).
Gate-Initialisatie: Starten met een kleine niet-nul gate ( $\alpha_0 = 0.1$ ) staat snellere gradiëntdoorstroming toe maar resulteert in een niet-FP startpunt; CL-training kan enige prestatie herstellen, maar exact behoud gaat verloren.

Betekenis en Claims

Het artikel claimt dat Gate-Zero Growth de eerste verenigde geometrische verklaring biedt voor waarom "het bevriezen van oude parameters" werkt. Het stelt dat het succes van Isolation niet louter een heuristiek is, maar een gevolg is van rangscheiding en exacte coördinaat-orthogonaliteit geïnduceerd door zero-initialisatie.

Canonieke Instantie: De auteurs vestigen Gate-Zero Growth als de canonieke instantie van een gedeelde lokale geometrie die veilige capaciteitsactivatie in CL beheert, waarmee LoRA, ReZero en adapters worden verenigd onder één theoretisch paraplu.
Twee Werkpunten: Het framework adviseert twee verschillende werkpunten:
1. Isolation: Voor exact behoud ( $\Delta A \approx 0$ ), geschikt voor regulatoire of A/B-testscenario's waar bit-equivalente gedrag op oude data vereist is.
2. Freeze-Nothing: Voor gezamenlijke frontier optimalisatie (beste prestaties op beide taken), waarbij een gecontroleerde afwijking van de oorspronkelijke functie wordt geaccepteerd.

De auteurs benoemen expliciet beperkingen: de geometrische estimators (Hessian, gradiëntcovariantie) zijn grove lokale diagnostica, en de MoE-plasticiteitskloof blijft een open probleem dat verder onderzoek vereist met betrekking tot MoE-specifieke operatoren. Het artikel claimt niet alle CL-problemen op te lossen, maar richt zich specifiek op de structurele geometrie van groei-operators.