Technische Samenvatting: Catastrophic Forgetting in LoRA Begrijpen via Mean-Field Aandachtsdynamiek

1. Probleemstelling

Low-Rank Adaptation (LoRA) is de dominante methode voor parameter-efficiënte fine-tuning van Large Language Models (LLMs) vanwege de gunstige afweging tussen rekenkracht en prestaties. Desondanks is LoRA, ondanks het bevriezen van de vooraf getrainde backbone en het trainen van uitsluitend low-rank updates, vatbaar voor catastrophic forgetting, waarbij het model degradeert op eerder aangeleerde vaardigheden terwijl het nieuwe vaardigheden aanleert.

De complexiteit van full-scale LLMs maakt ze wiskundig onhandelbaar voor het analyseren van de mechanismen van vergeten. Bijgevolg is er behoefte aan een theoretisch kader dat kan karakteriseren hoe low-rank perturbaties aan attentiematrices de forward-pass-dynamiek veranderen en leiden tot representatiedrift of -instorting.

2. Methodologie

De auteurs stellen een handelbaar mean-field self-attention toy model voor om vergeten vanuit een theoretisch perspectief te bestuderen. De methodologie rust op de volgende kerncomponenten:

• Interacting Particle System-perspectief: In navolging van recente literatuur over mean-field Transformers wordt de forward-pass gemodelleerd als de evolutie van een wolk van interacterende tokens (deeltjes). Diepte wordt behandeld als continue tijd, en token-embeddings evolueren volgens een differentiaalvergelijking die wordt aangedreven door attentiematrices.
• LoRA als Low-Rank Perturbatie: De vooraf getrainde attentiematrices $(Q, K, V)$ worden behandeld als constante waarden. LoRA wordt gemodelleerd als een low-rank perturbatie $\Delta M$ (waarbij $M \in \{Q, K, V\}$) die aan deze matrices wordt toegevoegd.
• Twee Regimes van Perturbatie:
  1. Deterministische (Gekoppelde) Adapters: Dezelfde low-rank update wordt toegepast over alle lagen. Dit dient als een worst-case scenario voor vergeten.
  2. Random Adapters: Low-rank updates worden onafhankelijk en identiek (i.i.d.) getrokken uit een Gaussische verdeling op elke laag. Dit dient als een "average-case" proxy, waardoor homogenisatie-argumenten mogelijk zijn.
• Vergeten Proxy: Vergeten wordt niet gekwantificeerd op basis van taakprestaties, maar door de drift in de emergente representatiegeometrie. Specifiek meten de auteurs de verplaatsing van tokenclusters (met behulp van de Wasserstein-afstand) of de divergentie van de limiterende clusterconfiguratie ten opzichte van de vooraf getrainde staat.
• Wiskundige Hulpmiddelen: De analyse maakt gebruik van hulpmiddelen uit partiële differentiaalvergelijkingen (continuïteitsvergelijkingen), dynamische systemen (stabiliteit van evenwichten) en spectrale theorie (eigenwaardegaten).

3. Belangrijkste Bijdragen en Theoretische Resultaten

3.1. Stabiliteit in Eindige Tijd (Propositie 3.1)

Het artikel stelt een kwantitatieve stabiliteitsgrens vast in de Wasserstein-afstand voor mean-field-dynamiek onder perturbaties van $(Q, K, V)$.

• Resultaat: De afstand tussen de vooraf getrainde en de geperturbeerde tokenverdelingen groeit maximaal dubbel-exponentieel met de tijd (diepte).
• Implicatie: Het model is robuust tegen kleine perturbaties over korte tijdschalen, maar de grens suggereert dat afwijkingen significant kunnen worden naarmate de diepte toeneemt.

3.2. Stabiliteit op Lange Termijn en Spectrale Controle (Propositie 3.3)

Met de focus op de Post-LayerNorm-instelling identificeren de auteurs een spectrale voorwaarde waaronder de limiterende clusterrichting stabiel blijft.

• Mechanisme: Stabiliteit hangt af van de spectrale gap ($\text{gap} = \lambda_1 - \lambda_2$) van de Value-matrix $V$.
• Voorwaarde: Als de perturbatie voldoet aan $\text{gap} + a > 2\|b\| + \|E\|_{op}$ (waarbij $a, b, E$ componenten zijn van de perturbatie ten opzichte van de leidende eigenvector), convergeren de geperturbeerde dynamieken naar een nieuwe stabiele cluster $\tilde{u}_1$.
• Grens: De afwijking tussen de originele en de geperturbeerde clusters is begrensd door $\frac{2\|b\| + \|E\|_{op}}{\text{gap} + a}$. Dit suggereert dat grote spectrale gaten een strakkere opsluiting van representaties afdwingen, terwijl LoRA-updates die zijn uitgelijnd met instabiele richtingen (kleine gaten) groter vergeten veroorzaken.

3.3. Faseovergangen in Representatiedrift (Sectie 4)

Het artikel karakteriseert twee distincte faseovergangen die het begin van vergeten beheersen:

A. Norm-gecontroleerde Overgang (Stelling 4.2)

Voor random adapters analyseren de auteurs de schaling van de perturbatienorm $\eta_L$ ten opzichte van de diepte $L$.

• Stabiel Regime ($\eta_L \ll \sqrt{L}$): Het cumulatieve random effect van LoRA-updates verdwijnt in de limiet van grote diepte; dynamiek blijft gevangen nabij de vooraf getrainde cluster.
• Diffusief Regime ($\eta_L \simeq \sqrt{L}$): De geaccumuleerde perturbatie heeft een niet-triviaal diffusief effect. De tokens synchroniseren rond een gemeenschappelijke random richting, maar de cluster wijkt af van de vooraf getrainde staat. De grootte van deze afwijking wordt gecontroleerd door de ruisgrootte en de spectrale gaten.
• Instabiel Regime ($\eta_L \gg \sqrt{L}$): Perturbaties domineren, wat mogelijk leidt tot synchronisatie rond een sterk random bewegende richting.

B. Diepte-gecontroleerde Overgang (Stelling 4.6)

Het artikel onderzoekt bifurcaties met betrekking tot netwerkdiepte.

• Stabiliteitsvenster: Voor kleine diepten volgen de geperturbeerde dynamieken het basismodel.
• Bifurcatietijd ($T^*$): Er bestaat een kritieke diepte $T^*$ waarna de geperturbeerde tokens divergeren van het originele clusteringregime. Het artikel biedt een expliciete grens voor $T^*$, waarbij wordt aangetoond dat deze afhangt van de spectrale gap, de grootte van de perturbatie en de "maximaliteitsgap" tussen clusters.
• Implicatie: Zelfs kleine perturbaties kunnen worden versterkt door diepte, wat leidt tot catastrophic forgetting zodra het netwerk een bepaalde dieptedrempel overschrijdt.

4. Empirische Resultaten

De theoretische voorspellingen worden bevestigd door experimenten op synthetische data en echte LLM's (Qwen 3 0.6B, Llama 2, ALBERT).

• Op Norm Gebaseerde Bifurcatie: Experimenten met random Gaussische matrices tonen een faseovergang in de geperturbeerde loss (next-token prediction op een basisdataset) naarmate de Frobenius-norm van de perturbatie toeneemt. Dit sluit aan bij Stelling 4.2.
• Geometrische Uitlijning: Analyse van getrainde LoRA-updates toont aan dat deze niet isotroop zijn. Low-rank adapters neigen uit te lijnen met de dominante spectrale richtingen (principale kenmerken) van de vooraf getrainde Value-matrices. Dit "locking on"-effect interfereert met stabiele richtingen en drijft representatiedrift aan.
• Diepte-afhankelijke Drift: In getrainde LoRA-modellen neemt de "empirische bifurcatiediepte" (de eerste laag waar representatiedrift een drempel overschrijdt) af naarmate de fine-tuning vordert. Dit bevestigt de theoretische voorspelling dat het stabiliteitsvenster van de vooraf getrainde representatie krimpt naarmate perturbaties zich ophopen.
• Rank-onafhankelijkheid versus -afhankelijkheid: Waar het toy model met random adapters rank-onafhankelijkheid voorspelt (vanwege rotatie-invariantie), tonen experimenten aan getrainde modellen aan dat rank wel degelijk een rol speelt, waarschijnlijk omdat optimalisatie is bevooroordeeld ten opzichte van instabiele richtingen in plaats van isotroop te zijn.

5. Betekenis en Beweringen

Het artikel claimt de eerste theoretische karakterisering te bieden van catastrophic forgetting in LoRA met behulp van mean-field-dynamiek. De betekenis hiervan ligt in:

1. Identificatie van Mechanismen: Het isoleert de norm van de perturbatie en de diepte van het netwerk als primaire drijvers van vergeten, en presenteert deze als faseovergangen.
2. Spectrale Inzicht: Het benadrukt de kritieke rol van de spectrale gap in de Value-matrix voor het handhaven van representatiestabiliteit, en suggereert dat vergeten wordt verergerd wanneer LoRA-updates uitlijnen met richtingen van kleine spectrale gaten.
3. Voorspellende Kracht: De afgeleide grenzen voor "tijd tot afwijking" en "bifurcatiediepte" bieden een theoretische basis voor het begrijpen waarom diepere modellen of grotere perturbatienormen mogelijk meer ernstig vergeten lijden.

De auteurs merken bescheiden op dat hoewel hun toy model de geometrische drift vastlegt die correleert met prestatiedegradatie, de volledige complexiteit van optimalisatiedynamiek in echte LLM's (waar updates niet isotroop zijn) nuances introduceert (zoals rank-afhankelijkheid) die verder gaan dan de vereenvoudigde aannames van random adapters. Niettemin biedt het werk een strikt wiskundig lens om de stabiliteit van parameter-efficiënte fine-tuning te bekijken.