Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation

Deze paper presenteert een geometrische theorie die aantoont dat catastrofale vergetelheid bij Low-Rank Adaptation (LoRA) voornamelijk wordt bepaald door de hoek tussen taakgradienten in plaats van de adapter-rang, wat leidt tot een nieuwe wetenschappelijke wetmatigheid voor continu leren.

De kern

De Geheime Formule voor Vergeten: Waarom je AI soms vergeet wat hij eerder leerde

Stel je voor dat je een zeer slimme, universitair opgeleide robot hebt (een "groot model") die al alles weet over de wereld. Je wilt hem nu nieuwe vaardigheden leren, zoals het herkennen van specifieke vogelsoorten of het begrijpen van juridische teksten. Het probleem? Elke keer als je hem iets nieuws leert, begint hij zijn oude kennis te verliezen. Dit noemen onderzoekers "catastrophic forgetting" (catastrofaal vergeten).

Om dit op te lossen, gebruiken wetenschappers een trucje genaamd LoRA (Low-Rank Adaptation). In plaats van de hele robot herschrijven, voegen ze slechts een paar kleine, flexibele "brilletjes" toe die hij alleen draagt tijdens het nieuwe leren. Maar waarom werkt dit soms goed en soms niet?

Een onderzoeksgroep van het Georgia Institute of Technology heeft nu een antwoord gevonden, en het is verrassend simpel: het gaat niet om de grootte van het brilletje, maar om de hoek tussen de taken.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. De Hoek is Koning (De "Twee Sporters"-analogie)

Stel je voor dat je twee sporters hebt:

• Sporter A is een marathonloper (duurzaamheid, lange adem).
• Sporter B is een sprinter (explosieve kracht, korte burst).

Als je de marathonloper traint om een sprinter te worden, is dat lastig. Hun bewegingen overlappen elkaar, maar zijn toch verschillend. Als je ze probeert te combineren, verward je de spiergebruik. Dit is een kleine hoek tussen de taken. Hier is het belangrijk hoe groot je trainingsschema is (de "rank" van LoRA).

Maar stel je nu voor dat je een zwemmer (Sporter C) traint. Zwemmen en hardlopen hebben bijna niets met elkaar te maken. Ze bewegen in totaal verschillende richtingen. Dit is een grote, rechte hoek (90 graden).

De ontdekking:
De onderzoekers ontdekten dat als de nieuwe taak (zwemmen) en de oude taak (hardlopen) heel verschillend zijn (een grote hoek), het niet uitmaakt hoe groot of klein je trainingsschema is. De robot vergeet het oude even goed (of slecht), ongeacht hoe veel "ruimte" je hem geeft.

Ze noemen dit Rank-Invariantie: bij grote verschillen tussen taken, is de grootte van de aanpassing bijna irrelevant. Het vergeten wordt bepaald door de hoek tussen de taken, niet door de grootte van de oplossing.

2. De Wiskundige Formule (De "Afstandsmeter")

De onderzoekers hebben een simpele formule bedacht die precies voorspelt hoeveel de robot zal vergeten:

Vergeten = (Hoe verschillend zijn de taken?) + (Een beetje ruis)

In de paper staat dit als: $F = \alpha(1 - \cos^2 \theta) + \beta$.

• $\theta$ (De Hoek): Dit is de afstand tussen wat de robot al weet en wat hij nu moet leren.
  • Als de hoek klein is (taken lijken op elkaar), is de formule laag, maar de interactie is complex. Hier maakt de grootte van je LoRA-bril wel uit.
  • Als de hoek groot is (taken zijn totaal verschillend), is de formule hoog, maar de grootte van de bril doet er niet meer toe. De robot "vergeten" is dan voorspelbaar en stabiel.

Het is alsof je probeert een nieuwe taal te leren. Als je al Frans spreekt en je leert Italiaans (kleine hoek), helpt het om een groot woordenboek te hebben. Maar als je al Frans spreekt en je leert Chinees (grote hoek), maakt het niet uit of je een dik of dun woordenboek hebt; de hersenen moeten toch een heel nieuw pad aanleggen.

3. Waarom bestaande "oplossingen" soms niet werken

Er zijn al methoden bedacht om robots te dwingen hun oude kennis te bewaren, zoals het dwingen van de robot om nieuwe kennis in een "orthogonaal" (rechthoekig) vakje te stoppen.

De onderzoekers zeggen: "Doe dat alleen als het nodig is!"
Als de taken van nature al heel verschillend zijn (zoals zwemmen en hardlopen), hoef je de robot niet te dwingen om rechthoekig te denken. Hij doet dat al vanzelf. Het dwingen kost alleen maar extra rekenkracht en tijd, zonder extra voordeel. Je kunt beter je energie steken in taken die op elkaar lijken, waar de verwarring echt groot is.

4. Wat betekent dit voor de praktijk?

Voor mensen die AI bouwen, zijn dit de belangrijkste lessen:

1. Maak je niet te druk over de grootte: Als je robot verschillende, diverse taken moet leren (bijv. eerst medische teksten, dan juridische teksten), hoef je niet te proberen de "LoRA-bril" kleiner te maken om vergeten te voorkomen. De grootte maakt op dat moment weinig uit.
2. Kijk naar de hoek: Als je merkt dat je robot veel vergeet, meet dan hoe "vergelijkbaar" de nieuwe en oude taken zijn. Als ze erg op elkaar lijken, moet je misschien een grotere aanpassing doen of speciale maatregelen nemen.
3. Gebruik geen zware machines voor simpele taken: Als taken al heel verschillend zijn, hoef je geen ingewikkelde "orthogonale" methoden te gebruiken. De natuur doet het werk al voor je.

Samenvattend

Deze paper zegt eigenlijk: Vergeet niet dat je robot een hoekmeter is, geen een maatbeker.

Het vergeten van kennis in AI wordt niet bepaald door hoe groot je aanpassing is, maar door hoe verschillend de nieuwe taak is van de oude. Als de taken heel verschillend zijn, werkt het systeem bijna perfect, ongeacht hoe je het instelt. Als ze op elkaar lijken, moet je oppassen. Dit helpt onderzoekers om slimme, efficiënte AI-systemen te bouwen die niet hoeven te vergeten wat ze al weten.

Technische samenvatting

Probleemstelling

Het toepassen van grote voorgeprogrammeerde modellen in scenario's voor continu leren (continual learning) stelt een fundamentele uitdaging: hoe kan men zich aanpassen aan nieuwe taken zonder dat er catastrofale vergetening (catastrophic forgetting) optreedt van eerder geleerde kennis?
Low-Rank Adaptation (LoRA) is een populaire, parameter-efficiënte methode die updates beperkt tot lage-rang deelruimtes. Hoewel LoRA veelbelovend is, blijft het theoretisch begrip van hoe deze beperking vergetening beïnvloedt onvolledig. Bestaande literatuur toont soms tegenstrijdige resultaten over de invloed van de adapter-rang (rank) op vergetening.

Methodologie: Een Geometrisch Kader

De auteurs presenteren een geometrisch kader dat vergetening in LoRA-gebaseerd continu leren analyseert via interacties tussen gradiënt-deelruimtes (gradient subspaces).

1. Gradiënt-deelruimtes: Voor elke taak $t$ wordt de gradiënt-deelruimte $G_t$ gedefinieerd als de opgespannen ruimte van de gradiënten van de verliesfunctie.
2. Primaire Hoeken: De relatie tussen twee opeenvolgende taken wordt gekwantificeerd door de minimale primaire hoek ($\theta_{min}$) tussen hun respectievelijke gradiënt-deelruimtes.
   • Een kleine hoek betekent dat de taken vergelijkbaar zijn (hoge overlap).
   • Een grote hoek (nabij 90°) betekent dat de taken orthogonaal (onafhankelijk) zijn.
3. Geometrische Vergetenwet: De kern van de theorie is dat vergetening ($F$) wordt bepaald door een eenvoudige geometrische wet, in plaats van puur door de rang van de adapter:
   $$F = \alpha(1 - \cos^2 \theta_{min}) + \beta$$
   Hierbij is $(1 - \cos^2 \theta_{min}) = \sin^2 \theta_{min}$ een maat voor de scheiding tussen de deelruimtes. De auteurs tonen aan dat vergetening positief correleert met deze scheiding in hun experimentele regime.

Belangrijkste Bijdragen

1. De Geometrische Vergetenwet:
   De auteurs formuleren en valideren empirisch dat vergetening volgt uit de formule hierboven. Dit stelt onderzoekers in staat om vergetening kwantitatief te voorspellen op basis van de geometrische relatie tussen taken, in plaats van alleen kwalitatief te redeneren.

2. Benaderde Rang-Invariantie (Approximate Rank-Invariance):
   Een verrassende bevinding is dat bij hoge hoeken tussen taken (d.w.z. diverse taken), vergetening grotendeels onafhankelijk wordt van de adapter-rang ($r$).

   • In gecontroleerde synthetische omgevingen is de variatiecoëfficiënt (CV) slechts 0,8%.
   • Op echte benchmarks ligt dit tussen 10% en 19%, wat suggereert dat rang-invariantie een regime-afhankelijk fenomeen is dat sterk geldt bij orthogonale taken.

3. Gereconcilieerde Rang-Hoek Interactie:
   De paper lost een schijnbare tegenstrijdigheid in de literatuur op (bijv. met Biderman et al., 2024, die vonden dat hogere rang leidt tot meer vergetening). De auteurs tonen aan dat rang alleen een rol speelt wanneer taken vergelijkbaar zijn (lage hoek, $\theta \approx 0$). Bij diverse taken (hoge hoek, $\theta \approx \pi/2$) treedt rang-invariantie op. Beide bevindingen zijn dus correct, maar gelden voor verschillende regimes.

4. Analyse van Orthogonale Methoden:
   De studie toont aan dat expliciete orthogonalisatiemethoden (zoals O-LoRA) weinig tot geen voordeel bieden wanneer de natuurlijke orthogonaliteit tussen taken al hoog is. Deze methoden zijn alleen nuttig bij taken met een lage natuurlijke orthogonaliteit.

Experimentele Resultaten

De theorie werd gevalideerd op drie niveaus:

• Synthetische Taken: Met gecontroleerde gradiënt-deelruimtes werd een correlatie van $r = 0,994$ gevonden tussen de voorspelde interferentieterm $(1 - \cos^2 \theta_{min})$ en de gemeten vergetening. De rang-invariantie werd hier bevestigd met een CV van 0,84%.
• Split-CIFAR100 (Computer Vision): Gebruikmakend van ViT-LoRA. De rang-sweep (rangen 4, 8, 16) toonde een CV van 18,5%, wat de benaderde rang-invariantie bevestigt op echte data. Taak-specifieke adapters (perfect orthogonaal) bereikten 0% vergetening.
• Sequential GLUE (NLP): Gebruikmakend van RoBERTa-LoRA op 5 NLP-taken. De CV was 9,9%, wat suggereert dat NLP-taken met diverse domeinen van nature een hogere orthogonaliteit hebben, wat leidt tot sterkere rang-invariantie.
• Vergelijking O-LoRA: O-LoRA leverde geen statistisch significant voordeel op ten opzichte van standaard LoRA (p=0,73) omdat de natuurlijke orthogonaliteit in de CIFAR-experimenten al hoog was (~60°).

Betekenis en Praktische Implicaties

Deze bevindingen bieden principieel advies voor continu leren met parameter-efficiënte fine-tuning:

1. Rangkeuze: Het is niet nodig om de rang te verlagen om vergetening te voorkomen bij diverse taken. Men moet voldoende rang kiezen voor de taakprestatie, aangezien vergetening dan voornamelijk door de geometrie van de taken wordt bepaald.
2. Diagnostiek: Het berekenen van de primaire hoeken tussen gradiënt-deelruimtes kan dienen als diagnose om vergetening te voorspellen en interventies te sturen.
3. Methodenkeuze: Orthogonale methoden (zoals O-LoRA) moeten selectief worden ingezet. Ze zijn het meest effectief bij vergelijkbare taken (lage hoek), maar bieden weinig meerwaarde bij zeer diverse takenreeksen.
4. Taak-specifieke adapters: Voor maximale retentie kunnen taak-specifieke adapters worden gebruikt, wat per constructie vergetening elimineert.

Conclusie:
Het paper verschuift het paradigma van het zien van vergetening als een functie van modelcapaciteit (rang) naar een functie van de geometrische relatie tussen taken. Dit biedt een theoretische onderbouwing voor het ontwerp van robuuste continu-lerende systemen en legt uit waarom eerdere bevindingen over rang-effecten soms leken te conflicteren.