SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning

Technische Samenvatting: SR2-LoRA

Probleemstelling
Klasse-incrementeel leren (CIL) heeft als doel modellen in staat te stellen om sequentieel nieuwe taken te leren terwijl de prestaties op eerder geleerde taken behouden blijven. Ondanks het succes van voorgeïntegreerde modellen (PTM's) in combinatie met parameter-efficiënte fijnafstelling (PEFT) op dit gebied, blijft catastrofaal vergeten een hardnekkig probleem. Bestaande benaderingen schrijven vergeten vaak toe aan onjuiste moduleselectie, verschuivingen in klasseprototypen, covariantiedrift of gradiëntinterferentie. Deze paper identificeert echter een distinct mechanisme: drift in interlaagrelaties. De auteurs observeren dat naarmate nieuwe taken worden geleerd, de relaties tussen laag-voor-laag representaties binnen het model progressief verstoren. Deze verstoring verkleint de classificatiemarges van eerder geleerde taken, wat leidt tot prestatiedegradatie.

Methodologie: SR2-LoRA
Om dit aan te pakken, stellen de auteurs Self-Rectifying inter-layer Relation Low-Rank Adaptation (SR2-LoRA) voor. De methode werkt binnen het standaard LoRA-raamwerk, waarbij een voorgeïntegreerde backbone wordt bevroren en voor elke nieuwe taak nieuwe low-rank adapters ($\Delta W = BA$) worden geïntroduceerd en getraind.

1. Constructie van interlaagrelaties: Voor een steekproef uit de huidige taak construeert de methode een interlaagrelatiematrix ($R$) op basis van de laag-voor-laag representaties. Deze matrix vangt de inproducten tussen representaties op verschillende lagen.
2. Driftmeting: De methode vergelijkt de door het huidige model geïnduceerde relatiematrix ($R_t$) met de door het vorige model geïnduceerde relatiematrix ($R_{t-1}$) op dezelfde steekproeven van de huidige taak. Het verschil tussen deze matrices kwantificeert de drift in interlaagrelaties.
3. Singulariteitswaarde-uitlijning: In plaats van de matrices element-voor-element uit te lijnen (wat gevoelig is voor schattingsverstoringen aangezien het vorige model de data van de huidige taak niet heeft gezien), past SR2-LoRA Singuliere Waarde Decompositie (SVD) toe op beide matrices. Vervolgens worden uitsluitend de singulariteitswaarden van de vorige en huidige relatiematrix uitgelijnd.
   • Theoretische analyse (Propositie 1) suggereert dat singulariteitswaarden robuuster zijn voor begrenste verstoringen dan individuele matrixelementen.
4. Optimalisatie: De totale verliesfunctie combineert de standaard cross-entropy-verlies voor de huidige taak met een uitlijningsverlies voor relaties ($L_{align}$) dat de straf legt op het verschil tussen de singulariteitswaarden van $R_t$ en $R_{t-1}$.

Theoretische Bijdragen
De paper biedt een theoretisch raamwerk dat drift in interlaagrelaties koppelt aan catastrofaal vergeten:

• Lemma 1 & 2: Stellen vast dat vergeten wordt bepaald door de degradatie van classificatiemarges, die een bovengrens heeft die wordt bepaald door de geaggregeerde afwijking van residu-representaties over de lagen.
• Stelling 1 & 2: Formaliseren dat de geaggregeerde residu-afwijking (en dus vergeten) niet alleen afhangt van de grootte van de afwijkingen per laag, maar ook van de drift in interlaagrelaties. Specifiek leidt een groter verschil in interlaagrelaties tot een hogere bovengrens voor prestatiedegradatie.
• Propositie 1: Demonstreert dat uitlijning op basis van singulariteitswaarden meer robuust is tegen schattingsruis dan directe uitlijning op basis van elementen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op vier standaard CIL-benchmarks: CIFAR-100, ImageNet-R, CUB-200 en ImageNet-A, met gebruikmaking van een ViT-B/16 backbone. De methode werd geëvalueerd onder variërende taaksequenties (5, 10, 20 en 50 taken).

• Prestaties: SR2-LoRA presteerde consistent beter dan standaard training en state-of-the-art baselines (waaronder op selectie gebaseerde, op prototypen gebaseerde, op covariantie gebaseerde en op orthogonaliteit gebaseerde methoden).
• Schaalbaarheid: De prestatiewinsten werden steeds duidelijker naarmate het aantal taken toenam. Bijvoorbeeld, op ImageNet-A met 50 taken bereikte SR2-LoRA een eindnauwkeurigheid van 57,08% vergeleken met 19,93% voor standaard training.
• Ablatiestudies:
  • Uitlijningsstrategie: Uitlijning van singulariteitswaarden op steekproefniveau (Eigen) presteerde beter dan directe uitlijning op elementniveau (P2P) en gemiddelde uitlijning op batchniveau, wat de robuustheid van singulariteitswaarden bevestigt.
  • Uitlijningsdiepte: Het uitlijnen van alle lagen leverde de beste resultaten op, waarbij diepere lagen een directere invloed op vergeten vertoonden.
  • LoRA-configuratie: Het aanpassen van zowel sleutel- als waardenprojecties ($W_k, W_v$) met een rang van $r=10$ leverde optimale prestaties op.
• Efficiëntie: De methode introduceerde verwaarloosbare rekenkundige overhead, met trainings- en inferentietijden vergelijkbaar met standaard LoRA, aangezien de SVD-kosten minimaal zijn ten opzichte van de forward-pass van de backbone.
• Visualisatie: Visualisaties van beslissingsregio's toonden aan dat SR2-LoRA de ruimtelijke organisatie van beslissingsgrenzen voor eerdere taken behoudt, terwijl standaard training leidt tot aanzienlijke structurele verstoring.

Betekenis en Claims
De paper beweert dat SR2-LoRA een geprincipeerde aanpak biedt voor het mitigeren van catastrofaal vergeten door de focus te verschuiven van individuele laagrepresentaties of klasseprototypen naar de structurele relaties tussen lagen. Door drift in interlaagrelaties te beperken via robuuste uitlijning van singulariteitswaarden, behoudt de methode effectief de classificatiemarges van eerdere taken. De auteurs benadrukken dat deze aanpak eenvoudig, effectief en bijzonder voordelig is in lange taaksequenties waar driftaccumulatie het ernstigst is. De methode wordt gepresenteerd als robuust over verschillende backbone-architecturen, voorgeïntegreerde datasets en taaklengtes, zonder complexe hyperparameterafstelling of aanzienlijke rekenmiddelen te vereisen.