Technische Samenvatting: Slice – Initialisatie van Low-Rank Adapters via Gradiëntchirurgie voor Continue Learning

1. Probleemformulering

Het artikel behandelt de uitdaging van catastrofaal vergeten bij continue learning (CL) van Large Language Models (LLM's) met behulp van Low-Rank Adaptation (LoRA). Hoewel LoRA efficiënt is voor fine-tuning, zijn standaard initialisatieschema's (bijvoorbeeld een willekeurige Gaussische verdeling voor matrix $A$ en nullen voor $B$) "blind" voor de conflicstructuur tussen taken.

In een continue setting, wanneer de gradiënt van een nieuwe taak ($G_{cur}$) in conflict is met de gradiënten van eerder geleerde taken ($G_{prev}$) – aangegeven door een negatief Frobenius-inproduct – leiden standaard optimalisatiestappen die de huidige taak verbeteren onvermijdelijk tot een verslechtering van de prestaties op eerdere taken. Bestaande initialisatiemethoden zoals LoRA-GA (die de gradiënt van de huidige taak gebruikt) of spectrale methoden (zoals PiSSA of MiLoRA) houden geen rekening met de behoud van eerder kennis tijdens de initialisatiefase. Bijgevolg wordt de adapter geïnitieerd in een deelruimte die mogelijk direct eerder geleerde richtingen overschrijft.

2. Methodologie: Slice

De auteurs stellen Slice (Gradient-Surgery-based Low-rank Initialization for Continual lEarning) voor, een methode die LoRA-adapters initialiseert in een deelruimte die is uitgelijnd met de huidige taak, terwijl destructieve interferentie met eerdere taken wordt geminimaliseerd. De methode werkt in vier fasen voorafgaand aan enige training:

1. Gradiëntschatting: Het model berekent gradiëntmatrices voor de huidige taak ($G_{cur}$) en een steekproef van eerdere taken ($G_{prev}$) door gradiënten te accumuleren over kleine mini-batches. Dit vereist slechts een lichtgewicht forward-backward pass.
2. Gradiëntreconciliatie (Chirurgie): Een projectieoperator $\psi$ reconcileert $G_{cur}$ en $G_{prev}$ om een conflictvrije richting $\tilde{G}_{cur}$ te produceren. De auteurs maken gebruik van een generalisatie van PCGrad (Yu et al., 2020):
   $$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$$
   Hierbij is $c \in [0, 1]$ een hyperparameter. Als de gradiënten in conflict zijn (negatief inproduct), wordt het component van $G_{cur}$ dat parallel loopt aan $G_{prev}$ verwijderd; anders blijft $G_{cur}$ ongewijzigd.
3. Low-Rank Decompositie: De gereconcilieerde gradiënt $\tilde{G}_{cur}$ ondergaat een afgeknotte Singular Value Decomposition (SVD). De adaptermatrices worden geïnitieerd als:
   • $B = U_{:, :r}$ (eerste $r$ linkersinguliere vectoren).
   • $A = (V_{:, r:2r})^\top$ (rechtse singuliere vectoren van rang $r+1$ tot $2r$).
   • Opmerking: De auteurs hanteren de specifieke factorisatie die wordt gebruikt in LoRA-GA (het gebruik van de $(r+1)$-de tot $2r$-de rechtse singuliere vectoren voor $A$), met de vaststelling dat hoewel dit theoretisch niet vanzelfsprekend is, het empirisch in eerdere werken is gevalideerd als effectief voor initialisaties.
4. Magnitude Rescaling: Om verstorende factoren gerelateerd aan de grootte van updates te controleren (zoals geïdentificeerd door Zhang et al., 2026), worden de geïnitieerde gewichten herschaald om de variantie van de vooraf getrainde gewichten te matchen, zodat prestatiewinsten worden toegeschreven aan de selectie van de deelruimte en niet aan impliciete versterking van de magnitude.

3. Belangrijkste Bijdragen

• Slice Initialisatie: Een nieuwe initialisatiestrategie die gradiëntchirurgie integreert in de LoRA-opzetfase, waarbij gradiënten van huidige en eerdere taken expliciet worden gereconcilieerd voordat de training begint.
• NI-Seq-Opposite Benchmark: De auteurs introduceren NI-Seq-Opposite, een set van drie adversarische 5-taaksequenties die zijn ontdekt in de Super-NI-pool. Deze sequenties zijn geconstrueerd via een exhaustieve combinatorische zoektocht om de gemiddelde paarsgewijze gradiëntcosinus-similariteit te minimaliseren, waardoor een "moeilijke" continue learning-situatie ontstaat waarbij opeenvolgende taken maximaal tegenstrijdige gradiënten hebben.
• Rigoureus Evaluatieprotocol: Het artikel evalueert Slice tegen Vanilla LoRA, LoRAM en LoRA-GA op de TRACE-benchmark en standaard/adversarische Super-NI-sequenties. Cruciaal is dat alle vergelijkingen variantie-gematchte magnitude rescaling toepassen om de effecten van deelruimteselectie te isoleren van magnitude-artefacten.

4. Experimentele Resultaten

Geëvalueerd op Llama-3.2-3B-Instruct met LoRA-rang $r=64$ (en geverifieerd bij $r=128$), tonen de resultaten aan:

• Stabiliteit-Plasticiteit Trade-off: Slice bereikt consistent een superieure trade-off in vergelijking met baselines. Op de adversarische NI-Seq-Opposite-sequenties verbeterde Slice (met $c=1.0$) de Final Performance (FP) met maximaal +22,55 punten (op G2) en +16,97 punten (op Opp1) ten opzichte van Vanilla LoRA, terwijl Forgetting (Fgt) met maximaal 20,75 punten werd verminderd.
• Vergelijking met LoRA-GA: Hoewel LoRA-GA al beter presteert dan Vanilla LoRA, verbetert Slice deze winsten verder, met name bij het verminderen van vergeten op sequenties met hoge inter-taak interferentie.
• Generalisatie (GP/IP): Slice leidt slechts tot marginale verminderingen in General Performance (GP) en In-Context Performance (IP) ten opzichte van Vanilla LoRA. De auteurs merken op dat de trade-off asymmetrisch is: kleine kosten in algemene capaciteit leveren aanzienlijke winsten op in taakretentie.
• Hyperparametergevoeligheid: De parameter $\alpha$ (schaalfactor) kan worden afgestemd om een deel van de GP/IP-verliezen te herstellen zonder de taakretentiemetrics significant te beïnvloeden, dienend als een regelaar voor de balans tussen generalisatie en retentie.

5. Betekenis en Claims

Het artikel stelt dat initialisatie een consequent maar onderbenut interventiepunt is voor continue learning. Door een enkele, lichtgewicht gradiëntchirurgiestap uit te voeren voorafgaand aan training, stuurt Slice de adapter-deelruimte weg van richtingen die eerdere taakkennis zouden overschrijven.

De auteurs benadrukken dat Slice composabel is: het vervangt geen trainingstijdsstrategieën (zoals orthogonaliteitsbeperkingen of replay-buffers), maar dient als een drop-in vervanging voor de initialisatiefase die kan worden gecombineerd met elk downstream CL-algoritme. De introductie van NI-Seq-Opposite biedt een gecontroleerde stress-test voor het evalueren van robuustheid tegen inter-taak interferentie, waardoor een gat in standaard benchmarks wordt gedicht waar taaksequenties vaak worden geconstrueerd zonder expliciete overweging van gradiëntconflict.

Het werk concludeert dat hoewel de methode tijdens de opzet niet-triviale computerkosten met zich meebrengt (gradiëntaccumulatie en SVD), de resulterende stabiliteitswinsten sequentiële adaptie efficiënter maken in termen van middelen door de behoefte aan volledige hertraining of complexe replay-mechanismen om vergeten te mitigeren, te verminderen.