FGGM: Fisher-Guided Gradient Masking for Continual Learning

Technische Samenvatting: Fisher-Guided Gradient Masking (FGGM) voor Continual Learning

1. Probleemstelling

Het artikel behandelt catastrofale vergetelheid (catastrophic forgetting) in Large Language Models (LLM's) tijdens Continual Learning (CL). Terwijl LLM's worden aangepast aan een stroom van nieuwe taken, hebben ze de neiging om parameters die cruciaal zijn voor eerder geleerde taken abrupt te overschrijven, wat leidt tot het verlies van voorkennis.

Bestaande mitigatiestrategieën kampen met aanzienlijke beperkingen:

• Replay-gebaseerde methoden vereisen het opslaan of genereren van historische data, wat zorgen oproept over privacy en schaalbaarheid.
• Parameter-bevriezingsmethoden (zoals LoRA, Prompt Tuning) bevriezen vaak basisparameters, wat potentieel de prestaties van downstream-taken beperkt.
• Regularisatie-gebaseerde methoden zoals EWC vertrouwen op historische data, terwijl andere zoals Orthogonal Gradient Descent (OGD) prohibitieve geheugenkosten opleggen voor volledige fine-tuning van LLM's.
• MIGU, een recente replay-vrije methode, selecteert parameters op basis van empirische output-magnitudes, maar mist een theoretische fundering voor het schatten van parameterbelang.

2. Methodologie: FGGM-framework

De auteurs stellen Fisher-Guided Gradient Masking (FGGM) voor, een framework dat catastrofale vergetelheid mitigeert door strategisch parameters te selecteren voor updates met behulp van diagonale Fisher-informatie, zonder toegang nodig te hebben tot historische data. Het framework werkt in twee fasen:

A. Fisher-geleide Mask-initialisatie
Voor een nieuwe taak $T_t$ schat FGGM de diagonale elementen van de Fisher Information Matrix (FIM) in met de data van de nieuwe taak. De diagonale FIM-entry $\hat{F}^{(t)}_i$ kwantificeert het belang van parameter $\theta_i$ door de gekwadrateerde gradiënt van de log-likelihood te meten:
$$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$$
Om de niet-stationaire distributie van parameterbelang over lagen heen te behandelen, gebruikt FGGM adaptieve drempelwaarde-instelling (adaptive thresholding). Een binaire mask $M^{(t)}$ wordt gegenereerd waarbij een parameter behouden blijft (waarde 1) als de Fisher-score hoger is dan het $(1-\alpha)$-de kwantiel van de empirische Fisher-waarden, en gemaskeerd wordt (waarde 0) anders.

B. Mask-normalisatie via Input-Dimensie Aggregatie (IA)
Een belangrijke innovatie is de normalisatie van maskers op basis van de architectuur van het neurale netwerk. Voor volledig verbonden lagen (fully connected layers) met een gewichtsmatrix $W \in \mathbb{R}^{D_{out} \times D_{in}}$, worden Fisher-scores geaggregeerd over de input-dimensie voor elke output-neuron:
$$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$$
Deze strategie behoudt de functionele integriteit van output-neuronen als atomaire computationele eenheden. Het artikel betoogt dat aggregatie over inputs (IA) superieur is aan aggregatie over outputs (OA), omdat het de verspreiding van taakspecifieke sensitiviteitsignalen voorkomt en duidelijke taakgrenzen handhaaft, terwijl OA de taakonderscheidend vermogen kan vertroebelen en vergetelheid kan vergroten.

C. Gradiëntprojectie
Tijdens backpropagation worden ruwe gradiënten $g^{(t)}$ elementgewijs vermenigvuldigd met de binaire mask $M^{(t)}$:
$$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$$
Dit beperkt updates tot alleen de kritieke parameters die door de Fisher-informatie zijn geïdentificeerd, waardoor niet-kritieke regio's van de parameterruimte effectief worden bevroren.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van FGGM, een replay-vrije methode voor LLM continual learning die vertrouwt op theoretisch onderbouwde Fisher-informatie in plaats van empirische magnitude-observaties.
2. Theoretische Belangschatting: Een mechanisme dat de relevantie van parameters voor een taak direct meet via Fisher-informatie, wat dynamische gradiënt-gating mogelijk maakt om een balans te vinden tussen plasticiteit (verwerven van nieuwe capaciteiten) en stabiliteit (behouden van bestaande kennis).
3. Architecturale Normalisatie: Het voorstel van Input-Dimensie Aggregatie (IA) om mask-generatie af te stemmen op de functionele structuur van feedforward-lagen, wat zorgt voor robuuste parameterselectie.
4. Empirische Validatie: Demonstratie dat FGGM superieur is aan state-of-the-art baselines, inclusief MIGU, op standaard benchmarks zonder de adaptiviteit van het model in gevaar te brengen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de TRACE benchmark (die algemene capaciteiten en diverse downstream-taken dekt) en code-generatietaken (HumanEval/BBH) met behulp van Qwen2-modellen (schaalgrootte 1.5B en 7B).

• Algemene Capaciteiten (Stabiliteit): Op de geaggregeerde General-metriek (MMLU, BBH, TyDiQA, etc.) behaalde FGGM 55.75, waarmee het MIGU (55.21) versloeg en aanzienlijk beter presteerde dan SFT (50.89) en LoRA (49.48). Opvallend genoeg presteerde FGGM beter dan replay-gebaseerde methoden (REP, EWC) op de General-metrieken, ondanks het feit dat het geen toegang had tot historische data, wat de privacy- en schaalbaarheidsvoordelen van de aanpak benadrukt.
• TRACE Algehele Prestaties (Plasticiteit): FGGM behaalde 46.00 op TRACE-OP, wat een relatieve verbetering van 4,4% is ten opzichte van MIGU (44.08) en een relatieve verbetering van 9,6% ten opzichte van SFT (49.22) in het behouden van algemene capaciteiten terwijl nieuwe taken worden geleerd.
• Code Generatie: In experimenten op de HumanEval-benchmark behaalde FGGM consequent een hogere nauwkeurigheid over alle evaluatiemetrieken vergeleken met SFT en MIGU, terwijl het tegelijkertijd minder vergetelheid demonstreerde op de BBH-benchmark.
• Schaalbaarheid: Het prestatieverschil tussen FGGM en MIGU werd groter naarmate de modelgrootte toenam van 1.5B naar 7B, wat wijst op de superieure schaalbaarheid van FGGM.
• Ablatie-studies:
  • Dimensie Aggregatie: Het verwijderen van Input-Dimensie Aggregatie (w/o IA) verminderde de General-prestaties van 55.75 naar 54.85. Het toepassen van Output-Dimensie Aggregatie (OA) veroorzaakte een ernstiger daling (53.16), wat de noodzaak van IA bevestigt voor het behoud van taakspecifieke sensitiviteiten.
  • Maskeringspercentage ($\alpha$): Er werd een trade-off waargenomen waarbij een kleinere $\alpha$ (meer updates) de plasticiteit (TRACE-OP) verhoogde maar de stabiliteit (General) verlaagde. De auteurs stelden $\alpha=0.7$ in voor een eerlijke vergelijking met MIGU.

5. Betekenis en Claims

Het artikel beweert dat FGGM een effectieve oplossing vestigt voor continual learning in LLM's door een wiskundig gefundeerde aanpak te bieden voor de schatting van parameterbelang. In tegenstelling tot magnitude-gebaseerde methoden zoals MIGU, gebruikt FGGM Fisher-informatie om de bijdrage van parameters aan de taak-loss te kwantificeren.

De auteurs benadrukken dat FGGM een dynamisch evenwicht bereikt tussen stabiliteit en plasticiteit zonder dat daarvoor historische data nodig zijn, waarmee de privacy- en schaalbaarheidsbottlenecks van replay-gebaseerde methoden worden aangepakt. De resultaten suggereren dat geprincipeerde gradiënt-maskeringsstrategieën een veelzijdige en effectieve tool zijn voor het behouden van LLM-prestaties over tijd, met name in scenario's waarin historische data niet beschikbaar of beperkt zijn. Het artikel concludeert dat FGGM een state-of-the-art benadering vertegenwoordigt voor stabiliteit onder methoden die geen toegang hebben tot voorgaande taakdata.