Efficient Task Adaptation in Large Language Models via Selective Parameter Optimization

Probleemstelling: Catastrophic Forgetting bij LLMs

Grote Taalmodellen (LLMs) presteren uitstekend in algemene taalbegrip en generatie dankzij pre-training op enorme datasets. Echter, wanneer deze modellen worden gefinetuned voor specifieke domeintaken (zoals medische analyse of juridische documentverwerking), treedt vaak het fenomeen van catastrophic forgetting op.

• Oorzaak: Tijdens het finetunen worden alle parameters van het model bijgewerkt op basis van de nieuwe, specifieke data. Omdat deze data minder divers is dan de pre-training corpus, worden de parameters die cruciaal zijn voor algemene vaardigheden onnodig aangepast of overschreven.
• Gevolg: Het model verliest zijn algemene kennis en prestaties op taken buiten het specifieke domein dalen drastisch.
• Bestaande oplossingen: Methoden zoals Elastic Weight Consolidation (EWC) en EWCLoRA proberen dit op te lossen door de Fisher Information Matrix te gebruiken om parameterbelang te meten. Deze methoden zijn echter computationally zeer duur (bijv. 22+ uur voor GPT-J-6B) en vereisen enorme opslagruimte, wat ze onpraktisch maakt voor grootschalige toepassing. Andere methoden zoals RSLoRA bieden onvoldoende bescherming tegen vergeten.

Methodologie: Twee-fasen Strategie op Basis van Parameterbelang

De auteurs stellen een innovatieve methode voor die parameters onderscheidt in "core parameters" (kernparameters) en "non-core parameters" (niet-kernparameters) om een balans te vinden tussen domeinspecificatie en algemene vaardigheden.

De methode bestaat uit twee fasen:

1. Fase 1: Evaluatie van Parameterbelang (General Ability Training)

   • Het model wordt eerst getraind of gefinetuned op een groot, divers algemeen dataset ($D_g$).
   • Vervolgens wordt voor elke parameter $w_i$ een belangsscore ($I_i$) berekend. Dit gebeurt op basis van de gradiëntveranderingen tijdens het trainen op de algemene data:
     $$I_i = E_{(x,y) \sim D_g} [ | \nabla_{w_i} \ell(F_W(x), y) | ]$$
   • Parameters met een hoge gradiënt (grote impact op de loss) worden geïdentificeerd als kritiek voor algemene vaardigheden.
   • Een drempelwaarde ($\theta$) wordt gebruikt om de parameters te splitsen:
     • Core Parameters ($W_K$): $I_i \geq \theta$. Deze worden vastgezet (frozen).
     • Non-core Parameters ($W_N$): $I_i < \theta$. Deze blijven trainable.

2. Fase 2: Selectief Finetunen voor Specifiek Domein

   • Bij het finetunen voor een specifieke taak (dataset $D_s$) worden alleen de non-core parameters ($W_N$) bijgewerkt.
   • De core parameters ($W_K$) blijven onveranderd om de pre-trained algemene kennis te behouden.
   • De update-regel is als volgt:
     $$w_i \leftarrow \begin{cases} w_i & \text{als } w_i \in W_K \text{ (vast)} \\ w_i - \eta \nabla_{w_i} L_s(W) & \text{als } w_i \in W_N \text{ (bijgewerkt)} \end{cases}$$

De methode is ontworpen om te werken met bestaande structuren (zoals LoRA) zonder extra lagen toe te voegen, wat de implementatie eenvoudig maakt.

Belangrijkste Bijdragen

1. Innovatieve Evaluatiemethode: Een nieuwe methode om parameterbelang te kwantificeren op basis van algemene taalvaardigheidstaken, waardoor een onderscheid kan worden gemaakt tussen parameters die essentieel zijn voor generalisatie en die voor specifieke taken.
2. Gestuurde Finetuning: Een strategie waarbij alleen niet-kernparameters worden aangepast, wat zorgt voor effectieve samenwerking tussen domeinspecifieke vaardigheden en algemene capaciteiten zonder dat het ene het andere tenietdoet.
3. Efficiëntie: In tegenstelling tot EWC-gebaseerde methoden is deze methode computatie-efficiënt en vereist het aanzienlijk minder opslagruimte, omdat het geen complexe Fisher-matrices hoeft te berekenen of op te slaan.
4. Empirische Validatie: Uitgebreide experimenten op diverse taken (wetenschap, fysica, geneeskunde) met modellen zoals GPT-J en LLaMA-3.

Resultaten

De methode is getest op modellen GPT-J-6B en LLaMA-3-3B op taken zoals SciQ (wetenschappelijk redeneren), PiQA (fysica) en MedMCQA (medische kennis).

• Prestaties: De voorgestelde methode ("Ours") behaalde de beste of zeer vergelijkbare resultaten op domeinspecifieke taken vergeleken met baselines zoals LoRA, RSLoRA en EWCLoRA.
• Behoud van Algemene Vaardigheden: In tegenstelling tot standaard LoRA, die vaak leidt tot een daling in algemene prestaties (gemeten in Perplexity/PPL), behield de voorgestelde methode de algemene taalvaardigheden uitstekend. Bijvoorbeeld, op de MedMCQA-taak behaalde de methode een hogere nauwkeurigheid dan de baseline, terwijl de Perplexity op algemene taken lager bleef dan bij andere finetuning-methoden.
• Efficiëntie (Tijd en Opslag):
  • Tijd: Het berekenen van parameterbelang met deze methode duurt slechts ~1,15 uur voor GPT-J-6B, terwijl EWCLoRA (Fisher-matrix) ongeveer 27,17 uur nodig heeft.
  • Opslag: De methode vereist slechts 3,5 GB opslag voor GPT-J-6B, vergeleken met 22,65 GB voor de Fisher-matrix van EWCLoRA.

Betekenis en Conclusie

Dit paper biedt een praktische en efficiënte oplossing voor het fundamentele probleem van catastrophic forgetting bij het aanpassen van grote taalmodellen aan specifieke domeinen.

• Praktische Toepasbaarheid: Door de drastische reductie in rekentijd en opslagruimte, wordt de methode haalbaar voor organisaties met beperkte hardwarebronnen, in tegenstelling tot de zware EWC-varianten.
• Balans: Het bewijst dat het mogelijk is om modellen te specialiseren zonder hun universele intelligentie op te offeren, wat essentieel is voor de brede adoptie van LLMs in professionele sectoren zoals zorg en juridische diensten.
• Toekomstperspectief: De aanpak suggereert dat het selectief vastzetten van parameters op basis van gradiëntgevoeligheid een robuustere en schaalbaarder alternatief is dan bestaande regularisatiemethoden.