Technische Samenvatting: Leren in de Fisher-ruimte (FILet)

Probleemdefinitie

Parameter-efficiënte fijnafstelling (PEFT), met name Low-Rank Adaptation (LoRA), verlaagt de trainingskosten door weight-updates te beperken tot low-rank subruimten. De effectiviteit van LoRA hangt echter kritiek af van de initialisatie van deze subruimten. Bestaande initialisatiestrategieën (zoals PiSSA, MiLoRA, KaSA) vertrouwen voornamelijk op de intrinsieke geometrische eigenschappen van vooraf getrainde weights, waarbij doorgaans Singuliere Waarde Decompositie (SVD) wordt gebruikt om richtingen te selecteren op basis van singuliere waarden.

Het artikel stelt dat deze "alleen-weight"-criteria ontoereikend zijn omdat ze blind zijn voor de downstream-dataverdeling. Een richting die structureel significant is in de vooraf getrainde weights, kan irrelevant of passief zijn voor een specifieke downstream-taak. Omgekeerd kunnen richtingen met lage singuliere waarden zeer gevoelig zijn voor de doeldata. Het toewijzen van beperkte adaptatiecapaciteit aan taak-irrelevante richtingen hindert de downstream-prestaties. Het kernprobleem is het identificeren van adaptierichtingen die de verwachte toename in verlies onder de doeldataverdeling minimaliseren, in plaats van simpelweg de spectrale structuur van de vooraf getrainde weights te volgen.

Methodologie: FILet

De auteurs stellen FILet (Fisher-Guided Initialization for LoRA Fine-Tuning) voor, een datagericht kader dat Fisher-energie benut om de initialisatie te sturen.

1. Theoretische Formulering

De auteurs definiëren de bruikbaarheid van een parameter-updaterichting $Z$ door de verandering in downstream-verlies $\Delta L$. Met behulp van een Taylor-ontwikkeling van de tweede orde tonen ze aan dat voor symmetrische perturbaties de verliesverandering wordt gedomineerd door de term van de tweede orde die de Hessiaan van het verlies omvat:
$$\Delta L_{sym}(Z) \approx \frac{\gamma^2}{2} \langle Z, \nabla^2_{W_0} L \rangle$$
Om het berekenen van de volledige Hessiaan te vermijden, benaderen ze deze met de Fisher-informatiematrix ($S_W$), gedefinieerd als de verwachting van het uitwendig product van gradienten:
$$S_W = E[\text{vec}(\nabla_W L) \text{vec}(\nabla_W L)^\top]$$
De Fisher-energie van een richting $Z = uv^\top$ wordt gedefinieerd als:
$$E(Z) = \text{vec}(Z)^\top S_W \text{vec}(Z)$$
Deze metriek kwantificeert de lokale gevoeligheid van de voorspellingen van het model voor perturbaties in richting $Z$ onder de doeldataverdeling. De auteurs hypothetiseren dat richtingen met lage Fisher-energie overeenkomen met parameterupdates die een minimale verliesverhoging veroorzaken, waardoor ze ideale kandidaten zijn voor LoRA-initialisatie.

2. Efficiënte Berekening (K-FAC-benadering)

Het berekenen van de volledige Fisher-matrix is onhaalbaar voor Large Language Models (LLM's) vanwege de enorme omvang ($O((mn)^2)$). FILet maakt gebruik van de Kronecker-Factored Approximate Curvature (K-FAC)-methode om de Fisher-informatie te ontbinden:
$$S_W \approx S_X \otimes S_Y$$
Waarbij:

• $S_X = E[XX^\top]$ de empirische covariantie van input-activaties is.
• $S_Y = E[(\nabla_Y L)(\nabla_Y L)^\top]$ de empirische covariantie van output-gradienten is.

Deze factoren worden efficiënt geschat met behulp van een kleine minibatch downstream-data.

3. Initialisatieprocedure

Om dit operationeel te maken zonder volledige SVD, construeert FILet surrogaat-singuliere bases uit de vooraf getrainde weights $W_0$:

1. Bereken de Gram-matrix van $W_0$ en normaliseer de kolommen om een surrogaat-rechterbasis $\hat{V}$ te vormen.
2. Map $\hat{V}$ via $W_0$ en normaliseer om een surrogaat-linkerbasis $\hat{U}$ te vormen.
3. Projecteer de geschatte Fisher-factoren ($S_X, S_Y$) op deze bases om de Fisher-energie voor elke kandidaat-richting te berekenen.
4. Selecteer de top-$r$ richtingen met de minimale Fisher-energie.
5. Initialiseer de LoRA-matrices $A$ en $B$ met deze geselecteerde richtingen, geschaald met de vierkantswortel van hun corresponderende Fisher-energieën.

Dit proces zorgt ervoor dat de LoRA-adapters worden geïnitieerd in subruimten die het minst gevoelig zijn voor de doeldata, waardoor taakrelevante informatie in de bevroren residu-weights behouden blijft, terwijl efficiënte adaptatie mogelijk is in de "vlotte" regio's van het verlieslandschap.

Belangrijkste Bijdragen

1. Datagericht initialisatiecriterium: Het artikel verschuift het paradigma van weight-centric (SVD-gebaseerd) naar data-centric initialisatie, met het argument dat parametergevoeligheid voor de downstream-verdeling een principieler criterium is voor het selecteren van adaptiesubruimten.
2. Fisher-geleid kader (FILet): Een computerefficiënte methode om Fisher-energie te schatten met K-FAC en surrogaat-bases, waardoor de prohibitieve kosten van volledige Fisher-matrixberekening of volledige SVD op grote weights worden vermeden.
3. Empirische validatie: Uitgebreide experimenten tonen aan dat het selecteren van richtingen met minimale Fisher-energie, gecombineerd met Fisher-gebaseerde schaling, consequent beter presteert dan bestaande SVD-gebaseerde en datagedreven baselines.

Experimentele Resultaten

De auteurs hebben FILet geëvalueerd over diverse taken en modaliteiten:

• Redeneren in natuurlijke taal: Op benchmarks waaronder BoolQ, PIQA, ARC-Challenge en anderen, met Llama2-7B en Llama3-8B. FILet behaalde consequent een hogere gemiddelde nauwkeurigheid dan baselines zoals PiSSA, MiLoRA, KaSA en LoRA-Dash. Bijvoorbeeld, op Llama3-8B behaalde FILet een gemiddelde score van 86,7, wat beter was dan de volgende beste (NEAT met 84,5) en SVD-gebaseerde methoden (KaSA met 85,7).
• Beeldclassificatie: Met ViT-B/32 op zeven datasets (bijv. Cars, DTD, SVHN). FILet behaalde de hoogste gemiddelde nauwkeurigheid (69,3%), met name met winsten op SVHN en Cars.
• Generatie van natuurlijke taal: Op GSM8k (wiskunde), MBPP (code), E2E en MT-bench. FILet toonde aanzienlijke winsten, vooral in GSM8k (63,5 voor Gemma-7B) en MBPP (30,8 voor Gemma-7B), wat wijst op effectiviteit in taken die precisievere generalisatie vereisen.
• Efficiëntie: Hoewel FILet extra tijd vereist om Fisher-factoren te berekenen, vermijdt het de FP32-conversie en de volledige SVD-overhead van methoden zoals KaSA. De initialisatietijd schaalt gunstig met modelgrootte in vergelijking met SVD-gebaseerde benaderingen.
• Ablatiestudies:
  • Minibatch-grootte: De prestaties verbeteren met grotere minibatches maar bereiken een plateau, wat suggereert dat gematigde maten (bijv. 320) een goede balans bieden tussen nauwkeurigheid en efficiëntie.
  • Schalingsstrategie: Het artikel bevestigt dat het gebruik van Fisher-gebaseerde schaling (minimale energie) superieur is aan het gebruik van SVD-singuliere waarden voor schaling, zelfs als de richtingselectie correct is.

Betekenis en Claims

Het artikel beweert dat FILet een principieel, taakafhankelijk criterium biedt voor LoRA-initialisatie dat adaptie beter aligneert met het doel. Door krommingsinformatie te benutten die wordt geïnduceerd door downstream-data, vermijdt FILet het toewijzen van capaciteit aan richtingen die passief zijn onder de doelverdeling.

De auteurs benadrukken dat deze aanpak:

• Consequent de downstream-prestaties verbetert over redeneren, generatie en classificatietaken.
• Computationele efficiëntie behoudt, met minimale initialisatie-overhead in vergelijking met volledige SVD-methoden.
• De praktische bruikbaarheid van PEFT versterkt, waardoor hoogwaardige fijnafstelling mogelijk wordt onder beperkte computertarieven door ervoor te zorgen dat de beperkte trainbare parameters in de meest effectieve subruimten worden geplaatst.

Het werk concludeert dat datagerichte initialisatie, specifiek via minimalisatie van Fisher-energie, een kritische factor is in het maximaliseren van de effectiviteit van parameter-efficiënte fijnafstelling, en voorbijgaat aan de beperkingen van statische weight-geometrie.