Layer-wise LoRA fine-tuning: a similarity metric approach

Technische Samenvatting: Laag-gewijze LoRA Fine-tuning via Gelijkenismetrieken

Probleemstelling
Hoewel Pre-trained Large Language Models (LLMs) geavanceerde algemene AI hebben voortgebracht, brengt hun adaptatie aan specifieke taken via fine-tuning aanzienlijke computationele kosten met zich mee. Parameter-Efficiënte Fine-Tuning (PEFT) methoden, in het bijzonder Low-Rank Adaptation (LoRA), verzachten dit door de pre-trained gewichten te bevriezen en de low-rank decompositie-matrices bij te werken. Echter, zelfs met LoRA kan het aantal trainbare parameters prohibitief hoog blijven naarmate de schaal van modellen toeneemt. Bestaande LoRA-varianten richten zich primair op matrix-niveau optimalisaties (bijv. initialisatie-strategieën, decompositievormen of rang-aanpassingen), maar negeren vaak het architecturale niveau. Specifiek blijft het een open vraag of alle transformer-lagen evenredig bijdragen aan taakanpassing of of een systematische selectie van een subset van lagen de computationele kosten verder kan verlagen zonder de voorspellende prestaties op te offeren.

Methodologie
De auteurs stellen een laag-selectie benadering voor die orthogonaal is aan bestaande LoRA-technieken. De kernhypothese is dat niet alle lagen evenredig bijdragen aan veranderingen in interne representaties tijdens taakanpassing. De methode werkt als volgt:

1. Extractie van Representaties: Voor een pre-trained model $F$ met $M$ transformer-lagen ($L_1, \dots, L_M$) en een downstream dataset $D$, extraheert de methode interne representaties. Voor encoder-only architecturen wordt de <CLS> token-representatie gebruikt; voor decoder-only (autoregressieve) architecturen wordt de laatste token-representatie gebruikt, aangezien deze tokens naar argumentatie van de auteurs de relevante informatie voor voorspelling bevatten.
2. Gelijkenismeting: De methode maakt gebruik van de Centered Kernel Alignment (CKA) metriek om de gelijkenis te meten tussen de input-representatie ($R_{i-1}$) en de output-representatie ($R_i$) van elke laag $L_i$.
3. Belangrijkheidsscore: Een laag-belangrijkheidsmetriek $I_{L_i}$ wordt gedefinieerd als de ongelijkheid tussen input en output:
   $$I_{L_i} = 1 - \text{CKA}(R_{i-1}, R_i)$$
   De auteurs hypothetiseren dat lagen die een hoge ongelijkheid (lage CKA) vertonen tussen input en output, de meest significante impact hebben op veranderingen in de interne representatie en daarom de meest kritieke kandidaten zijn voor fine-tuning.
4. Selectie en Fine-tuning: De top $N$ lagen met de hoogste ongelijkheidsscores worden geselecteerd voor LoRA fine-tuning, terwijl de overige lagen bevroren blijven. Dit proces vindt plaats voorafgaand aan de fine-tuning fase, waarbij uitsluitend op inferentie wordt vertrouwd, waardoor dure aanvullende trainingsstappen of gradiëntberekeningen tijdens de selectiefase worden vermeden.

Belangrijkste Bijdragen

• Nieuw Selectiemechanisme: Introductie van een systematische methode om transformer-lagen te selecteren voor fine-tuning op basis van hun bijdrage aan interne representatieveranderingen, gekwantificeerd via CKA-ongelijkheid.
• Orthogonaliteit: De techniek is compatibel met bestaande PEFT-methoden (LoRA, PiSSA, etc.) en opereert op het laag-niveau in plaats van het matrix-niveau, wat een extra dimensie voor computationele efficiëntie biedt.
• Parameterreductie: De methode reduceert het aantal trainbare parameters in LoRA-gebaseerde technieken met tot wel 50% terwijl de voorspellende prestaties gelijk blijven of verbeteren.
• Empirische Validatie: Uitgebreide experimenten over encoder-only, decoder-only en multimodale architecturen demonstreren de robuustheid van de methode.

Experimentele Resultaten
De auteurs evalueerden hun benadering op diverse modellen en benchmarks:

• Encoder-Only Modellen (RoBERTa-base, DeBERTa-v3-base): Bij het fine-tunen van slechts 50% van de lagen (geselecteerd via de voorgestelde metriek) op de GLUE benchmark, resulteerde dit in een verwaarloosbare daling in voorspellende prestaties (gemiddelde daling van 0,27 procentpunt voor DeBERTa-v3-base) vergeleken met full-layer LoRA. Dit presteerde significant beter dan een concurrerende laag-selectiemethode gebaseerd op Fisher Information Matrix (FIM) scores, die een veel grotere prestatiedaling leed (7,68 punten).
• Decoder-Only Modellen (LLaMA 2-7B, Mistral-7B-v0.1, Gemma-7B): Geëvalueerd op wiskundige probleemoplossing (GSM8K, MATH) en programmeertaken (HumanEval, MBPP).
  • Voor LLaMA 2-7B en Mistral-7B bereikte de methode verbeteringen in de voorspellende prestaties op de meeste taken, ondanks een reductie van 50% in trainbare parameters.
  • Voor Gemma-7B werd een kleine prestatiedaling waargenomen, maar de resultaten bleven competitief.
  • De methode presteerde consistent beter dan naïeve heuristieken (bijv. het selecteren van enkel de middelste, eerste of laatste lagen).
• Multimodale Modellen (LLaVA-1.5-7B): Op de ScienceQA benchmark behaalde de methode een gemiddelde nauwkeurigheid van 79,26% vergeleken met 79,49% voor full-layer LoRA, met een 50% reductie in trainbare parameters (van 160M naar 80M).
• Efficiëntie: De selectie van lagen leidde tot significante versnellingen in de trainingstijd (tot ~1,4x voor bepaalde configuraties) en reducties in GPU-geheugengebruik (ongeveer 15-20%).

Betekenis en Claims
Het artikel beweert het eerste werk te zijn dat systematisch effectieve subsets van lagen voor LoRA fine-tuning onderzoekt over een brede set van modellen en taken, inclus\nui multimodale architecturen. De auteurs stellen dat hun benadering een praktisch pad biedt naar verdere computationele efficiëntie in de fine-tuning van grote modellen zonder dat hiervoor architecturale wijzigingen of complexe trainingsprocedures nodig zijn.

De resultaten suggereren dat:

1. Specifieke lagen invloedrijker zijn voor specifieke taken, en dat deze geïdentificeerd kunnen worden via representatie-gelijkenismetrieken.
2. CKA-ongelijkheid een effectief instrument is voor laag-selectie, wat superieur is aan naïeve strategieën en bestaande FIM-gebaseerde benaderingen.
3. De methode agnostisch is voor de specifieke gebruikte PEFT-techniek (werkend met zowel LoRA als PiSSA) en de modelarchitectuur (encoder, decoder of multimodal).

De auteurs blijven bescheiden over toekomstige richtingen en merken openstaande vragen op, zoals of belangrijheidsmetrieken laag-interacties kunnen vatten in plaats van individuele bijdragen, of ideale LoRA-ranks per laag gedefinieerd kunnen worden, en of andere benaderingen buiten gelijkenismetrieken effectief zouden kunnen zijn. Zij claimen geen universele optimaliteit voor alle modellen, maar benadrukken de effectiviteit van de methode bij het verminderen van de computationele lasten terwijl de prestaties behouden blijven.