Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

Technische Samenvatting: Het ontrafelen van LoRA-interferentie: Orthogonale Subruimten voor Robuuste Modelmerging

Probleemstelling
Hoewel het finetunen van grote taalmodellen (LM's) voor specifieke taken sterke prestaties oplevert, is het onderhouden van aparte modellen voor elke taak kostbaar met betrekking tot opslag en implementatie. Modelmerging biedt een oplossing door meerdere taakspecifieke modellen te combineren tot één multi-task model zonder extra training. Echter, bestaande merging-methoden falen vaak wanneer ze worden toegepast op modellen die zijn gefinetuned met Low-Rank Adaptation (LoRA), wat resulteert in significante prestatiedegradatie.

De auteurs stellen dat deze degradatie voortkomt uit parameterinterferentie, gedreven door de interactie tussen modelparameters en datadistributies. Specifiek, wanneer LoRA-modules worden samengevoegd (bijv. $W_m = W_0 + B_1A_1 + B_2A_2$), werkt de update-term van één taak ($B_2A_2$) als een onbedoelde "perturbatie" op de latente kenmerken van een andere taak ($h_1$), waardoor de outputs afwijken van de beoogde respons. Bestaande data-vrije benaderingen die zich uitsluitend richten op de orthogonaliteit of uitlijning van taakvectoren, negeren vaak deze cruciale wisselwerking tussen latente kenmerken en parameterupdates.

Methodologie: OSRM
Het paper stelt Orthogonal Subspaces for Robust model Merging (OSRM) voor, een methode die de LoRA-subruimte vóór de fine-tuning beperkt om interferentie met out-of-task datadistributies te minimaliseren.

1. Kernobjectief: De methode beoogt de interferentieterm $\|B_2A_2 h_1\|$ te verminderen door de Frobenius-norm $\|A_2 H_1^\top\|_F$ te minimaliseren, waarbij $H_1$ de latente kenmerkmatrix is van samples uit een andere taak ($T_1$).
2. Analytische Oplossing: Om triviale oplossingen (bijv. $A_2=0$) te vermijden en de representatiekracht te behouden, leggen de auteurs een restrictie op dat $A_2$ orthonormale rijen moet hebben ($A_2 A_2^\top = I$). Onder deze restrictie wordt de optimale initialisatie voor $A_2$ analytisch afgeleid via de eigendecompositie van de steekproef-covariantie-matrix $S = \frac{1}{k-1}H^\top H$. Specifiek wordt $A_2$ geïnitialiseerd met de eigenvectoren die overeenkomen met de kleinste eigenwaarden van $S$. Dit plaatst de LoRA-subruimte in richtingen waar de out-of-task data een minimale variantie heeft.
3. Praktische Extensies:
   • Relaxatie tijdens Fine-Tuning: Hoewel de theoretische oplossing suggereert om $A_2$ te bevriezen, vinden de auteurs dat dit de single-task accuratesse verslechtert. In plaats daarvan gebruiken ze de analytische oplossing enkel als de initialisatie voor $A_2$, waardoor deze tijdens de fine-tuning kan worden bijgewerkt. Empirische resultaten tonen aan dat de afwijking van de initiële orthogonale staat marginaal is (ongeveer 14%), wat de geldigheid van de methode behoudt.
   • Schaalbaarheid en Privacy: Voor het mergen van $N$ taken aggregeert de methode de latente kenmerken van alle taken behalve de doeltaak $T_t$. Om het geheugengebruik te verminderen en privacyzorgen aan te pakken, stellen de auteurs voor om sample-gewijze latente kenmerken te middelen vóór concatenatie.
   • Post-Hoc Toepassing: De methode kan worden uitgebreid naar bestaande LoRA-modules door geleerde gewichten te decomponeren met behulp van de door OSRM afgeleide basis, hoewel dit enige prestatieverlies kan veroorzaken.

Belangrijkste Bijdragen

• Identificatie van Data-Parameter-Wisselwerking: Het paper benadrukt dat parameterinterferentie bij LoRA-merging niet alleen een functie is van gewichtconflicten, maar diep verbonden is met hoe parameters interageren met specifieke datadistributies.
• Pre-Fine-Tuning Restrictie: In tegenstelling tot voorgaande werken die opereren tijdens of na de merging, grijpt OSRM in vóór de fine-tuning door de LoRA-subruimte te initialiseren zodat deze orthogonaal is aan irrelevante datadistributies.
• Plug-and-Play Integratie: De aanpak is ontworpen om naadloos te integreren met bestaande merging-algoritmen (bijv. Task Arithmetic, Fisher Merging, TIES, RegMean, EMR) zonder dat de merging-logica zelf gewijzigd hoeft te worden.
• Robuustheid: De methode vertoont een verminderde gevoeligheid voor hyperparameters zoals schalingscoëfficiënten, steekproefgroottes en het aantal taken.

Experimentele Resultaten
De auteurs evalueerden OSRM op acht datasets van de GLUE-benchmark met behulp van drie veelgebruikte LM's (RoBERTa-large, T5-large, Llama3.2-1B) en twee grotere LM's (Llama3.2-3B, Llama3-8B).

• Prestatiewinst: OSRM presteerde consistent beter dan bestaande merging-baselines over alle geteste modellen en merging-technieken.
  • Op RoBERTa-large verbeterde OSRM de gemiddelde prestaties aanzienlijk ten opzichte van baselines (bijv. +13% op CoLA voor Task Arithmetic, +21% op MNLI voor Fisher Merging).
  • Op T5-large presteerde het aanzienlijk beter dan baselines op RegMean (+3,76% gemiddeld) en Fisher (+7,9% gemiddeld).
  • Op Llama3.2-1B en 3B overtrof OSRM de baselines op TA, RegMean, TIES en EMR, met verbeteringen per taak tot wel 12,78%.
• Single-Task Behoud: De methode heeft minimale impact op de single-task accuratesse (gemiddelde kloof <1%) en overtreft vaak de baseline single-task prestaties.
• Robuustheid:
  • Schalingscoëfficiënt: OSRM behield superieure prestaties over een breed bereik van schalingscoëfficiënten ($\lambda \in [0,1, 1,3]$), terwijl baselines gevoeliger waren.
  • Steekproefgrootte: De methode presteerde goed met slechts 100 samples voor initialisatie.
  • Aantal Taken: De voordelen in prestaties werden duidelijker naarmate het aantal gemergde taken toenam ($N > 5$).

Betekenis en Claims
Het paper claimt dat OSRM een generaliseerbare strategie biedt voor het effectiever combineren van LoRA-modellen door expliciet de interactie tussen data en parameters aan te pakken. De auteurs benadrukken dat hun aanpak een plug-and-play oplossing biedt die de merging-prestaties verbetert terwijl de single-task accuratesse behouden blijft. Ze argumenteren dat het overwegen van data-parameterinteracties cruciaal is voor robuuste modelmerging, waarbij men verder gaat dan puur data-vrije strategieën die zich alleen richten op gewichtsuitlijning. De resultaten suggereren dat het beperken van de LoRA-subruimte vóór de fine-tuning een vitale stap is om de onbedoelde outputverschuivingen te verzachten die momenteel de LoRA-modelmerging teisteren.