Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection

Technische Samenvatting: Ontrafelen van Taakconflicten in Multi-Task LoRA via Orthogonale Gradiëntprojectie

1. Probleemstelling

Het artikel behandelt de uitdaging van negatieve transfer in Multi-Task Learning (MTL) wanneer dit wordt toegepast op Large Language Models (LLMs) met behulp van Low-Rank Adaptation (LoRA). Hoewel LoRA een parameter-efficiënte manier biedt om LLMs te finetunen door alleen low-rank matrices ($A$ en $B$) bij te werken, leidt het delen van één enkele adapter over meerdere taken vaak tot prestatievermindering vergeleken met single-task fine-tuning.

De auteurs stellen dat dit probleem wordt verergerd in LoRA door de "bottleneck conflict". In tegenstelling tot full fine-tuning, dat opereert in een hoogdimensionale ruimte met voldoende vrijheidsgraden om een "Pareto stationair" punt voor conflicterende doelstellingen te vinden, beperkt LoRA de optimalisatie tot een low-rank manifold (bijv. rank $r=8$). Deze drastische reductie in capaciteit dwingt taakspecifieke gradiënten om vaker te botsen, wat resulteert in destructieve interferentie waarbij verbeteringen in de ene taak ten koste gaan van andere taken.

2. Methodologie: Ortho-LoRA

De voorgestelde oplossing, Ortho-LoRA, is een gradiëntprojectiemethode die specifiek is afgestemd op de bipartiete algebraïsche structuur van LoRA.

• Kernmechanisme: Geïnspireerd door PCGrad (Projecting Conflicting Gradients), projecteert Ortho-LoRA conflicterende taakgradiënten dynamisch op het orthogonale complement van elkaar voordat de parameters worden bijgewerkt. Als de cosinusovereenkomst tussen twee taakgradiënten negatief is, wordt de gradiënt van de ene taak geprojecteerd op het normale vlak van de andere om het conflicterende component te verwijderen.
• Structuurbewuste Ontkoppeling: Een belangrijke innovatie is de toepassing van deze projectie op de constituerende LoRA-matrices ($A$ en $B$) onafhankelijk, in plaats van alle parameters te plat te slaan naar één enkele vector.
  • $A$ projecteert inputs naar een latente subspace (feature extractie).
  • $B$ projecteert latente features terug naar de outputruimte (state reconstructie).
  • Door door het afdwingen van orthogonaliteit apart op $g^{(A)}$ en $g^{(B)}$, stelt de methode het model in staat om nuttige inputrepresentaties te delen, zelfs als de outputvereisten verschillen, waardoor transferinformatie die verloren zou kunnen gaan bij een globale projectie, behouden blijft.
• Trainingsprocedure: Het algoritme berekent de gradiënten voor elke taak afzonderlijk, detecteert conflicten en past de projectie toe. Om een onbevoordeelde optimalisatie in multi-task settings ($T > 2$) te garanderen, wordt de volgorde van projectie bij elke trainingsstap gerandomiseerd.
• Complexiteit: Hoewel de methode $T$ backward passes vereist (één per taak) in plaats van één, is de computationele overhead verwaarloosbaar. De projectie opereert uitsluitend op de LoRA-parameters, die minder dan 0,1% van de totale modelomvang beslaan. De primaire computationele bottleneck blijft de forward/backward pass door de bevroren LLM-backbone.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Probleemidentificatie: De auteurs identificeren en analyseren het "bottleneck conflict" dat inherent is aan het toepassen van MTL op low-rank adapters, waarbij zij beargumenteren dat low-rank beperkingen negatieve transfer versterken vergeleken met full fine-tuning.
2. Algoritmevoorstel: Ze stellen Ortho-LoRA voor, een computationeel efficiënt algoritme dat specifief gradiëntorthogonaliteit afdwingt binnen de adapterruimte (matrices $A$ en $B$) om negatieve transfer te mitigeren zonder architecturale wijzigingen.
3. Empirische Validatie: Door experimenten op de GLUE-benchmark tonen ze aan dat Ortho-LoRA ongeveer 95% van het prestatieverschil tussen multi-task en single-task baselines herstelt, terwijl het slechts $1/N$ van de parameters gebruikt (waarbij $N$ het aantal taken is).

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de GLUE-benchmark (MNLI, QQP, SST-2) met een RoBERTa-base backbone met LoRA rank $r=8$.

• Prestaties: Standaard Joint-LoRA (gedeelde adapter getraind op sommatie van loss) vertoonde een prestatiedaling van ~1,5 punten vergeleken met Single-Task LoRA. Ortho-LoRA mitigeerde dit aanzienlijk en behaalde een gemiddelde score van 89,6, wat slechts 0,3 punten achter de Single-Task upper bound (89,9) ligt.
• Herstelpercentage: Ortho-LoRA herstelde ongeveer 80% van de prestatiedaling over de hele linie, met een bijna perfect herstel op de QQP-taak (87,9 versus 88,1 voor single-task).
• Ablatie-studies:
  • Rank-gevoeligheid: De methode bood consistente winst over ranks $r \in \{4, 8, 16, 32\}$. De verbetering was het meest uitgesproken bij lagere ranks ($r=4$), wat de waarde van de methode bevestigt in zeer parameter-efficiënte scenario's waar de bottleneck het meest ernstig is.
  • Convergentie: Hoewel Ortho-LoRA 1,4x langer duurde in wall-clock tijd vanwege meerdere backward passes, convergeerde het in minder epochs dan Joint-LoRA. Het stabiliseerde het optimalisatietraject en voorkwam de oscillerende loss-curves veroorzaakt door conflicterende updates.

5. Betekenis en Claims

Het artikel claimt dat Ortho-LoRA een robuuste "middenweg"-oplossing biedt tussen de efficiëntie van joint training en de prestaties van single-task fine-tuning.

• Efficiëntie vs. Prestaties: Het demonstreert dat expliciete gradiëntorthogonaliteit een taakontkoppeling kan bereiken die vergelijkbaar is met complexe architecturale oplossingen (zoals Mixture-of-Experts of FlyLoRA), zonder extra parameters (routers) of complexe routinglogica te introduceren.
• Schaalbaarheid: De methode behoudt de structurele eenvoud van een enkele gedeelde LoRA-module, waardoor het geschikt is voor het inzetten van een enkel systeem om meerdere downstream taken te afhandelen met minimale opslagoverhead.
• Toekomstige Richtingen: De auteurs suggereren bescheiden dat toekomstig werk de toepassing van deze projectiestrategie op andere PEFT-methoden (bijv. Prefix-Tuning) en de combinatie ervan met dynamische taakweging zou kunnen verkennen.

Samenvattend biedt Ortho-LoRA een lichtgewicht interventie op optimalisatieniveau die effectief de specifieke gradiëntconflicten oplost die voortvloeien uit de low-rank beperkingen van LoRA, wat zorgt voor hoogwaardige multi-task adaptatie met verwaarloosbare computationele kosten.