Label-Free Cross-Task LoRA Merging with Null-Space Compression

Titel: Label-Free Cross-Task LoRA Merging met Null-Space Compression (NSC)

Auteurs: Wonyoung Lee, Wooseong Jeong, Kuk-Jin Yoon (KAIST)

---

1. Het Probleem

In het tijdperk van fundamentele modellen (zoals LLM's en VLM's) is het fijnafstemmen (fine-tuning) met Low-Rank Adaptation (LoRA) de standaard geworden om modellen aan te passen aan specifieke taken zonder de basisgewichten te wijzigen. Een grote uitdaging is echter het samenvoegen (merging) van meerdere, onafhankelijk getrainde LoRA-adapters tot één model dat kennis uit verschillende taken combineert, zonder dat er gezamenlijke multi-task training nodig is of toegang is tot gelabelde data.

Bestaande methoden voor modelmerging hebben ernstige beperkingen:

• Homogene beperkingen: Veel methoden werken goed voor classificatietaken maar falen bij gemengde taken (bijv. classificatie + regressie zoals dieptebepaling).
• Afhankelijkheid van Entropie: Methoden zoals AdaMerging gebruiken output-entropie als signaal om merge-weights te bepalen. Dit werkt niet voor regressietaken (waar geen entropie bestaat) en is computatief zwaar voor grote taalmodellen (LLM's) en visueel-taalmodellen (VLM's) omdat de entropie voor elk gegenereerd token berekend moet worden, wat de kosten exponentieel laat stijgen met de sequentielengte.
• Subspace-misalignement: Traditionele methoden die op volledige gewichten werken, presteren slecht op LoRA-adapters vanwege misalignement tussen de lage-rank subspaces.

---

2. Methodologie: Null-Space Compression (NSC) Merging

De auteurs introduceren NSC Merging, een label-vrije, output-agnostische methode die merge-weights bepaalt op basis van de geometrie van de LoRA-adapters zelf.

Kernobservatie: Null-Space Compression

De methode is gebaseerd op een fundamentele observatie tijdens het LoRA-fijnafstemmen:

• Een LoRA-update wordt gedefinieerd als $\Delta W = BA$, waarbij $A$ de down-projectiematrix is.
• Deze matrix projecteert input-activaties naar een laag-dimensionale subspace. De componenten die in de nulpunt-ruimte (null space) van $A$ vallen, worden genegeerd.
• De auteurs definiëren de null-space ratio ($\omega$) als het aandeel van de activatie dat door deze projectie wordt onderdrukt (d.w.z. in de null space valt).
• Observatie: Tijdens het trainen neemt deze null-space ratio systematisch af. Er is een sterke inverse correlatie: een lagere null-space ratio correleert met betere taakprestaties. Dit betekent dat het model effectiever de relevante informatie in de adapter-subspace vastlegt naarmate het beter leert.

De NSC-Optimalisatie

In plaats van output-entropie te minimaliseren, minimaliseert NSC de null-space ratio als een vervangingsdoel (surrogate loss) om de merge-coëfficiënten ($\lambda$) te leren.

• Doel: Minimaliseer de verwachte null-space ratio over een set van ongelabelde validatiegegevens.
• Formulering:
  $$\min_{\{\lambda_k^\ell\}} \frac{1}{K} \sum_{k=1}^K \mathbb{E}_{x \sim D_k} [\Omega_k(x; \Theta_{merge})]$$
  Waar $\Omega_k$ de gemiddelde null-space ratio is over de LoRA-lagen.
• Efficiëntie (Fast NSC): Om de berekening efficiënt te houden, wordt de Gram-inverse $(AA^T)^{-1}$ vooraf berekend en gecachet. Dit maakt het mogelijk om de null-space ratio te berekenen zonder de volledige projectiematrix te construeren, wat de complexiteit verlaagt van $O(d^2)$ naar $O(r^2)$ (waarbij $r$ de LoRA-rang is, vaak zeer klein).
• Voordeel: De methode is label-vrij (werkt op ongelabelde data), taatonafhankelijk (werkt voor classificatie én regressie) en schaalbaar (de kosten hangen niet af van de lengte van de gegenereerde tekst, maar alleen van de input).

---

3. Belangrijkste Bijdragen

1. Nieuwe Observatie: Het vaststellen dat LoRA-fijnafstemming systematisch de null space van de down-projectiematrix $A$ comprimeert, en dat deze compressie sterk correleert met prestaties.
2. NSC Merging: Een nieuwe, gradient-gebaseerde merge-methode die deze compressie gebruikt als signaal. Dit lost het probleem op van entropy-based methoden die niet toepasbaar zijn op regressie of inefficiënt zijn voor lange sequenties.
3. Uitgebreide Validatie: De methode is getest op 20 heterogene visuele taken (classificatie + regressie), 6 NLI-benchmarks voor LLM's, en 6 Vision-Language taken voor VLM's.

---

4. Resultaten

De prestaties van NSC zijn overtuigend en consistent superieur aan bestaande baselines (zoals Task Arithmetic, TIES, AdaMerging, SVD, etc.):

• Heterogene Visuele Taken (20 taken):
  • NSC behaalde een State-of-the-Art (SOTA) gemiddelde genormaliseerde score van 92.0%.
  • Bestaande methoden (zoals TA, TIES) faalden vaak op regressietaken (bijv. dieptebepaling) of vertoonden grote variatie in prestaties (overfitting op een subset van taken). NSC bood de meest gebalanceerde verbetering.
• LLM Taken (NLI):
  • Op zes Natural Language Inference benchmarks (met LLaMA-3 8B) behaalde NSC een gemiddelde van 92.3%, wat beter is dan AdaMerging (89.6%) en andere baselines.
• VLM Taken (Visueel-Taal):
  • Op taken zoals VQA en beeldbeschrijving (met LLaVA-1.5) overtrof NSC AdaMerging.
  • Efficiëntie: AdaMerging moet entropie berekenen voor elk gegenereerd token, wat de rekentijd sterk verhoogt bij lange antwoorden. NSC gebruikt alleen de input-prompt (of het eerste token) voor de gradient, wat leidt tot vergelijkbare prestaties met 7x minder rekentijd dan de "Full Token" variant van AdaMerging.
• Generalisatie:
  • In een "seen-unseen" protocol (mergen van bekende taken om onbekende taken te generaliseren) behaalde NSC de hoogste scores op zowel de gezien (95.1%) als ongezien (87.1%) taken.

---

5. Betekenis en Conclusie

Dit paper introduceert een paradigmaverschuiving in modelmerging voor parameter-efficiënte fine-tuning. Door af te stappen van output-afhankelijke signalen (zoals entropie) en over te stappen op structurele signalen (null-space compressie) binnen de adapter zelf, biedt NSC een robuuste oplossing voor:

1. Heterogene taken: Het combineert succesvol classificatie en regressie.
2. Schaalbaarheid: Het is efficiënt toepasbaar op grote LLM's en VLM's zonder de kosten te laten exploderen bij lange sequenties.
3. Toepasbaarheid: Het werkt volledig zonder toegang tot gelabelde data, wat cruciaal is voor privacygevoelige of proprietary datasets.

NSC bewijst dat de interne geometrie van LoRA-adapters een krachtig, universeel signaal bevat voor het optimaliseren van multi-task kennisintegratie, en stelt een nieuwe standaard voor het samenvoegen van gespecialiseerde modellen in de foundation-model era.