Label-Free Cross-Task LoRA Merging with Null-Space Compression

1. Il Problema

Nel contesto dei modelli fondazionali (LLM, VLM, Vision Transformers), il fine-tuning completo è spesso proibitivo in termini di costi computazionali e di memoria. Di conseguenza, si è diffuso l'uso di tecniche di Parameter-Efficient Fine-Tuning (PEFT) come LoRA (Low-Rank Adaptation), che aggiornano solo piccoli adattatori a basso rango.

Tuttavia, un problema critico emerge quando si desidera combinare più modelli adattati su compiti diversi (es. classificazione, regressione, generazione di testo) in un unico modello senza dover accedere ai dati etichettati originali o riaddestrare congiuntamente. Questo processo è noto come Model Merging.
Le sfide principali affrontate dagli approcci esistenti sono:

• Limitazione ai compiti di classificazione: Molti metodi (come AdaMerging) si basano sulla minimizzazione dell'entropia dell'output come segnale di ottimizzazione. L'entropia è ben definita per la classificazione ma non per compiti di regressione (es. stima della profondità) o generazione di sequenze lunghe.
• Costo computazionale: Per i modelli linguistici (LLM) e visivi (VLM), calcolare l'entropia su ogni token generato diventa un collo di bottiglia insostenibile man mano che la lunghezza della sequenza aumenta.
• Mancanza di generalizzazione: I metodi attuali spesso falliscono quando si mescolano compiti eterogenei (es. visione e linguaggio, o classificazione e regressione), portando a un degrado delle prestazioni su alcuni sottoinsiemi di compiti.

2. Metodologia: Null-Space Compression (NSC) Merging

Gli autori propongono NSC Merging, un metodo label-free (senza etichette) e output-agnostic che determina i pesi di fusione basandosi esclusivamente sulla geometria degli adattatori LoRA.

L'Osservazione Chiave

Durante il fine-tuning con LoRA, la matrice di proiezione in discesa A (dove $\Delta W = BA$) definisce un sottospazio a bassa dimensionalità.

• Gli autori osservano che, man mano che il modello si allena, il rapporto dello spazio nullo (la proporzione di attivazioni di input che vengono "scartate" o proiettate a zero dalla matrice A) diminuisce.
• Questa diminuzione è fortemente correlata con il miglioramento delle prestazioni del compito: un rapporto dello spazio nullo più basso indica che l'adattatore sta catturando più informazioni rilevanti dall'input.

Il Meccanismo di NSC

Invece di usare l'entropia dell'output, NSC utilizza la riduzione dello spazio nullo come segnale di ottimizzazione per apprendere i coefficienti di fusione ($\lambda$):

1. Calcolo del Rapporto: Per ogni campione non etichettato, si calcola la proporzione dell'attivazione che cade nello spazio nullo della matrice $A$ di ogni strato LoRA.
2. Ottimizzazione: L'obiettivo è minimizzare la media di questi rapporti di spazio nullo su tutti i compiti. Minimizzare questo rapporto equivale a massimizzare l'informazione preservata dagli adattatori.
3. Efficienza (Fast NSC): Per evitare di costruire matrici di proiezione costose, il metodo utilizza l'inverso della matrice Gramiana $(AA^T)^{-1}$, che è di dimensioni ridotte (pari al rango LoRA, es. 16x16), rendendo il calcolo estremamente leggero e indipendente dalla dimensione del modello.
4. Indipendenza dall'Output: Poiché il segnale deriva dalla proiezione dell'input attraverso la matrice $A$, il metodo non richiede di generare output o calcolare perdite sui token, rendendolo ideale per sequenze lunghe e compiti di regressione.

3. Contributi Chiave

• Scoperta Teorica: Dimostrazione empirica e teorica che il fine-tuning LoRA comprime sistematicamente lo spazio nullo della matrice di proiezione $A$, e che questa compressione è un indicatore affidabile delle prestazioni del modello.
• Nuovo Segnale di Fusione: Introduzione di un segnale di ottimizzazione basato sulla geometria (Null-Space Compression) che funziona universalmente per classificazione, regressione e generazione, superando i limiti dei metodi basati sull'entropia.
• Scalabilità: Un approccio computazionalmente efficiente che non scala con la lunghezza della sequenza generata, rendendolo pratico per LLM e VLM su larga scala.
• Prestazioni SOTA: Validazione su 20 compiti visivi eterogenei, 6 benchmark NLI per LLM e 6 compiti VLM, dimostrando una superiorità rispetto agli stati dell'arte.

4. Risultati Sperimentali

Il metodo è stato valutato su una vasta gamma di scenari:

• Compiti Visivi Eterogenei (20 Task): Su dataset come NYUD-v2, PASCAL-Context e Taskonomy (che includono stima della profondità, segmentazione, ecc.), NSC ha ottenuto prestazioni medie normalizzate del 92.0%, superando nettamente i metodi basati su entropia (che spesso fallivano sui compiti di regressione) e i metodi senza gradienti (come Task Arithmetic o TIES). NSC ha mostrato un bilanciamento eccellente, evitando il "collasso" su compiti specifici.
• LLM (NLI): Su 6 benchmark di inferenza linguistica naturale con LLaMA-3-8B, NSC ha raggiunto il 92.3% di accuratezza normalizzata, superando AdaMerging e le baseline senza gradienti.
• VLM (Vision-Language): Su compiti come VQA (Visual Question Answering) e captioning con LLaVA-1.5-7B, NSC ha dimostrato di essere più efficiente e performante. Mentre AdaMerging richiede aggiornamenti gradienti per ogni token generato (costo elevato), NSC ottiene risultati simili o superiori con un costo computazionale paragonabile a quello di un singolo token, indipendentemente dalla lunghezza della risposta.
• Generalizzazione: In scenari "seen-unseen" (addestramento su alcuni task, test su altri), NSC ha mantenuto prestazioni robuste su compiti mai visti, dimostrando una migliore capacità di trasferimento rispetto alle controparti.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo del Model Merging per l'era dei modelli fondazionali:

• Democratizzazione del Merging: Rimuove la dipendenza dai dati etichettati e dalle funzioni di perdita specifiche del compito (come l'entropia), permettendo di fondere modelli su qualsiasi tipo di compito (inclusa la regressione).
• Efficienza per Sequenze Lunghe: Risolve il problema della scalabilità nei LLM/VLM, dove i metodi basati sull'entropia diventano proibitivi per testi lunghi o generazione di immagini.
• Robustezza Eterogenea: Fornisce una soluzione unificata che gestisce efficacemente la fusione di modelli con obiettivi e domini di dati molto diversi, un requisito fondamentale per costruire agenti AI multi-task complessi.

In sintesi, NSC Merging trasforma una proprietà geometrica interna degli adattatori LoRA in un potente segnale di apprendimento, offrendo un metodo robusto, scalabile e privo di etichette per combinare l'intelligenza di modelli specializzati in un'unica architettura unificata.