Label-Free Cross-Task LoRA Merging with Null-Space Compression

1. Problema e Contexto

No cenário atual de modelos de base (foundation models), como LLMs (Large Language Models) e VLMs (Vision-Language Models), o ajuste fino (fine-tuning) completo é computacionalmente proibitivo. A Low-Rank Adaptation (LoRA) tornou-se o padrão para adaptação eficiente de parâmetros, criando módulos adaptadores leves.

O desafio central abordado é a fusão de modelos (Model Merging): combinar múltiplos adaptadores LoRA, treinados independentemente em diferentes tarefas, em um único modelo capaz de realizar todas essas tarefas sem necessidade de re-treinamento conjunto ou acesso a dados rotulados.

Limitações das abordagens existentes:

• Métodos sem gradiente (ex: Task Arithmetic, TIES): Frequentemente falham em cenários heterogêneos (mistura de classificação e regressão), levando ao colapso de desempenho em tarefas densas (como segmentação semântica ou estimativa de profundidade).
• Métodos baseados em Entropia (ex: AdaMerging): Utilizam a minimização da entropia de saída como sinal de otimização. Isso possui duas falhas críticas:
  1. A entropia não é definida para problemas de regressão (ex: predição de profundidade).
  2. Para LLMs e VLMs, calcular a entropia em cada token gerado torna o processo extremamente caro e não escalável para sequências longas.

2. Metodologia: Null-Space Compression (NSC) Merging

Os autores propõem o NSC Merging, um método de fusão livre de rótulos (label-free) e agnóstico à saída, que utiliza a geometria estrutural dos adaptadores LoRA como sinal de otimização.

2.1. Observação Fundamental

Durante o ajuste fino com LoRA, a matriz de projeção descendente A (no desvio de peso $\Delta W = BA$) projeta as ativações de entrada em um subespaço de baixa dimensão.

• Os autores observam que, à medida que o treinamento avança, a razão do espaço nulo (null-space ratio) diminui.
• A razão do espaço nulo ($\omega$) mede a proporção da ativação de entrada que é "descartada" (projetada no espaço nulo) pela matriz $A$.
• Correlação: Existe uma forte correlação inversa entre a razão do espaço nulo e o desempenho da tarefa. Quanto menor a razão do espaço nulo (mais compressão), melhor o desempenho do modelo.

2.2. O Algoritmo NSC

O objetivo é aprender coeficientes de fusão ($\lambda$) que minimizem a razão do espaço nulo esperada sobre dados não rotulados.

1. Definição da Razão do Espaço Nulo:
   Para uma entrada $z$ e matriz $A_k$ de uma tarefa $k$:
   $$\omega_k(z) = \frac{\| \text{Proj}_{\mathcal{N}(A_k)}(z) \|^2}{\|z\|^2}$$
   Onde $\text{Proj}_{\mathcal{N}(A_k)}$ é a projeção ortogonal no espaço nulo de $A_k$.

2. Otimização:
   O método minimiza a média da razão do espaço nulo sobre um conjunto de validação não rotulado:
   $$\min_{\{\lambda_k\}} \frac{1}{K} \sum_{k=1}^{K} \mathbb{E}_{x \sim D_k} [\Omega_k(x; \Theta_{merge})]$$
   Onde $\Omega_k$ é a média da razão do espaço nulo nas camadas LoRA do modelo fundido.

3. Eficiência Computacional (Fast NSC):
   Para evitar o custo de construir matrizes de projeção completas ($d \times d$), os autores derivam uma fórmula baseada na inversa da Gramiana ($A A^\top$), que é uma matriz pequena ($r \times r$, onde $r$ é o rank do LoRA, tipicamente 16).
   $$\omega_k(z) = \sqrt{1 - \frac{z^\top A_k^\top (A_k A_k^\top)^{-1} A_k z}{\|z\|^2}}$$
   Isso reduz a complexidade de $O(d^2)$ para $O(r^2)$, tornando o método viável para modelos grandes.

4. Vantagens sobre Entropia:

   • Funciona para classificação e regressão.
   • O custo computacional é independente do comprimento da sequência gerada (não depende de logits de saída), sendo ideal para LLMs e VLMs com geração longa.

3. Contribuições Principais

1. Descoberta Teórica/Empírica: Demonstraram que o ajuste fino LoRA comprime sistematicamente o espaço nulo da matriz de projeção $A$, e que essa compressão é um indicador robusto de desempenho.
2. Novo Sinal de Otimização: Propuseram o NSC como um sinal de gradiente livre de rótulos que generaliza para tarefas heterogêneas (classificação + regressão) e domínios diversos.
3. Eficiência e Escalabilidade: Desenvolveram uma implementação eficiente baseada na inversa da Gramiana que permite a fusão em modelos grandes (LLMs/VLMs) sem o custo proibitivo de métodos baseados em entropia.
4. Validação Abrangente: Testaram o método em 20 tarefas de visão heterogêneas, 6 benchmarks de inferência de linguagem natural (NLI) e 6 tarefas de visão-linguagem (VLM).

4. Resultados Experimentais

O NSC superou consistentemente os baselines de última geração em cenários complexos:

• Visão Heterogênea (20 tarefas): Em conjuntos de dados como NYUD-v2, PASCAL-Context e Taskonomy (misturando segmentação, profundidade, normais, etc.), métodos sem gradiente colapsaram (ex: Task Arithmetic atingiu ~1-2% em segmentação). O NSC atingiu 92.0% de desempenho normalizado médio, mantendo equilíbrio entre todas as tarefas.
• LLMs (NLI): Em 6 benchmarks de inferência natural (MNLI, QNLI, etc.) com LLaMA-3-8B, o NSC alcançou 92.3% de acurácia normalizada, superando o AdaMerging (89.6%) e métodos sem gradiente.
• VLMs (Visão-Linguagem): Em tarefas como VQA e legendagem de imagens (LLaVA-1.5), o NSC superou o AdaMerging.
  • Nota Importante: O AdaMerging "Full Token" (que calcula entropia em todos os tokens) é ~7 vezes mais lento que o NSC. O NSC atingiu desempenho superior ou comparável ao AdaMerging "Full Token" com o custo computacional do "Single Token".
• Generalização: O NSC demonstrou forte capacidade de generalização para tarefas não vistas (unseen tasks), mantendo desempenho estável onde outros métodos oscilavam ou falhavam.

5. Significado e Impacto

Este trabalho é significativo por resolver um gargalo crítico na aplicação prática de modelos de base:

1. Viabilidade para Tarefas Mistas: Permite a criação de modelos únicos que lidam com tarefas de classificação e regressão simultaneamente, algo que métodos anteriores não conseguiam fazer sem degradação severa.
2. Escalabilidade para LLMs/VLMs: Oferece uma alternativa viável e eficiente para a fusão de modelos de linguagem e multimodais, onde métodos baseados em entropia se tornam computacionalmente inviáveis devido ao comprimento das sequências.
3. Eliminação da Dependência de Rótulos: Ao usar apenas a geometria dos pesos e dados não rotulados, o método é aplicável em cenários onde dados rotulados são escassos, proprietários ou restritos por licença.

Em resumo, o NSC Merging estabelece um novo estado da arte (SOTA) para fusão de modelos, oferecendo robustez, eficiência e generalização superior em cenários heterogêneos e de grande escala.