Label-Free Cross-Task LoRA Merging with Null-Space Compression

1. El Problema

En la era de los modelos fundacionales (LLMs, VLMs, ViTs), el ajuste fino completo es computacionalmente costoso. Por ello, se ha adoptado masivamente LoRA (Low-Rank Adaptation), que entrena solo pequeños adaptadores de bajo rango. Sin embargo, surge un desafío crítico: cómo combinar múltiples adaptadores LoRA entrenados independientemente en diferentes tareas para crear un único modelo capaz de manejar múltiples dominios sin necesidad de volver a entrenar con datos etiquetados (fusión de modelos).

Los métodos existentes presentan limitaciones significativas:

• Enfoques basados en entropía (ej. AdaMerging): Funcionan bien en tareas de clasificación donde se puede minimizar la entropía de la salida. Sin embargo, fallan en tareas de regresión (como estimación de profundidad) donde no hay distribución de clases, y son computacionalmente prohibitivos en modelos grandes (LLMs/VLMs) porque el costo escala con la longitud de la secuencia generada (necesitan calcular entropía en cada token).
• Enfoques sin gradiente (ej. Task Arithmetic, TIES): A menudo sufren de colapso de rendimiento cuando se mezclan tareas heterogéneas (clasificación + regresión) o dominios dispares, ya que no tienen una señal de optimización adaptativa.

2. Metodología: Compresión del Espacio Nulo (NSC)

Los autores proponen NSC Merging, un método de fusión libre de etiquetas y agnóstico a la salida que utiliza la geometría interna de los adaptadores LoRA como señal de optimización.

Observación Clave

Durante el ajuste fino con LoRA, la matriz de proyección hacia abajo $A$ (en la descomposición $\Delta W = BA$) define un subespacio de baja dimensión. Los autores observan que:

1. A medida que el modelo se entrena y mejora su rendimiento, la proporción de activaciones que caen en el espacio nulo de $A$ disminuye.
2. Existe una correlación inversa fuerte: un menor "ratio de espacio nulo" (menos información descartada por la proyección) se asocia con un mejor rendimiento en la tarea.

El Algoritmo

En lugar de usar la salida del modelo (logits) para calcular una pérdida, NSC utiliza la estructura de los pesos LoRA:

1. Definición del Ratio de Espacio Nulo ($\omega$): Para una entrada $z$, se calcula la proporción de la activación que es proyectada al espacio nulo de la matriz $A$.
   $$\omega(z) = \frac{\| \text{Proj}_{\mathcal{N}}(A)(z) \|^2}{\|z\|^2}$$
2. Objetivo de Optimización: El método busca encontrar los coeficientes de fusión ($\lambda_k$) que minimicen el ratio de espacio nulo esperado sobre un conjunto de datos no etiquetados.
   $$\min_{\{\lambda_k\}} \sum_k \mathbb{E}_x [\Omega_k(x; \Theta_{merge})]$$
   Donde $\Omega_k$ es el promedio del ratio de espacio nulo en las capas LoRA.
3. Eficiencia Computacional (Fast NSC): Para evitar calcular proyecciones costosas, los autores derivan una fórmula que utiliza la inversa de la matriz Gram $(AA^T)^{-1}$. Dado que el rango de LoRA ($r$) es muy pequeño (ej. 16) comparado con la dimensión del modelo ($d$), esto reduce la complejidad de $O(d^2)$ a $O(r^2)$, haciendo el método escalable.
4. Independencia de la Salida: A diferencia de la entropía, NSC solo necesita las entradas iniciales (prompts o tokens de imagen) para calcular el gradiente, sin importar la longitud de la secuencia generada.

3. Contribuciones Clave

1. Nueva Observación Teórica: Demostraron que la compresión del espacio nulo en la matriz $A$ de LoRA es un indicador robusto del aprendizaje y rendimiento, válido tanto para clasificación como para regresión.
2. Método NSC Merging: Introdujeron un algoritmo de fusión basado en gradientes que es:
   • Libre de etiquetas: No requiere datos etiquetados.
   • Universal: Funciona en clasificación, regresión y generación de secuencias.
   • Escalable: Su costo es independiente de la longitud de la secuencia generada, a diferencia de los métodos basados en entropía.
3. Validación Exhaustiva: Demostraron superioridad en 20 tareas de visión heterogéneas, 6 benchmarks de inferencia de lenguaje natural (NLI) y 6 tareas de modelos de visión-lenguaje (VLM).

4. Resultados Experimentales

El método fue evaluado frente a baselines de vanguardia (Task Arithmetic, TIES, DARE, AdaMerging, KnOTS, LoRA-LEGO, etc.) en tres escenarios principales:

• Visión Heterogénea (20 tareas): En conjuntos de datos como NYUD-v2, PASCAL-Context y Taskonomy (mezcla de segmentación, profundidad, normales, bordes), NSC logró un promedio normalizado del 92.0%, superando significativamente a los métodos sin gradiente (que colapsaron en tareas de regresión) y a los basados en entropía. NSC mantuvo un rendimiento equilibrado sin sobreajustarse a un subconjunto de tareas.
• Modelos de Lenguaje (LLMs - NLI): En 6 benchmarks de inferencia natural (MNLI, SNLI, etc.) con LLaMA-3-8B, NSC alcanzó el 92.3% de precisión normalizada, superando a AdaMerging y a los métodos sin gradiente.
• Modelos de Visión-Lenguaje (VLMs - VQA/Captioning): En tareas con LLaVA-1.5, NSC superó a AdaMerging.
  • Ventaja crítica: Mientras que AdaMerging (versión "Full Token") requiere calcular la entropía en cada token generado (haciéndolo 7 veces más lento en secuencias largas), NSC obtiene resultados superiores o comparables con el costo computacional de un solo token, ya que su señal proviene de la geometría de entrada.
• Generalización: En pruebas de tareas "vistas" vs. "no vistas", NSC demostró una capacidad de transferencia robusta, manteniendo un 87.1% en tareas no vistas, superando a todos los baselines.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Rompe la barrera de la regresión: Proporciona la primera solución escalable y efectiva para fusionar adaptadores LoRA en tareas de regresión y generación, donde los métodos basados en entropía fallan.
• Eficiencia en Modelos Grandes: Hace viable la fusión de modelos en LLMs y VLMs de gran escala, eliminando el cuello de botella computacional asociado con el cálculo de entropía en secuencias largas.
• Robustez en Escenarios Heterogéneos: Permite crear un "modelo maestro" que combina expertos en tareas dispares (ej. un modelo que hace segmentación, predicción de profundidad y clasificación) sin degradar el rendimiento en ninguna de ellas.
• Enfoque Geométrico: Cambia el paradigma de buscar señales en la salida del modelo (logits) a utilizar la estructura interna de los adaptadores (geometría del espacio nulo) como señal de optimización, lo cual es más fundamental y generalizable.

En resumen, NSC Merging establece un nuevo estado del arte en la fusión de modelos, ofreciendo una solución práctica, eficiente y de alto rendimiento para integrar múltiples capacidades en modelos fundacionales sin necesidad de reentrenamiento costoso o datos etiquetados.