Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy

1. El Problema: Fusión de LoRA Ineficiente

La adaptación de bajo rango (LoRA) es el estándar para afinar modelos fundacionales grandes (LLMs y VLMs) de manera eficiente. Sin embargo, cuando se desea crear un modelo generalista capaz de realizar múltiples tareas, surge el desafío de fusionar (merge) múltiples adaptadores LoRA específicos de tareas en un solo modelo.

Los métodos de fusión actuales (como Task Arithmetic o TIES-Merging) enfrentan dos problemas fundamentales que degradan el rendimiento:

1. Pérdida de Cobertura del Subespacio (Subspace Coverage): Cuando se fusionan adaptadores LoRA, las direcciones de actualización de diferentes tareas a menudo colisionan o se cancelan mutuamente. Esto provoca que el modelo fusionado "colapse" en un subespacio de menor dimensión, perdiendo información representativa crítica de tareas específicas. Los métodos actuales a menudo ignoran la estructura de bajo rango interna de LoRA, tratando los adaptadores como actualizaciones completas, lo que reduce la diversidad direccional.
2. Anisotropía Direccional (Directional Anisotropy): Incluso si se preserva la cobertura, la sensibilidad de la pérdida de la tarea hacia las diferentes direcciones de LoRA no es uniforme. Algunas direcciones tienen un impacto desproporcionado en el rendimiento de ciertas tareas, mientras que otras son débiles. Si la fusión no tiene en cuenta este desequilibrio (anisotropía), puede sobrepriorizar direcciones irrelevantes y subestimar las críticas, distorsionando las compensaciones (trade-offs) entre tareas.

Además, los métodos existentes rara vez permiten alinear la fusión con preferencias de usuario específicas (ej. priorizar la tarea A sobre la B) de manera robusta.

2. Metodología: TARA-Merging

Los autores proponen TARA (Task-Rank Anisotropy Alignment), un marco de fusión estructurado que aborda simultáneamente la cobertura del subespacio y la anisotropía.

Conceptos Clave

• Cobertura del Subespacio: Se mide utilizando el rango efectivo (effective rank) basado en la entropía de los valores singulares. El objetivo es mantener que las direcciones de LoRA de todas las tareas sigan ocupando un subespacio amplio y de baja redundancia tras la fusión.
• Anisotropía: Se analiza mediante la sensibilidad de la pérdida de la tarea hacia las direcciones de LoRA. Se observa que la sensibilidad varía drásticamente según la preferencia de la tarea, lo que requiere un re-ajuste direccional.

El Algoritmo TARA

El método optimiza los pesos de fusión ($\phi$) para alinear el modelo fusionado con las preferencias del usuario ($\rho$), minimizando una función de pérdida pseudo basada en la entropía de predicción. Se presentan dos variantes:

1. Variante A (Selección de Dirección por Rango):

   • Re-pesa individualmente cada factor de rango-1 ($b_{ij}a_{ij}^\top$) dentro de cada adaptador.
   • Se centra en el control de la anisotropía dentro de cada adaptador.
   • Es computacionalmente más eficiente al evitar la descomposición SVD global.

2. Variante B (Selección de Dirección Singular Compartida):

   • Construye una base ortonormal compartida entre todas las tareas mediante una descomposición SVD de la matriz concatenada de todos los adaptadores.
   • Preserva la cobertura del subespacio al mantener las direcciones principales comunes y asigna pesos a las componentes singulares.
   • Generalmente logra un mayor rendimiento a costa de un costo computacional adicional (SVD).

Función de Objetivo

Utilizan una Escalarización Suave de Tchebycheff (Smooth Tchebycheff Scalarization) con un término de entropía. Esto permite optimizar los pesos de fusión para cumplir con las preferencias del usuario ($\rho$) mientras se minimiza la pérdida de información en tareas no prioritarias, evitando el colapso de subespacios útiles.

3. Contribuciones Clave

1. Identificación de Propiedades Críticas: El trabajo establece formalmente que la cobertura del subespacio y la anisotropía direccional son las dos propiedades fundamentales que deben gestionarse para una fusión de LoRA exitosa, algo que los métodos anteriores ignoraban.
2. Marco TARA: Introducción de un marco que alinea las preferencias de tareas y rangos, preservando los subespacios relevantes de LoRA y mitigando los desequilibrios causados por la anisotropía mediante re-pesaje direccional.
3. Validación Empírica Exhaustiva: Demostración de que TARA supera consistentemente a los métodos de fusión "vanilla" (como Task Arithmetic, TIES) y a los métodos conscientes de LoRA (como KnOTS, LoRA-LEGO, AdaMerging) en una amplia gama de benchmarks.

4. Resultados Experimentales

Los autores evaluaron TARA en 8 benchmarks de visión (usando CLIP ViT-B/32) y 6 tareas de Inferencia de Lenguaje Natural (NLI) (usando LLaMA-3 8B).

• Rendimiento por Tarea: TARA (especialmente la Variante B) logró la mayor precisión normalizada en promedio.
  • En visión: Alcanzó un promedio del 76.3% (frente al ~64-73% de los baselines).
  • En NLI: Alcanzó un promedio del 80.3% (superando significativamente a AdaMerging y otros).
• Evaluación Conjunta (Joint-Task): En escenarios donde el modelo debe operar simultáneamente sobre la unión de todos los conjuntos de datos (un espacio de etiquetas unificado), TARA superó a todos los baselines en métricas Hits@1, Hits@3 y Hits@5, demostrando una mejor capacidad de generalización como modelo de propósito general.
• Generalización a Tareas No Vistas: TARA mostró una mayor robustez al generalizar a tareas para las cuales no se había realizado el ajuste fino (fine-tuning) durante la fusión, superando a los métodos de línea base.
• Análisis de Preferencias: TARA genera curvas de compensación (trade-off) más suaves y estables al variar las preferencias de las tareas, mostrando menor sensibilidad a perturbaciones en los vectores de preferencia en comparación con AdaMerging.
• Eficiencia: Aunque la Variante B requiere un paso de SVD, el costo de memoria y tiempo es manejable incluso en modelos fundacionales, y no requiere una búsqueda exhaustiva de hiperparámetros como los métodos sin gradiente.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de la fusión de modelos:

• De la fusión lineal simple a la fusión estructurada: Demuestra que tratar los adaptadores LoRA como vectores simples es insuficiente; es necesario respetar su estructura de bajo rango y la sensibilidad direccional.
• Robustez en Modelos de Propósito General: Proporciona una ruta viable para construir modelos "generalistas" a partir de múltiples expertos especializados sin necesidad de un entrenamiento multi-tarea costoso, manteniendo la fidelidad de las tareas individuales.
• Control de Preferencias: Ofrece un mecanismo robusto para que los usuarios controlen el comportamiento del modelo fusionado según sus necesidades específicas, algo crucial para aplicaciones del mundo real donde el equilibrio entre tareas varía.

En resumen, TARA establece un nuevo estado del arte en la fusión de LoRA al demostrar que preservar la diversidad del subespacio y corregir los desequilibrios de sensibilidad direccional son esenciales para crear modelos fusionados robustos, precisos y generalizables.