Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

Resumen Técnico: Desentrañando la interferencia de LoRA: Subespacios ortogonales para una fusión de modelos robusta

Planteamiento del problema
Si bien el ajuste fino (fine-tuning) de grandes modelos de lenguaje (LM) para tareas específicas ofrece un alto rendimiento, mantener modelos separados para cada tarea resulta costoso en términos de almacenamiento y despliegue. La fusión de modelos ofrece una solución al combinar múltiples modelos específicos de tareas en un único modelo multitarea sin entrenamiento adicional. Sin embargo, los métodos de fusión existentes suelen fallar cuando se aplican a modelos ajustados con Adaptación de Bajo Rango (LoRA), lo que resulta en una degradación significativa del rendimiento.

Los autores argumentan que esta degradación se debe a la interferencia de parámetros impulsada por la interacción entre los parámetros del modelo y las distribuciones de datos. Específicamente, al fusionar módulos LoRA (por ejemplo, $W_m = W_0 + B_1A_1 + B_2A_2$), el término de actualización de una tarea ($B_2A_2$) actúa como una "perturbación" no deseada sobre las características latentes de otra tarea ($h_1$), desplazando las salidas lejos de la respuesta prevista. Los enfoques previos libres de datos (data-free), que se centran únicamente en la ortogonalidad o alineación de los vectores de tarea, a menudo pasan por alto esta interacción crucial entre las características latentes y las actualizaciones de parámetros.

Metodología: OSRM
El artículo propone Subespacios Ortogonales para una fusión de modelos Robusta (OSRM), un método que restringe el subespacio de LoRA antes del ajuste fino para minimizar la interferencia con las distribuciones de datos de fuera de la tarea.

1. Objetivo central: El método busca reducir el término de interferencia $\|B_2A_2 h_1\|$ minimizando la norma de Frobenius $\|A_2 H_1^\top\|_F$, donde $H_1$ representa la matriz de características latentes de muestras de una tarea diferente ($T_1$).
2. Solución analítica: Para evitar soluciones triviales (por ejemplo, $A_2=0$) y mantener la capacidad de representación, los autores imponen una restricción de que $A_2$ debe tener filas ortonormales ($A_2 A_2^\top = I$). Bajo esta restricción, la inicialización óptima para $A_2$ se deriva analíticamente mediante la descomposición en autovalores de la matriz de covarianza de la muestra $S = \frac{1}{k-1}H^\top H$. Específicamente, $A_2$ se inicializa utilizando los autovectores correspondientes a los autovalores más pequeños de $S$. Esto coloca el subespacio de LoRA en direcciones donde los datos fuera de la tarea tienen una varianza mínima.
3. Extensiones prácticas:
   • Relajación durante el ajuste fino: Aunque la solución teórica sugiere congelar $A_2$, los autores encuentran que esto degrada la precisión de la tarea única; en su lugar, utilizan la solución analítica únicamente como inicialización para $A_2$, permitiendo que se actualice durante el ajuste fino. Los resultados empíricos muestran que la desviación del estado ortogonal inicial es marginal (aprox. 14%), preservando la validez del método.
   • Escalabilidad y privacidad: Para fusionar $N$ tareas, el método agrega las características latentes de todas las tareas excepto la tarea objetivo $T_t$. Para reducir el uso de memoria y abordar preocupaciones de privacidad, los autores proponen promediar las características latentes por muestra antes de la concatenación.
   • Aplicación post-hoc: El método puede extenderse a módulos LoRA existentes mediante la descomposición de los pesos aprendidos utilizando la base derivada de OSRM, aunque esto puede incurrir en cierta pérdida de rendimiento.

Contribuciones clave

• Identificación de la interacción dato-parámetro: El artículo destaca que la interferencia de parámetros en la fusión de LoRA no es solo una función de los conflictos de pesos, sino que está profundamente ligada a cómo los parámetros interactúan con distribuciones de datos específicas.
• Restricción previa al ajuste fino: A diferencia de trabajos previos que operan durante o después de la fusión, OSRM interviene antes del ajuste fino al inicializar el subespacio de LoRA para que sea ortogonal a las distribuciones de datos irrelevantes.
• Integración Plug-and-Play: El enfoque está diseñado para integrarse sin problemas con algoritmos de fusión existentes (por ejemplo, Task Arithmetic, Fisher Merging, TIES, RegMean, EMR) sin requerir cambios en la lógica de fusión.
• Robustez: El método demuestra una menor sensibilidad a hiperparámetros como coeficientes de escala, tamaños de muestra y número de tareas.

Resultados experimentales
Los autores evaluaron OSRM en ocho conjuntos de datos del benchmark GLUE utilizando tres LM ampliamente usados (RoBERTa-large, T5-large, Llama3.2-1B) y dos LM más grandes (Llama3.2-3B, Llama3-8B).

• Ganancias de rendimiento: OSRM superó consistentemente a las líneas base de fusión existentes en todos los modelos y técnicas de fusión probadas.
  • En RoBERTa-large, OSRO mejoró significativamente el rendimiento promedio sobre las líneas base (por ejemplo, +13% en CoLA para Task Arithmetic, +21% en MNLI para Fisher Merging).
  • En T5-large, superó sustancialmente a las líneas base en RegMean (+3.76% promedio) y Fisher (+7.9% promedio).
  • En Llama3.2-1B y 3B, OSRM superó a las líneas base en TA, RegMean, TIES y EMR, con mejoras por tarea de hasta un 12.78%.
• Preservación de la tarea única: El método impacta mínimamente la precisión de la tarea única (brecha promedio <1%) y a menudo supera el rendimiento de la línea base de la tarea única.
• Robustez:
  • Coeficiente de escala: OSRM mantuvo un rendimiento superior a través de un amplio rango de coeficientes de escala ($\lambda \in [0.1, 1.3]$), mientras que las líneas base fueron más sensibles.
  • Tamaño de muestra: El método funcionó bien con tan solo 100 muestras para la inicialización.
  • Conteo de tareas: Las ventajas de rendimiento se hicieron más pronunciadas a medida que aumentaba el número de tareas fusionadas ($N > 5$).

Significado y afirmaciones
El artículo afirma que OSRM ofrece una estrategia generalizable para combinar modelos LoRA de manera más efectiva al abordar explícitamente la interacción entre los datos y los parámetros. Los autores enfatizan que su enfoque proporciona una solución plug-and-play que mejora el rendimiento de la fusión mientras preserva la precisión de la tarea única. Argumentan que considerar las interacciones dato-parámetro es crítico para una fusión de modelos robusta, yendo más allá de las estrategias puramente libres de datos que se centran solo en la alineación de pesos. Los resultados sugieren que restringir el subespacio de LoRA antes del ajuste fino es un paso vital para mitigar los desplazamientos de salida no deseados que actualmente afectan la fusión de modelos LoRA.