Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

Resumen Técnico: ¿Qué LoRA? Un estudio empírico sobre la efectividad de las técnicas LoRA durante el ajuste de instrucciones multilingüe

Planteamiento del problema
La Adaptación de Bajo Rango (LoRA) es una técnica líder de ajuste fino eficiente en parámetros (PEFT) que congela los parámetros originales del Modelo de Lenguaje Grande (LLM) mientras entrena pequeñas matrices de bajo rango. Aunque se han introducido numerosas variantes novedosas de LoRA (por ejemplo, DoRA, VeRA, AdaLoRA, PiSSA) para mejorar el rendimiento en tareas en inglés, su eficacia en el ajuste de instrucciones multilingüe sigue siendo poco explorada. Específicamente, no está claro si estas novedades arquitectónicas ofrecen ventajas sobre el LoRA básico al equilibrar la transferencia translingüística (adaptar el conocimiento del inglés a nuevos idiomas) y la retención de conocimiento (preservar las capacidades en inglés). Además, la investigación existente sobre LoRA en entornos translingüísticos se ha centrado principalmente en el LoRA básico o en la adaptación de lenguas de bajos recursos, sin comparar exhaustivamente estas variantes ni analizar su impacto en las representaciones lingüísticas internas.

Metodología
Los autores realizaron una evaluación empírica comparando el LoRA básico contra cuatro variantes avanzadas:

1. DoRA (Adaptación de Bajo Rango con Descomposición de Pesos)
2. VeRA (Adaptación de Matriz Aleatoria Basada en Vectores)
3. AdaLoRA (Adaptación de Bajo Rango Adaptativa)
4. PiSSA (Adaptación de Valores Singulares Principales y Vectores Singulares)

• Conjuntos de datos y lenguas: Los experimentos utilizaron el conjunto de datos XNLI (Inferencia de Lenguaje Natural) y TyDiQA-GoldP (Pregunta-Respuesta). El estudio se centró en cinco lenguas objetivo (TL) lingüísticamente diversas y de bajos recursos: urdu (Ur), suajili (Sw), hindi (Hi), bengalí (Bn) y telugu (Te).
• Diseño experimental:
  • Mezcla de datos: El LLM fue ajustado mediante una mezcla de datos en inglés y en las TL; los autores evaluaron proporciones de TL del 0%, 1%, 10% y 50% para determinar la composición óptima de los datos.
  • Control de parámetros: Para garantizar una comparación justa, la mayoría de las configuraciones se estandarizaron a un rango ($r$) de 8 y un presupuesto de parámetros de aproximadamente el 0.26%. Se creó una configuración DoRA modificada (DoRA*) para igualar este presupuesto, ya que el DoRA estándar suele alcanzar su punto máximo en $r=16$ (0.36% de parámetros).
  • Modelos: Los experimentos principales utilizaron Llama-3.1-8B. La generalizabilidad se probó en Llama-3.2-3B y Qwen3-8B.
  • Análisis: Más allá de las métricas de rendimiento (F1 Micro), el estudio incluyó un análisis de incrustaciones ocultas por capa utilizando CLD3 para clasificar la representación del lenguaje dentro de las capas internas del modelo.

Resultos clave

1. Equivalencia de rendimiento: En diversas lenguas objetivo y arquitecturas de modelos, no se encontró una ventaja significativa de las variantes complejas de LoRA sobre el LoRA básico. Una prueba ANOVA sobre el rendimiento de las lenguas objetivo no arrojó diferencias estadísticamente significativas ($p = 0.89$) entre las variantes.
2. Jerarquía del rendimiento en inglés: Aunque el rendimiento en las lenguas objetivo fue similar, el rendimiento en inglés mostró diferencias significativas. El LoRA básico, DoRA, DoRA* y AdaLoRA funcionaron de manera similar y significativamente mejor que PiSSA y VeRA. Los autores atribuyen el bajo rendimiento de VeRA a sus matrices globales compartidas, que pueden restringir las actualizaciones a un único subespacio, dificultando la preservación del conocimiento.
   3.Sensibilidad de la mezcla de datos: Introducir incluso una pequeña proporción (1%) de datos en la TL mejoró significativamente el rendimiento de la lengua objetivo con una degradación mínima del rendimiento en inglés. Aumentar la proporción de TL al 10% o 50% resultó generalmente en una degradación del rendimiento para ambos idiomas.
3. Sensibilidad del rango: El rendimiento de la lengua objetivo fue altamente sensible al escalado del rango. Aunque el Rango 8 fue el estándar, el Rango 32 produjo el pico de rendimiento en TL en casi todas las variantes, mientras que el Rango 16 mostró frecuentemente degradación.
4. Eficiencia computacional: Ninguna variante dominó todos los parámetros de eficiencia. El LoRA básico y AdaLoRA demostraron perfiles de eficiencia favorables, mientras que DoRA y DoRA* fueron menos eficientes en la mayoría de las métricas (tiempo de entrenamiento, utilización de GPU, memoria).
5. Representaciones internas: El análisis por capas reveló que los patrones de representación del lenguaje (transición desde las capas iniciales hacia capas medias dominantes en inglés, y luego el declive de la dominancia en las capas externas) se mantuvieron en gran medida similares en todas las técnicas LoRA. Esto sugiere que las modificaciones arquitectónicas en estas variantes no alteran fundamentalmente la representación lingüística interna del LLM.

Significación y afirmaciones
El artículo sostiene que, para el ajuste de instrucciones multilingüe, la novedad arquitectónica no se traduce necesariamente en ganancias de rendimiento. El estudio desafía la suposición de que las variantes de LoRA más complejas son superiores para la adaptación translingüística. Las conclusiones clave son:

• La simplicidad es suficiente: El LoRA básico es suficiente para equilibrar la transferencia translingüística y la retención de conocimiento, ofreciendo una alternativa más eficiente computacionalmente que las variantes complejas.
• Aplicación de capas: Contrario a algunos hallazgos de preentrenamiento, los autores encuentran que en el ajuste de instrucciones, LoRA debe aplicarse a todas las capas en lugar de solo a las capas finales.
• Estabilidad de la representación: La falta de cambios significativos en las incrustaciones ocultas entre las variantes sugiere que la "caja negra" de la adaptación de los LLM permanece estable independientemente de la variante específica de LoRA utilizada, lo que implica que los beneficios de estas variantes pueden ser específicos de la tarea y no universales para entornos multilingües.

Los autores concluyen que su trabajo proporciona una investigación más amplia sobre el aprendizaje de lenguas en los LLM en comparación con estudios previos, cubriendo un rango más amplio de lenguas, arquitecturas de modelos y análisis de representaciones internas, sugiriendo finalmente que los investigadores deberían reconsiderar la necesidad de variantes de LoRA complejas para tareas de ajuste de instrucciones multilingües.