💬 NLP

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning

Este artículo introduce la Adaptación de Actualización Máxima ( $\mu$ A), un marco teórico que define cómo las tasas de aprendizaje óptimas escalan con el rango de LoRA y la inicialización, permitiendo a los profesionales transferir las tasas de aprendizaje ajustadas desde experimentos eficientes de LoRA hacia el ajuste fino completo a través de diversas tareas.

Autores originales: Nan Chen, Soledad Villar, Soufiane Hayou

Publicado 2026-02-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nan Chen, Soledad Villar, Soufiane Hayou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un chef masivo e increíblemente talentoso (un modelo de IA grande) que ya ha aprendido a cocinar miles de platos. Ahora, quieres enseñarle una receta nueva muy específica, como "cómo hacer el sushi perfecto".

Tienes dos formas de hacerlo:

Ajuste Fino Completo (Full Finetuning - FFT): Le entregas al chef un cuaderno en blanco y le dices que reescriba todo su libro de cocina desde cero, manteniendo solo las partes de sushi. Es poderoso pero requiere una cocina enorme, mucho tiempo y un presupuesto masivo.
LoRA (Low-Rank Adaptation): En lugar de reescribir todo el libro, le das al chef un pequeño bloc de notas adhesivas (el "adaptador") para pegar sobre las páginas existentes. Solo escribes las nuevas instrucciones del sushi en estas notas. Es barato, rápido y utiliza muy poca memoria.

El problema es que los bloc de notas tienen diferentes tamaños (llamados Ranks o Rangos). A veces usas una nota diminuta de 4x4 pulgadas; otras veces, una nota gigante de 1024x1024 pulgadas. El papel hace una pregunta simple pero truculenta: Si cambias el tamaño del bloc de notas, ¿necesitas cambiar la velocidad con la que el chef escribe?

En el mundo de la IA, "qué tan rápido escribe el chef" es la Tasa de Aprendizaje (Learning Rate). Si escribes demasiado rápido, las notas se vuelven desordenadas y el chef se confunde (el entrenamiento falla). Si escribes demasiado lento, no se hace nada.

El Gran Descubrimiento: "La Regla de Oro de los Bloc de Notas"

Los autores de este artículo se dieron cuenta de que, durante años, la gente tuvo que adivinar la velocidad de escritura correcta cada vez que cambiaban el tamaño del bloc de notas. Si pasaban de una nota pequeña a una grande, a menudo tenían que empezar de nuevo y volver a adivinar la velocidad.

Desarrollaron una nueva teoría llamada Adaptación de Actualización Máxima (µA). Piensa en esto como un "Manual de Instrucciones Universal" que te dice exactamente cómo configurar la velocidad de escritura basándose en el tamaño de la nota y en cómo empezaste a escribir.

Descubrieron que hay dos escenarios principales (o regímenes) dependiendo de cómo configures tus notas adhesivas:

Escenario la Regla de la "Velocidad que se Encoge"

Cómo funciona: Empiezas escribiendo las notas aleatoriamente en un lado, dejando el otro lado en blanco.
El Problema: Si haces el bloc de notas más grande (aumentas el Rango), debes ralentizar significamente tu velocidad de escritura.
La Analogía: Imagina que estás pintando una pared. Si usas un pincel diminuto (rango pequeño), puedes pintar rápidamente. Si cambias a un rodillo gigante (rango grande), tienes que moverte mucho más lento, o salpicarás pintura por todas partes.
El Resultado: Cada vez que duplicas el tamaño de la nota, tienes que reducir tu velocidad a la mitad. Esto hace que el ajuste sea molesto porque tienes que recalcular la velocidad cada vez que cambias el tamaño de la nota.

Escenario 2: La Regla de la "Constante Mágica" (El Gran Avance)

Cómo funciona: Empiezas escribiendo las notas en el otro lado (un método de inicialización diferente) y utilizas un factor de escala específico.
El Descubrimiento: En esta configuración, la velocidad de escritura no cambia sin importar qué tan grande sea el bloc de notas. Ya sea que uses una nota diminuta de 4x4 o una gigante de 1024x1024, la velocidad perfecta es exactamente la misma.
La Analogía: Es como tener un bolígrafo que se autoajusta. No importa qué tan grande sea el papel, el bolígrafo encuentra automáticamente el flujo perfecto. No necesitas adivinar; la velocidad es "invariante al rango".

El Superpoder: Transferir la Velocidad de las Notas a Todo el Libro

La parte más emocionante del artículo es lo que sucede con el Escenario 2.

Los autores descubrieron que la velocidad de la "Constante Mágica" para los pequeños bloc de notas (LoRA) es exactamente la misma que la velocidad perfecta para reescribir todo el libro de cocina (Full Finetuning).

¿Por qué es esto importante?
Normalmente, ajustar un Ajuste Fino Completo (reescribir todo el libro) es costoso y lento porque necesitas una computadora masiva para hacerlo.

Forma Antigua: Intentas ajustar la velocidad en la computadora grande, fallas, lo intentas de nuevo y desperdicias dinero.
Nueva Forma (µA): Usas una computadora pequeña y barata para ajustar la velocidad en los diminutos bloc de notas (LoRA). Una vez que encuentras la velocidad perfecta allí, puedes copiar y pegar esa misma velocidad al trabajo de Ajuste Fino Completo (Full Finetuning) masivo y costoso, y funcionará perfectamente.

Resumen de las Afirmaciones del Artículo

LoRA es complicado: Cambiar el tamaño del adaptador (Rango) suele romper tus configuraciones de velocidad de aprendizaje, obligándote a reajustarlo todo.
Existe una solución: Al elegir la forma correcta de empezar (Inicialización) y escalar las notas, puedes encontrar un "punto ideal" donde la velocidad de aprendizaje se mantiene igual independientemente del tamaño del adaptador.
La Transferencia: Esta configuración específica te permite encontrar la velocidad de aprendizaje perfecta en un experimento pequeño y barato de LoRA y aplicarla inmediatamente a un proyecto masivo y costoso de Full Finetuning sin necesidad de reajustar.
La Prueba: Probaron esto en muchos tipos diferentes de tareas de IA (escritura, visión de imágenes, resolución de problemas matemáticos y generación de arte) y descubrieron que su "Manual de Instrucciones Universal" funcionaba siempre.

En resumen, el artículo nos ofrece un mapa confiable para navegar por el confuso mundo del ajuste de IA, ahorrando tiempo y dinero al permitirnos realizar pruebas en modelos pequeños y aplicarlas con confianza a modelos gigantes.

Resumen Técnico: Escalamiento de la Tasa de Aprendizaje a través de los Rangos de LoRA y Transferencia al Ajuste Fino Completo (Full Finetuning)

Planteamiento del Problema

La Adaptación de Bajo Rango (LoRA) es un método estándar para el ajuste fino de parámetros eficientes (PEFT) de modelos grandes, añadiendo una factorización de bajo rango $\alpha BA$ a los pesos preentrenados congelados. Sin embargo, la dinámica de entrenamiento de LoRA es altamente sensible a las interacciones de hiperparámetros, específicamente al esquema de inicialización (qué factor es aleatorizado frente a cuál es puesto en cero), el multiplicador de escalamiento dependiente del rango $\alpha$ , y la tasa de aprendizaje $\eta$ .

Los profesionales se enfrentan a un desafío significativo: la tasa de aprendizaje óptima no es invariante a los cambios en el rango del LoRA $r$ . Cambiar el rango o alternar entre decisiones de diseño estándar (por ejemplo, $Init[A]$ frente a $Init[B] $, o$ \alpha=1$ frente a $\alpha=r^{-1}$ ) a menudo vuelve subóptima una tasa de aprendizaje previamente óptima, lo que requiere un nuevo y costoso ajuste de parámetros. Además, sigue sin estar claro cómo transferir las tasas de aprendizaje de las configuraciones de LoRA al Ajuste Fino Completo (FFT), un proceso que es computacionalmente costoso. La pregunta central abordada es: ¿Cómo depende la tasa de aprendizaje óptima $\eta$ del rango del adaptador $r$ y del ancho del modelo $n$ bajo diferentes configuraciones de LoRA?

Metodología

Los autores introducen la Adaptación de Actualización Máxima ( $\mu A$ ), un marco teórico inspirado en la Parametrización de Actualización Máxima ( $\mu P$ ) utilizada en el preentrenamiento. El análisis se realiza en el límite conjunto donde tanto el ancho del modelo $n$ como el rango de LoRA $r$ tienden al infinito ( $n, r \to \infty$ ).

Marco Teórico

Estabilidad y Actualizaciones No Nulas: El marco define la "aprendizaje de características estable" como un régimen donde las actualizaciones de las características permanecen acotadas ( $O(1)$ ) para evitar la explosión, pero son no nulas ( $\Theta(1)$ ) para asegurar que el aprendizaje no se estanque.
Descomposición de Actualizaciones: La actualización de la característica $\Delta Z_B$ se descompone en tres términos ( $\delta_1, \delta_2, \delta_3$ ) que representan actualizaciones lineales de un factor mientras el otro permanece fijo, y actualizaciones multiplicativas de ambos. La teoría analiza el escalamiento asintótico de estos términos bajo diferentes esquemas de inicialización.
Supuestos: El análisis asume señales de propagación hacia adelante y hacia atrás acotadas y utiliza una abstracción de optimizador SignSGD (un proxy tratable para Adam) para derivar reglas de escalamiento de forma cerrada.
Esquemas de Inicialización:
- Init[A]: $A$ se inicializa aleatoriamente ( $A \sim \mathcal{N}(0, 1/n)$ ), $B=0$ .
- Init[B]: $B$ se inicializa aleatoriamente ( $B \sim \mathcal{N}(0, 1/r)$ ), $A=0$ .
Multiplicadores de Escalamiento: El estudio examina elecciones comunes para el multiplicador $\alpha$ , incluyendo valores constantes ( $\alpha=1$ ) y valores dependientes del rango ( $\alpha=r^{-1}$ ).

Derivación de Reglas de Escalamiento

Al imponer la condición $\Delta Z_B = \Theta(1)$ , los autores derivan prescripciones explícitas de escalamiento para $\eta$ como una función de $n$ y $r$ :

Para Init[A]: La tasa de aprendizaje óptima depende tanto de $n$ como de $r$ . Específicamente, si $\alpha=1$ , $\eta \propto n^{-1/2}r^{-1/2}$ . Si $\alpha=r^{-1}$ , $\eta \propto n^{-1/2}$ (invariante al rango).
Para Init[B]: Con $\alpha=1$ , la tasa de aprendizaje óptima escala como $\eta \propto n^{-1}$ y es independiente del rango $r$ . Crucialmente, este escalamiento coincide con el requisito teórico para el Ajuste Fino Completo de una capa lineal bajo los mismos supuestos.

Contribuciones Clave

Marco $\mu A$ : Introducción de un marco teórico que caracteriza la dinámica de ajuste fino de LoRA en el límite conjunto $n, r \to \infty$ , definiendo condiciones para la adaptación máxima (estable).
Identificación de Dos Regímenes:
- Régimen Dependiente del Rango: Bajo $Init[A]$ con $\alpha$ constante, la tasa de aprendizaje óptima escala inversamente con el rango (por ejemplo, $\eta \propto r^{-1/2}$ ).
- Régimen Invariante al Rango: Bajo $Init[B]$ con $\alpha=1$ , la tasa de aprendizaje óptima es invariante a los cambios de rango.
Transferencia de LoRA a FFT: Identificación de una configuración específica ($Init[B]$ con $\alpha=1$ ) donde el escalamiento de la tasa de aprendizaje ( $\eta \propto n^{-1}$ ) coincide con el del Ajuste Fino Completo, proporcionando una condición necesaria para transferir tasas de aprendizaje de configuraciones de LoRA a FFT sin reajuste.
Validación Empírica: Extensos experimentos a través de diversas tareas (lenguaje, visión, visión-lenguaje, generación de imágenes, aprendizaje por refuerzo) y arquitecturas (Llama, Qмwen, RoBERTa, ViT, Stable Diffusion) validando las reglas de escalamiento derivadas.

Resultados

Los resultados experimentales se alinean consistentemente con las predicciones teóricas:

Init[A] con $\alpha=1$ : A medida que el rango $r$ aumenta, la tasa de aprendizaje óptima disminuye. Para un aumento de $4\times$ en el rango, la tasa de aprendizaje óptima disminuye aproximadamente un $2\times$ (consistente con $\eta \propto r^{-1/2}$ ).
Init[A] con $\alpha=r^{-1}$ : La tasa de aprendizaje óptima es aproximadamente invariante al rango, aunque el rango estable es estrecho.
Init[B] con $\alpha=1$ : La tasa de aprendizaje óptima es invariante al rango y se alinea estrechamente con la tasa de aprendizaje óptima para el Ajuste Fino Completo en la mayoría de los modelos.
Transferibilidad: Las tasas de aprendizaje ajustadas en LoRA utilizando la configuración $Init[B], \alpha=1$ se transfieren de manera confiable al Ajuste Fino Completo, reduciendo drásticamente el costo de la búsqueda de hiperparámetros para FFT.
Sensibilidad de RLVR: En el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), las tasas de aprendizaje subóptimas no solo degradan el rendimiento, sino que aumentan significativamente el tiempo de entrenamiento (por 2 a 4 veces) debido a que los modelos se quedan estancados en fases de exploración. Las reglas de $\mu A$ ayudan a identificar regiones estables para evitar esto.

Significancia y Reclamaciones

El artículo afirma proporcionar un enfoque basado en principios para la selección de la tasa de aprendizaje en LoRA, yendo más allá de las reglas heurísticas. Al caracterizar el límite conjunto de ancho y rango, los autores explican por qué ciertas configuraciones requieren tasas de aprendizaje dependientes del rango mientras otras no.

La principal significancia reside en la transferibilidad de los hiperparámetros. Los autores demuestran que, al seleccionar la inicialización correcta ($Init[B]$) y el escalamiento adecuado ( $\alpha=1$ ), los profesionales pueden:

Evitar el reajuste de las tasas de aprendizaje cuando se cambian los rangos de LoRA.
Transferir directamente la tasa de aprendizaje óptima de un experimento de LoRA de bajo rango a una configuración de Ajuste Fino Completo, ahorrando recursos computacionales significativos.

Los autores señalan modestamente las limitaciones: la teoría es asintótica y puede ser sensible al ruido en entornos de $(n, r)$ finitos, y la condición de coincidencia derivada es necesaria pero no se ha probado suficiente para todos los escenarios de transferencia. Sin embargo, la evidencia empírica sugiere una fuerte concordancia entre la teoría y la práctica en diversos dominios.