💬 NLP

PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

PoLoRA es un optimizador novedoso para la Adaptación de Bajo Rango (LoRA) que combina actualizaciones espectrales conscientes del producto, precondicionamiento de curvatura y una regla de control de magnitud para lograr una convergencia más rápida, estabilidad en la tasa de aprendizaje y una menor sensibilidad a la selección del rango en comparación con el Adam estándar, con una sobrecarga computacional mínima.

Autores originales: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot gigante y superinteligente que ya se ha leído casi todo el internet a realizar un nuevo trabajo específico, como escribir código Python o resolver problemas matemáticos avanzados. El robot es enorme, y reentrenar todo su cerebro desde cero para cada nuevo trabajo tomaría una eternidad y costaría una fortuna. Así que los científicos inventaron un truco ingenioso llamado "Adaptación de Bajo Rango" (LoRA). Piensa en el cerebro del robot como una biblioteca masiva y congelada. En lugar de reescribir los libros, LoRA añade un pequeño sistema de notas adhesivas a los estantes. Estas notas adhesivas son capas pequeñas y ajustables que pueden entrenarse rápidamente para enseñarle al robot la nueva habilidad, mientras que la biblioteca original permanece intacta.

Normalmente, cuando los científicos entrenan estas notas adhesivas, utilizan un método estándar y fiable llamado "Adam". Es como un excursionista cauteloso que da pasos pequeños y constantes en todas las direcciones, comprobando el terreno antes de avanzar. Funciona, pero puede ser lento y, a veces, confundirse con la forma compleja de las notas adhesivas. Recientemente, algunos investigadores intentaron usar un excursionista más "consciente de las matrices" (uno que entiende que las notas son cuadrículas, no solo una lista de números), pero no funcionó de manera más consistente que el excursionista cauteloso. Este artículo pregunta: ¿Podemos construir un mejor excursionista específicamente para estas notas adhesivas que sea más rápido, más inteligente y más fácil de usar?

Los autores presentan un nuevo optimizador llamado PoLoRA (LoRA Ortogonalizado Precondicionado). Descubrieron que el simple hecho de tratar las notas adhesivas como una lista plana de números (como hace Adam) o simplemente usar un excursionista estándar consciente de las matrices no es suficiente. En su lugar, PoLoRA utiliza una estrategia de tres partes para navegar por el paisaje de entrenamiento de manera más eficiente. Primero, entiende que las dos partes de la nota adhesiva trabajan juntas como un producto, por lo que las ajusta como un equipo en lugar de como individuos. Segundo, utiliza un "mapa de curvatura" para ver qué tan empinada es la colina para cada dato específico, lo que le permite dar pasos más inteligentes. Tercero, tiene una regla estricta sobre qué tan grande puede ser cada paso, asegurando que el robot no tropiece o se pase de largo.

Cuando los investigadores probaron PoLoRA en modelos que van desde los 1 mil millones hasta los 8 mil millones de parámetros, los resultados fueron prometedores. En tareas relacionadas con matemáticas y programación, PoLoRA alcanzó el mismo nivel de rendimiento que el mejor optimizador Adam ajustado en 1.2 a 1.7 veces menos pasos. En otras palabras, terminó la carrera significamente más rápido. Por ejemplo, en una tarea matemática específica, necesitó 1.63 veces menos pasos para llegar a la meta. A pesar de estas ganancias de velocidad, la potencia de cómputo adicional necesaria para cada paso fue mínima, añadiendo como máximo un 3% al tiempo por paso.

Sin embargo, el artículo también descubrió que PoLoRA es mucho más permisivo que el método estándar. Mientras que Adam requiere un ajuste muy preciso de su "tasa de aprendizaje" (qué tan grandes son los pasos) y esa tasa cambia dependiendo del tamaño de las notas adhesivas, la tasa de aprendizaje óptima de PoLoRA se mantiene estable a través de diferentes tamaños. Esto hace que sea más fácil de usar para los investigadores sin que tengan que pasar semanas adivinando la configuración correcta.

No obstante, los autores son cuidadosos al señalar que esto no es una solución mágica que lo resuelve todo. Encontraron explícitamente que aplicar directamente los optimizadores existentes "conscientes de las matrices" (como Muon) a las notas adhesivas no mejora consistentemente el rendimiento sobre Adam. Fue la combinación específica de comprender la estructura del producto, controlar la pérdida por muestra y gestionar el tamaño del paso lo que hizo que PoLo de funcionara. El método depende de aproximaciones para mantenerse rápido, como simplificar el "mapa de curvatura" para que sea diagonal, y los resultados se basan en el ajuste fino de modelos de lenguaje con datos de prueba no vistos. Si bien la aceleración es clara en estos experimentos, los autores sugieren que es necesario realizar más pruebas en ejecuciones de entrenamiento más largas o en diferentes tipos de adaptadores para ver si estas ganancias se mantienen en todas partes.

En resumen, PoLoRA ofrece una forma nueva y más eficiente de enseñar nuevas habilidades a modelos de IA gigantes al tratar sus pequeñas partes ajustables con un mayor cuidado geomético, demostiendo que, a veces, la mejor manera de avanzar es entender la forma del camino por el que estás caminando.

Resumen Técnico: PoLoRA

Planteamiento del Problema

La adaptación de bajo rango (LoRA) es una técnica estándar para el ajuste fino eficiente de modelos de lenguaje extensos (LLMs) mediante la congelación de los pesos base $W_0$ y el entrenamiento de una actualización de bajo rango $\Delta W = \frac{\alpha}{r} BA$ , donde $B \in \mathbb{R}^{d_{out} \times r}$ y $A \in \mathbb{R}^{r \times d_{in}}$ . El enfoque de optimización estándar aplica Adam a los factores $A$ y $B$ de forma independiente, tratando los parámetros como un vector plano e ignorando las estructuras subyacentes de matriz y producto.

Si bien los optimizadores conscientes de la matriz como Muon han demostrado un rendimiento superior a Adam en el preentrenamiento de matrices de pesos completas, la aplicación ingenua de Muon a los factores de LoRA no logra obtener ganancias consistentes. Además, las variantes concurrentes "conscientes del producto" (por ejemplo, iMuon) que intentan tener en cuenta la estructura del producto $BA$ también fallan en superar consistentemente a Adam. El desafío central es que el modelo observa el producto fusionado $BA$, mientras que el optimizador actúa sobre los factores individuales $A$ y $B$ . Los métodos existentes o ignoran la estructura del producto o no logran controlar eficazmente la magnitud de la actualización fusionada resultante.

Metodología

Los autores presentan PoLoRA (LoRA Ortogonalizado Precondicionado), un optimizador derivado del descenso de gradiente con restricciones. El método se basa en tres ingredientes clave:

1. Dirección de Actualización Espectral Consciente del Producto

En lugar de tratar a $A$ y $B$ como matrices independientes, PoLoRA formula la dirección de actualización basada en el cambio linealizado al peso fusionado $\Delta W \approx B\Delta A + \Delta B A$ .

Derivación: Los autores definen un Oráculo de Minimización Lineal (LMO) que minimiza la pérdida linealizada sujeto a una restricción en el cambio de la pérdida por muestra, en lugar de un simple límite de norma espectral en la matriz de pesos.
Conjunto de Gradiente Exterior: Para hacer esto tratable sin almacenar gradientes por muestra, construyen un conjunto de gradiente exterior con simetría central $\mathcal{G}$ basado en aproximaciones factorizadas por Kronecker de la covarianza del gradiente.
Resultado: Esto produce una dirección donde la actualización es precondicionada por estimaciones de curvatura ( $P$ y $Q$ ) e involucra una función de signo de matriz (descomposición polar) aplicada a los gradientes precondicionados. Esto resulta en una dirección de "Producto Muon" que respeta la estructura $BA$.

2. Precondicionamiento de Curvatura

PoLoRA incorpora información de curvatura para escalar las direcciones de actualización.

Aproximación: Los precondicionadores $P$ y $Q$ se aproximan como matrices diagonales, derivadas de los segundos momentos de los gradientes de los factores (similares a Adafactor y KL-Shampoo).
Mecanismo: Estos precondicionadores escalan adaptativamente las direcciones del gradiente para dar cuenta de cómo diferentes direcciones cambian la pérdida, efectivamente blanqueando el espacio del gradiente en una métrica consciente del producto.

3. Control de Magnitud

Un componente crítico de PoLoRA es una regla explícita para controlar el tamaño de las actualizaciones.

Problema: Las direcciones conscientes del producto (como Product Muon) controlan la norma espectral de la actualización linealizada fusionada, pero dejan los pasos de los factores individuales $\|\Delta A\|$ y $\|\Delta B\|$ sin control. Esto puede conducir a la inestabilidad si un factor tiene valores singulares pequeños.
Solución: PoLoRA introduce una regla de magnitud que establece las normas espectrales de las actualizaciones de los factores $\|\Delta A\|_2 = \|\Delta B\|_2 = \rho$ , donde $\rho = \frac{\eta}{\|A\|_2 + \|B\|_2}$ . Esto asegura que la actualización fusionada $\|\Delta W\|_2$ permanezca acotada por la tasa de aprendizaje $\eta$ , evitando la desestabilización mientras se mantiene el límite espectral sobre el producto fusionado.

Contribuciones Clave

Optimizador PoLoRA: Un nuevo optimizador que combina una dirección espectral consciente del producto, precondicionamiento de curvatura y control de magnitud explícito.
Derivación Teórica: Una derivación de la dirección de actualización a partir de una restricción de control de pérdida por muestra, lo que conduce a una actualización ortogonalizada precondicionada para los factores de LoRA.
Regla de Magnitud: La identificación e implementación de una regla de escalado específica para los factores de LoRA que garantiza estabilidad y un rendimiento consistente, distinguiendo a este de los métodos previos conscientes del producto.
Validación Empírica: Evaluación exhaustiva que muestra que PoLoRA supera consistentemente a Adam y a otras líneas de base de matrices conscientes (Muon, iMuon, LoRA-RITE) a través de varios tamaños de modelo (1B a 8B), conjuntos de datos (código, matemáticas, lenguajes de bajos recursos) y rangos.

Resultados Experimentales

Los autores evaluaron PoLoRA en conjuntos de datos de ajuste de instrucciones para código y matemáticas utilizando modelos que van desde 1B hasta 8B de parámetros (OLMo-2-1B, Llama-3.2-1B, Qwen2.5-1.5B, Llama-3-8B).

Eficiencia de Pasos: PoLoRA alcanza la pérdida final de validación de Adam ajustado en 1.2–1.7 veces menos pasos. Por ejemplo, en Llama-3.2-1B ajustado en matemáticas, alcanza la pérdida objetivo en 1.63× menos pasos.
Eficiencia de Tiempo de Ejecución (Wall-Clock): Debido a la naturaleza ligera de los precondicionadores diagonales y las subrutinas numéricas eficientes (iteración de potencia, Newton-Schulz de Gram), la sobrecarga por paso es de como máximo un 3% comparado con Adam. En consecuencia, la aceleración en tiempo de ejecución refleja de cerca la aceleración en pasos.
Estudios de Ablación: Eliminar tanto el precondicionamiento de curvatura como el control de magnitud reduce PoLoRA a Product Muon, que no muestra aceleración sobre Adam. Los autores afirman que cada componente (curvatura y magnitud) explica aproximadamente la mitad de la brecha de aceleración total.
Estabilidad de Hiperparámetros: PoLoRA es menos sensible a la tasa de aprendizaje que Adam. Notablemente, su tasa de aprendizaje óptima permanece estable a través de diferentes rangos de LoRA ( $r \in \{32, 64, 128, 256\}$ ), mientras que la tasa de aprendizaje óptima de Adam cambia significativamente con los cambios de rango.
Cambio de Distribución: La aceleración sobre Adam es más pronunciada cuando se realiza el ajuste fino en distribuciones de datos significativamente diferentes al preentrenamiento (por ejemplo, lenguajes de bajos recursos como el bengalí) en comparación con dominios bien representados como el código.

Significancia y Reivindicaciones

El artículo afirma que PoLoRA proporciona una aceleración consistente sobre Adam para el ajuste fino de LoRA, una hazaña que los optimizadores anteriores conscientes de la matriz y del producto no lograron alcanzar de manera fiable. La significancia radica en el cambio de tratar los factores de LoRA como vectores independientes a optimizarlos como un producto acoplado con magnitud controlada.

Los autores enfatizan que su enfoque no depende de un complejo reescalado de hiperparámetros (como LoRA+ o Rank-stabilized LoRA), sino que cambia la regla de actualización misma. Reconocen limitaciones, señalando que el método depende de aproximaciones lineales (ignorando términos de orden superior como $\Delta B \Delta A$ ) y utiliza precondicionadores diagonales para la eficiencia. Sin embargo, postulan que la perspectiva de control de pérdida por muestra y la regla de magnitud ofrecen un marco robusto para optimizar productos de bajo rango, potencialmente aplicable más allá de LoRA a otras composiciones de mapas o escenarios de preentrenamiento.