🤖 machine learning

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration

Este artículo propone ZO-MOPI, un método de optimización de orden cero para el ajuste fino de modelos de lenguaje grandes que acelera la convergencia al reemplazar la ortogonalización completa con una estrategia de ortogonalización parcial que utiliza iteración de potencias y proyección de subespacio basada en momento, logrando una convergencia de 1,5 a 4 veces más rápida que ZO-Muon de última generación mientras mantiene una precisión competitiva.

Autores originales: Jiahe Chen, Ziye Ma

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiahe Chen, Ziye Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: Afinar una Radio Gigante sin Manual

Imagina que tienes una radio masiva y compleja (un Modelo de Lenguaje Grande o LLM) con miles de millones de perillas. Quieres afinarla para que reproduzca una canción específica a la perfección (ajustarla finamente para una nueva tarea).

Por lo general, los ingenieros utilizan un método de "Primer Orden": observan las perillas, sienten la vibración y saben exactamente hacia qué dirección girarlas para obtener un mejor sonido. Esto es rápido, pero requiere una sala de control enorme y costosa (muchos recursos de memoria de computadora) para almacenar todas las instrucciones. Si intentas afinar esta radio en un dispositivo pequeño como un teléfono inteligente o la computadora de un automóvil, no tienes tanta memoria disponible.

La Optimización de Orden Cero (ZO) es el método "a ciegas". En lugar de sentir la vibración, simplemente adivinas una dirección, giras las perillas y escuchas para ver si la música mejoró o empeoró. No necesitas la gran sala de control, por lo que cabe en dispositivos pequeños. Sin embargo, como estás adivinando, es increíblemente lento y ruidoso. Es como intentar encontrar la estación perfecta girando el dial al azar y esperando aterrizar en la frecuencia correcta.

El Problema: La Señal "Ruidosa"

Los investigadores notaron que, aunque este método "a ciegas" ahorra memoria, la información que recopila es muy desordenada.

La Señal Real: En un mundo perfecto, las "mejores" direcciones para girar las perillas son claras y fuertes (como una voz alta y clara).
La Realidad de ZO: Debido a que el método se basa en conjeturas aleatorias, la señal está llena de estática y ruido. Es como intentar escuchar un susurro en medio de un huracán.

Había una nueva herramienta llamada Muon que intentaba ayudar. Muon es como un asistente inteligente que observa todas las perillas y dice: "Bien, organicemos estas direcciones para no desperdiciar energía en las débiles". Intenta hacer que todas las direcciones tengan la misma fuerza.

El Truco: Muon fue diseñado para el "mundo perfecto" (Primer Orden). Cuando los investigadores intentaron usar Muon con los datos "ruidosos" de Orden Cero, las cosas empeoraron. Como los datos estaban tan llenos de estática, Muon intentó potenciar todo, incluido el ruido. Fue como subir el volumen de una radio que solo está reproduciendo estática; el ruido se volvió más fuerte que la música.

La Solución: "Ortogonalización Parcial" (El Filtro Selectivo)

Los autores, Jiahe Chen y Ziye Ma, idearon un nuevo enfoque llamado ZO-MOPI. Su ingrediente secreto es la Ortogonalización Parcial.

En lugar de intentar organizar cada dirección (lo cual incluye las ruidosas e inútiles), decidieron enfocarse solo en las pocas direcciones principales que son realmente fuertes y claras. Ignoran el resto del ruido.

Piénsalo así:

La Vieja Forma (Muon): Tienes un cubo de agua mezclado con arena, tierra y polvo de oro. Intentas separar todo perfectamente. Terminas perdiendo mucho tiempo clasificando la tierra.
La Nueva Forma (ZO-MOPI): Te das cuenta de que el polvo de oro es pesado y se hunde al fondo. Solo recoges la capa inferior (las señales fuertes) e ignoras la tierra flotante (el ruido). Obtienes el oro mucho más rápido.

Cómo lo Hicieron: El Truco de la "Iteración de Potencia en Flujo"

Para que funcionara este filtrado selectivo, utilizaron una técnica llamada Iteración de Potencia en Flujo (SPI).

Imagina que intentas encontrar el viento más fuerte en un campo tormentoso.

El Método Viejo: Te quedas quieto y mides cada ráfaga de viento individual, luego intentas calcular la dirección promedio. Toma una eternidad y el viento es demasiado caótico.
El Método Nuevo (SPI): Sostienes una bandera. Solo prestas atención a las ráfagas que empujan la bandera con más fuerza. Ignoras las briznas diminutas que apenas la mueven. Al enfocarte solo en los empujones fuertes, puedes determinar rápidamente hacia dónde sopla el viento realmente.

También añadieron una característica de "Momento". Esto es como recordar hacia dónde soplaba el viento hace unos segundos. Incluso si una ráfaga es una casualidad (ruido), tu memoria de las ráfagas anteriores te ayuda a mantenerte estable y no confundirte con el caos.

Los Resultados: Ajuste Más Rápido, Misma Memoria

Los investigadores probaron esto en modelos de IA gigantes (como OPT-13B y LLaMA3-8B) utilizando pruebas de lenguaje estándar (SuperGLUE).

Velocidad: Su nuevo método fue de 1.5 a 4 veces más rápido que los mejores métodos de ajuste "a ciegas" actuales. Alcanzó el mismo nivel de precisión en mucho menos tiempo.
Precisión: Terminó con la misma (o ligeramente mejor) calidad final que los otros métodos.
Memoria: Mantuvo el mismo bajo uso de memoria, lo que significa que aún puede ejecutarse en dispositivos pequeños.

Resumen

El artículo presenta una forma más inteligente de ajustar modelos de IA en dispositivos con memoria limitada. En lugar de intentar arreglar cada conjetura ruidosa individual, el nuevo método (ZO-MOPI) actúa como un filtro, enfocándose solo en las señales más fuertes y confiables e ignorando la estática. Esto permite que la IA aprenda mucho más rápido sin necesitar una supercomputadora.

Resumen Técnico: Aceleración de la Optimización Espectral de Orden Cero con Ortogonalización Parcial desde la Iteración de Potencia

Enunciado del Problema
La optimización de orden cero (ZO) ha surgido como una técnica crítica para el ajuste fino de Modelos de Lenguaje Grandes (LLM) en dispositivos periféricos con restricciones de memoria, ya que evita la retropropagación intensiva en memoria requerida por los métodos de primer orden (FO). Sin embargo, los métodos ZO sufren de una alta varianza en las estimaciones del gradiente debido a perturbaciones de Monte Carlo, lo que conduce a una convergencia significativamente más lenta en comparación con los métodos FO.

Los intentos recientes de acelerar la optimización ZO se han centrado en la búsqueda en subespacios de baja dimensión (por ejemplo, LOZO, SubZero) y en optimizadores espectrales como Muon, que explotan la geometría matricial mediante ortogonalización. Aunque Muon supera a AdamW en configuraciones FO al ortogonalizar los gradientes para explotar direcciones espectrales débiles, los autores observan que aplicar Muon directamente a configuraciones ZO produce ganancias limitadas. El problema central identificado es que las estimaciones del gradiente ZO son inherentemente ruidosas e poco fiables. A diferencia de los gradientes FO, que se concentran en direcciones singulares dominantes, las estimaciones ZO exhiben una "cola espectral más pesada y plana" (Figura 1). En consecuencia, la ortogonalización Newton-Schulz (NS) estándar de Muon, que iguala la energía en todo el espectro activo, amplifica inadvertidamente estas direcciones ruidosas e inexactas, convirtiendo los errores de estimación en componentes de actualización perjudiciales.

Metodología: ZO-MOPI
Los autores proponen ZO-MOPI (Momento de Orden Cero con Ortogonalización Parcial), un método diseñado para acelerar la optimización ZO extrayendo selectivamente direcciones espectrales dominantes mientras se suprime el ruido. El enfoque integra tres componentes clave:

Ortogonalización Parcial mediante Iteración de Potencia en Flujo (SPI):
En lugar de realizar una ortogonalización de espectro completo (como las iteraciones NS), ZO-MOPI emplea una estrategia de "ortogonalización parcial". Se centra exclusivamente en las $k$ direcciones singulares dominantes superiores, descartando la cola espectral ruidosa.
- Mecanismo: El método reemplaza el procedimiento NS con una Iteración de Potencia en Flujo (SPI) más rápida y concentrada. SPI rastrea el subespacio de dimensión $k$ líder a lo largo de los pasos de entrenamiento.
- Eficiencia: Al almacenar en caché el subespacio de vectores singulares derechos ( $V_{t-1}$ ) y utilizarlo como inicio en caliente para la siguiente iteración, SPI evita la SVD completa o multiplicaciones matriciales costosas. El costo computacional se reduce a $O(rnk + nk^2)$ , donde $k \ll r \ll \min(m, n)$ , en comparación con el mayor costo de los métodos de espectro completo.
- Estabilidad: El método se basa en la observación de que las direcciones espectrales dominantes evolucionan suavemente bajo el suavizado por momento, lo que hace que el subespacio anterior sea una inicialización fiable para el paso actual.
Estimación ZO en Subespacio:
Para reducir aún más la varianza, la estimación del gradiente se restringe a un subespacio de rango bajo. La matriz de perturbación aleatoria $Z$ se descompone en $AB$, donde $A$ es una matriz de subespacio fija y $B$ es una perturbación aleatoria dentro de ese subespacio. Esto reduce la dimensión de búsqueda efectiva de $mn $a$ rn$, disminuyendo significativamente la varianza del estimador del gradiente.
Momento Proyectado:
El momento se mantiene dentro del sistema de coordenadas reducido $r \times n$ en lugar del espacio de parámetros completo para ahorrar memoria. Un componente crítico del método es la proyección del momento cuando el subespacio $A$ se actualiza periódicamente (cada $\nu$ iteraciones). El momento $M_{old}$ se proyecta sobre el nuevo subespacio $A_{new}$ mediante $M_{new} \leftarrow A_{new}^\top A_{old} M_{old}$ .
- Necesidad: Los autores demuestran que el momento no es meramente para la reducción de la varianza, sino que es esencial para la estabilidad de SPI. Sin momento, el subespacio dominante fluctúa drásticamente debido a las estimaciones ZO ruidosas, lo que provoca que la iteración de potencia se vuelva inestable.

Contribuciones Clave

Identificación de la Discrepancia Espectral: El artículo destaca que la ortogonalización de espectro completo (Newton-Schulz) es perjudicial en configuraciones ZO porque amplifica el ruido inherente a las estimaciones del gradiente ZO, mientras que los gradientes FO están naturalmente concentrados.
Ortogonalización Parcial: La introducción de una estrategia de ortogonalización selectiva que preserva solo los componentes espectrales más fiables (los $k$ superiores) e ignora la cola ruidosa.
Iteración de Potencia en Flujo (SPI): Un algoritmo ligero y eficiente para rastrear direcciones singulares dominantes que aprovecha la continuidad temporal y el inicio en caliente para evitar cálculos costosos.
Integración de Momento Proyectado: Un mecanismo para mantener la estabilidad del momento a través de las actualizaciones del subespacio, lo cual se demuestra crítico para la eficacia del rastreo espectral en entornos ruidosos.

Resultados Experimentales
Los autores evalúan ZO-MOPI en tareas de ajuste fino de LLM utilizando los modelos OPT-13B, LLaMA3-8B y Gemma2-2B en los puntos de referencia SuperGLUE (SST-2, RTE, BoolQ, SQuAD).

Velocidad de Convergencia: ZO-MOPI logra una convergencia 1.5 a 4 veces más rápida en comparación con el estado actual de la técnica ZO-Muon. Por ejemplo, en las tareas RTE y SQuAD, ZO-Muon requiere aproximadamente 3 veces el tiempo de reloj para alcanzar la misma precisión que ZO-MOPI.
Precisión Final: El método logra precisiones finales competitivas o superiores en comparación con bases sólidas como MeZO, LOZO y ZO-Muon. En varios casos (por ejemplo, OPT-13B en SST-2 y RTE), ZO-MOPI establece nuevos récords de precisión ZO.
Eficiencia: El método mantiene la eficiencia de memoria del ajuste fino ZO, con una sobrecarga de memoria adicional insignificante para almacenar el subespacio y los estados de la iteración de potencia.
Estudios de Ablación: Los experimentos confirman que eliminar el momento o utilizar un intervalo de actualización de subespacio demasiado corto degrada significativamente el rendimiento, validando la necesidad de la proyección de momento propuesta y las estrategias de muestreo de subespacio perezoso.

Significado y Afirmaciones
El artículo afirma que ZO-MOPI cierra con éxito la brecha de rendimiento entre la optimización ZO y FO para el ajuste fino de LLM al abordar las características espectrales específicas de las estimaciones de gradiente ruidosas. Los autores argumentan que la clave para acelerar la optimización ZO no es simplemente reducir la varianza mediante la proyección de subespacios, sino también adoptar una alineación espectral selectiva que evite amplificar el ruido. Al reemplazar la ortogonalización agresiva de espectro completo con una ortogonalización parcial mediante iteración de potencia, el método permite que los optimizadores espectrales funcionen eficazmente en el régimen ZO de alta varianza. El trabajo sugiere que la estructura espectral puede explotarse mejor incluso bajo estimaciones ruidosas, ofreciendo un camino hacia un ajuste fino eficiente y con restricciones de memoria de modelos grandes sin depender de la retropropagación.