🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

Este artículo presenta ZO-Finetuner, un optimizador de orden cero basado en aprendizaje que aprende automáticamente estrategias de perturbación eficientes mediante un diseño con eficiencia de memoria, permitiendo un entrenamiento de una sola vez por modelo y un rendimiento superior en diversas tareas de seguimiento en comparación con los métodos estáticos de orden cero existentes.

Autores originales: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente compleja (un Modelo de Lenguaje Grande, o LLM) que sabe escribir, razonar y charlar. Quieres enseñarle a esta biblioteca una nueva habilidad específica, como escribir contratos legales o resolver problemas matemáticos. Este proceso se llama "ajuste fino" (fine-tuning).

Normalmente, enseñar a esta biblioteca implica un método muy costoso llamado "retropropagación" (backpropagation). Piensa en esto como un profesor que, después de cada frase que el estudiante escribe, tiene que recorrer toda la biblioteca, revisar cada libro y calcular exactamente cómo ajustar el cerebro del estudiante. Es preciso, pero requiere una cantidad enorme de memoria y energía, lo que a menudo hace que sea imposible realizarlo en computadoras estándar.

Para solucionar esto, los investigadores desarrollaron un método de "Orden Cero" (como MeZO). En lugar de recorrer toda la biblioteca, este método es como un explorador con los ojos vendados. El explorador hace una pequeña suposición (una perturbación), ve si el resultado mejoró o empeoró, y luego hace otra pequeña suposición en la dirección opuesta. Al comparar los dos resultados, puede determinar hacia dónde ir sin necesidad de ver todo el panorama. Esto ahorra una enorme cantidad de memoria.

El Problema: El Mapa de "Talla Única"
Los exploradores con los ojos vendados existentes utilizan una estrategia aleatoria fija. Hacen suposiciones de dirección basadas en una regla estándar y aburrida (como lanzar un dado equilibrado). Esto es ineficiente. A veces, la biblioteca tiene "habitaciones" específicas (bloques de parámetros) donde necesitas ser muy preciso, y otras donde puedes ser más audaz. Una estrategia fija no sabe esto; trata a cada parte de la biblioteca por igual.

La Solución: ZO Fine-tuner (El Explorador Inteligente)
Los autores crearon el ZO Fine-tuner, un sistema de "aprender a aprender". En lugar de usar una regla fija, entrenaron a un "entrenador" diminuto y súper eficiente (una red neuronal pequeña) para enseñar al explorador con los ojos vendados a adivinar mejor.

Así es como funciona, usando algunas analogías:

El Entrenador (ZO Fine-tuner): Imagina a un entrenador que observa al explorador. El entrenador no necesita ver toda la biblioteca. En su lugar, el entrenador observa algunos datos estadísticos simples: "¿Qué tan desordenada está esta habitación ahora mismo?" y "¿La última suposición ayudó o perjudicó?". Basándose en esto, el entrenador le dice al explorador: "En esta habitación específica, da un paso grande y audaz. En esa otra habitación, da un paso pequeño y cuidadoso".
La Estrategia de Bloques: La biblioteca es enorme (miles de millones de parámetros). Si el entrenador intentara dar instrucciones para cada libro individualmente, sería demasiado lento y consumiría mucha memoria. Sin embargo, los investigadores notaron que la biblioteca está organizada en "bloques" (como secciones de libros). El entrenador aprende a dar una instrucción por bloque. Esto es como un entrenador que le dice a todo un equipo de jugadores cómo moverse juntos, en lugar de gritarle a cada jugador individualmente. Esto mantiene el uso de memoria muy bajo.
La Magia de "Entrenar una vez, Reutilizar ampliamente": Normalmente, tienes que entrenar un nuevo entrenador para cada nueva tarea. Pero los autores descubrieron algo asombroso: la "forma" de la biblioteca no cambia mucho, ya sea que estés enseñando matemáticas o escribiendo historias. Por ello, entrenaron al entrenador una sola vez en un conjunto de datos (COPA). Luego, tomaron ese mismo entrenador y lo enviaron a enseñar a la biblioteca en tareas completamente diferentes (como análisis de sentimiento o comprensión lectora) e incluso en diferentes versiones de la biblioteca.
- El Resultado: El entrenador entrenado en una tarea funcionó sorprendentemente bien en todas las demás. Es como entrenar a un conductor en una pista específica y que luego conduzca perfectamente en una autopista totalmente distinta sin necesidad de nueva práctica.

Los Resultados
El artículo probó esto en cuatro modelos de lenguaje grandes diferentes y siete tareas distintas.

Rendimiento: En aproximadamente el 82% de los casos, este nuevo "Explorador Inteligente" alcanzó un mejor resultado más rápido que los exploradores de "Regla Fija" antiguos.
Eficiencia: No requirió mucha memoria adicional. El "entrenador" en sí es tan pequeño (menos de 2 MB para un modelo de 30 mil millones de parámetros) que es como añadir una sola página de notas a una enciclopedia de 60 GB.
Estabilidad: El nuevo método también fue menos sensible a la "tasa de aprendizaje" (qué tan grandes son los pasos). Incluso si le decías que diera pasos más grandes, no fallaba tan fácilmente como los métodos antiguos.

En Resumen
El artículo presenta una forma de enseñar nuevas habilidades a modelos de IA gigantes sin necesidad de una supercomputadora. Reemplazaron una estrategia de adivinación rígida y aleatoria con un entrenador diminuto e inteligente que aprende a adivinar las direcciones correctas para diferentes partes del modelo. Una vez que este entrenador es entrenado para una tarea, puede reutilizarse para enseñar al modelo muchas otras tareas de manera eficiente, ahorrando tiempo y memoria de computadora.

Resumen Técnico: Aprendizaje de un Optimizador de Orden Cero para el Ajuste Fino de LLMs

Planteamiento del Problema

El ajuste fino (fine-tuning) de modelos de lenguaje de gran tamaño (LLMs) utilizando optimizadores estándar de primer orden (por ejemplo, Adam) incurre en una sobrecarga de memoria prohibitiva, requiriendo a menudo hasta 12 veces la memoria de la inferencia debido al almacenamiento de los estados del optimizador y las activaciones de la retropropagación. Aunque han surgido métodos alternativos de memoria eficiente basados en el orden cero (ZO), como MeZO, que dependen únicamente de pasadas hacia adelante (forward passes), los métodos existentes suelen emplear estrategias de muestreo estáticas y manuales (por ejemplo, distribuciones normales estándar). Estas estrategias estáticas no son adaptables a las propiedades estructurales específicas de diferentes modelos o tareas, lo que a menudo requiere un extenso ajuste de hiperparámetros y no logra explotar plenamente la geometría local del paisaje de pérdida (loss landscape).

Metodología: ZO Fine-tuner

Los autores proponen ZO Fine-tuner, un optimizador de orden cero basado en el aprendizaje, diseñado para aprender automáticamente estrategias de perturbación eficientes a través de un marco de "Aprender a Aprender" (L2L). La innovación central reside en pasar de una perturbación estática y uniforme a una perturbación adaptativa por bloques.

1. Arquitectura de Perturbación por Bloques

Motivados por análisis recientes que sugieren que los Hessianos de los Transformers exhiben una estructura aproximadamente de bloque diagonal, el método evita la parametrización por coordenada (que es prohibitiva en memoria a escala) en favor de la adaptación por bloques.

PertNN: Para cada bloque de parámetros $i$ del LLM, una red neuronal auxiliar ligera (PertNN) predice una varianza de perturbación compartida $\sigma_t^{(i)}$ .
Entradas: La PertNN toma como entrada estadísticas de resumen compactas de los parámetros actuales (Media y Varianza del bloque), la varianza de perturbación anterior y los valores de pérdida del paso anterior.
Salida: La red devuelve una varianza actualizada $\sigma_t^{(i)}$ , que se utiliza para construir una matriz de varianza diagonal $\Sigma_t = \text{diag}(\sigma_t^{(1)}I, \dots, \sigma_t^{(n)}I)$ .
Normalización: Para desacoplar la varianza aprendida de la tasa de aprendizaje efectiva, el método normaliza $\Sigma_t$ de modo que su norma de Frobenius permanezca constante ( $\|\Sigma_t\|_F = \sqrt{d}$ ). Esto asegura que la magnitud de la perturbación sea estable mientras permite que el optimizador aprenda varianzas relativas por bloque.

2. Entrenamiento mediante Aprendizaje para Aprender (L2L)

El optimizador se entrena mediante un meta-objetivo donde la trayectoria de ajuste fino del propio LLM sirve como supervisión.

Meta-Objetivo: El objetivo es minimizar la pérdida post-actualización $L(\theta_1)$ tras un único paso de ZO. El gradiente de esta pérdida con respecto a los parámetros $\omega$ de la PertNN se calcula utilizando el truco de reparametrización (muestreando $z \sim N(0, I)$ y estableciendo $u = \Sigma z$ ), lo que hace que el proceso de perturbación sea diferenciable.
Estrategia de Entrenamiento: La PertNN se entrena en un conjunto de datos único (por ejemplo, COPA) utilizando un optimizador de primer orden para generar estados del modelo. Para evitar el sobreajuste en regiones de baja pérdida, los autores introducen un mecanismo de reinicio periódico, reinicializando los parámetros del LLM a su estado previo al ajuste fino tras ciertos intervalos.
Generalización: Una vez entrenado para un modelo base específico, el ZO Fine-tuner se reutiliza en diversas tareas derivadas y puntos de control (checkpoints) derivados sin necesidad de entrenamiento adicional.

Contribuciones Clave

Extensión de L2L a los LLMs: El artículo demuestra que un único optimizador aprendido, entrenado en un modelo base, puede generalizarse eficazmente a través de diversas tareas derivadas y puntos de control derivados, validando un flujo de trabajo de "entrenar una vez, reutilizar ampliamente".
Aprendizaje de Varianza por Bloques: Los autores proponen una parametrización por bloques eficiente en memoria con varianza compartida por bloque. Este diseño está fundamentado teóricamente en la estructura de bloque diagonal de los Hessianos de los Transformers, permitiendo el L2L a la escala de los modelos fundacionales sin costos de memoria prohibitivos.
Rendimiento Empírico: A través de cuatro LLMs (LLaMA-3.2-1B, LLaMA-3.1-8B, Qwen2.5-14B, OPT-30B) y siete conjuntos de datos, ZO Fine-tuner supera a los baselines más fuertes de orden cero (MeZO, MeZO-AdamU, HIZOO, LOZO) en el 82.1% de las combinaciones tarea-modelo en cuanto a pérdida convergente, con una mejora de precisión promedio del 2.5%.

Resultados Experimentales

Convergencia y Precisión: ZO Fine-tuner alcanza consistentemente una pérdida menor de forma más rápida que los baselines. Demuestra una robustez superior a las elecciones de la tasa de aprendizaje, logrando a menudo un rendimiento comparable o mejor con tasas de aprendizaje más bajas (por ejemplo, $10^{-8}$ ) donde los baselines fallan en converger o se vuelven inestables.
Transferibilidad: Un optimizador entrenado en el conjunto de datos COPA se transfiere con éxito para realizar el ajuste fino de modelos en SST-2, CB, SQuAD, WSC, BoolQ y DROP, así como en tareas de razonamiento matemático (MetaMathQA).
Puntos de Control Derivados: El método se generaliza desde un modelo base (LLaMA-3.1-8B) a su variante ajustada por instrucciones (LLaMA-3.1-8B-Instruct), superando a MeZO tanto en pérdida como en precisión.
Eficiencia:
- Memoria: La sobrecarga de memoria es insignificante en comparación con el tamaño del modelo (por ejemplo, <2MB para las redes auxiliares en OPT-30B). La huella de memoria total sigue siendo comparable a MeZO y es significativamente menor que los métodos de primer orden (por ejemplo, 62GB frente a 312GB para OPT-30B).
- Tiempo: La sobrecarga de tiempo introducida por consultar la PertNN es mínima (<3.4% para modelos más pequeños, disminuyendo para modelos más grandes), ya que el costo dominante sigue siendo las pasadas hacia adelante requeridas para la estimación de orden cero.

Significación y Reivindicaciones

El artículo afirma que ZO Fine-tuner aborda el cuello de botella crítico de la eficiencia de memoria en el ajuste fino de LLMs, superando al mismo tiempo la rigidez de las estrategias estáticas de orden cero. Al aprovechar el paradigma de "entrenar una vez, reutilizar ampliamente", los autores argumentan que los creadores de modelos podrían distribuir un ajustador fino aprendido preentrenado junto con los modelos base, permitiendo a los usuarios finales realizar un ajuste fino eficiente y de alto rendimiento con costos de memoria cercanos a la inferencia. Este trabajo establece que el aprendizaje de distribuciones de perturbación adaptativas es factible a la escala de los modelos fundacionales y ofrece un camino práctico hacia la adaptación de LLMs escalable y eficiente en memoria.