🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

Este artículo demuestra que la optimización de orden cero eficiente en memoria (MeZO) permite el ajuste fino en el dispositivo de modelos significativamente más grandes que la retropropagación convencional al eliminar la necesidad de almacenar activaciones y estados del optimizador, intercambiando así un mayor tiempo de reloj por una precisión superior bajo restricciones de memoria estrictas.

Autores originales: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Publicado 2026-05-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca de conocimientos gigante e increíblemente inteligente (un Modelo de Lenguaje Grande) que deseas llevar contigo en un dispositivo pequeño y alimentado por batería, como un teléfono inteligente o un reloj inteligente. Quieres que este dispositivo aprenda nuevos trucos específicamente para tus necesidades, justo allí en el momento, sin necesidad de llamar a un servidor masivo en la nube. Este proceso se llama ajuste fino en el dispositivo.

El problema es que el "cerebro" (memoria) del dispositivo es minúsculo en comparación con la biblioteca.

La Vieja Forma: La Mochila de "Retropropagación"

El método tradicional para enseñar estos modelos se llama Retropropagación (BP). Piensa en esto como un estudiante que intenta aprender una nueva materia tomando un examen y, luego, escribiendo inmediatamente cada pensamiento, papel de borrador y cálculo intermedio que hizo mientras resolvía el problema para poder revisarlo más tarde y ver dónde se equivocó.

La Analogía: Imagina que estás intentando resolver un problema matemático complejo en una servilleta diminuta. Para usar el método antiguo, debes mantener una copia de cada paso que diste en una hoja de papel separada para cada capa del problema.
El Resultado: La "servilleta" (la memoria de tu dispositivo) se llena instantáneamente. Como debes guardar todas esas notas intermedias, solo puedes acomodar una biblioteca muy pequeña y simple en tu dispositivo. Si intentas traer una biblioteca enorme, te quedas sin espacio antes de empezar a aprender.

La Nueva Forma: La Intuición "MeZO"

El artículo introduce un nuevo método llamado MeZO (Optimización de Orden Cero Eficiente en Memoria). Este método no escribe los pasos intermedios. En su lugar, utiliza un enfoque de "prueba y error".

La Analogía: Imagina que estás intentando encontrar la mejor ruta a través de un laberinto. En lugar de dibujar un mapa de cada giro que hiciste (lo cual ocupa mucho papel), simplemente das un paso, ves si chocas contra una pared, das un pequeño paso en una dirección diferente y ves si eso es mejor. Solo recuerdas el resultado del paso, no todo el proceso de pensamiento que te llevó allí.
El Resultado: No necesitas llevar una mochila pesada de notas. Puedes acomodar una biblioteca mucho, mucho más grande en tu dispositivo porque no estás desperdiciando espacio en "papel de borrador".

La Compensación: Velocidad vs. Tamaño

El artículo hace una afirmación muy específica sobre la compensación:

Ventaja de Tamaño: Como MeZO no necesita almacenar todas esas notas intermedias, puedes acomodar modelos que son al menos 2 veces más grandes que lo que permite el método antiguo. Si tienes una conversación larga (un "contexto" largo), la ventaja crece masivamente: hasta 25 veces más grande.
- Matemática Simple: Si el método antiguo te permite acomodar un diccionario de 3 mil millones de palabras, MeZO podría permitirte acomodar un diccionario de 13 mil millones de palabras en el mismo dispositivo.
Costo de Velocidad: La desventaja es que MeZO es más lento. Como tiene que "adivinar y verificar" muchas veces para determinar la dirección correcta (en lugar de simplemente mirar sus notas), le toma más tiempo aprender.
- El Hallazgo del Artículo: En sus pruebas, el método antiguo aprendió rápidamente pero alcanzó un "techo" porque se vio obligado a usar un modelo pequeño. El nuevo método (MeZO) aprendió lentamente, pero como estaba utilizando un modelo mucho más grande e inteligente, finalmente terminó con mayor precisión después de unas pocas horas.

Lo Que Realmente Probaron

Los investigadores no solo hicieron matemáticas; realizaron experimentos en un chip informático potente (una GPU H100) para simular un dispositivo:

Compararon un modelo pequeño entrenado con el antiguo método de "mochila pesada" contra un modelo mucho más grande entrenado con el nuevo método "ligero".
El Resultado: Aunque el nuevo método tardó más (aproximadamente 2 horas para obtener buenos resultados), el modelo más grande que entrenó fue significativamente más inteligente (82% de precisión) que el modelo pequeño entrenado rápidamente (menos del 75% de precisión).
También probaron el entrenamiento "disperso" (actualizando solo el 1% del cerebro del modelo). Incluso con este truco, el método antiguo aún necesitaba más memoria que el nuevo método porque el "papel de borrador" (activaciones) seguía siendo el problema más grande.

La Conclusión

El artículo concluye que si quieres ejecutar una IA verdaderamente inteligente en un dispositivo con memoria limitada, MeZO es la mejor opción. Te permite llevar un "cerebro más grande" al borde, siempre que estés dispuesto a esperar un poco más para que aprenda. Convierte la limitación de "memoria pequeña" en una ventaja cambiando cómo ocurre el aprendizaje, en lugar de simplemente reducir el tamaño del modelo.

Resumen Técnico: Ajuste Fino en Dispositivo mediante Optimización de Orden Cero sin Retropropagación

Enunciado del Problema

El ajuste fino en dispositivo es esencial para los sistemas de IA en el borde (edge AI) para adaptarse a tareas agénticas específicas y a las necesidades cambiantes de los usuarios sin depender de servidores externos. Sin embargo, existe un cuello de botella crítico: el ajuste fino convencional mediante retropropagación (BP) es significativamente más intensivo en memoria que la inferencia. BP requiere almacenar las activaciones de las capas intermedias y los estados del optimizador para cada capa, demandando a menudo un orden de magnitud más de memoria que una sola pasada hacia adelante. En consecuencia, los dispositivos de borde con restricciones estrictas de memoria se ven forzados a desplegar modelos mucho más pequeños para el ajuste fino de los que podrían utilizar para la inferencia, limitando severamente la capacidad de la IA en el dispositivo.

Metodología

Este artículo propone y analiza la Optimización de Orden Cero Eficiente en Memoria (MeZO) como solución al cuello de botella de la memoria. A diferencia de BP, MeZO estima los gradientes utilizando únicamente evaluaciones hacia adelante (perturbaciones), eliminando la necesidad de almacenar activaciones intermedias o mantener estados del optimizador.

El enfoque de los autores involucra dos componentes principales:

Análisis Teórico de Memoria: El artículo deriva estimaciones matemáticas para las huellas de memoria de BP y MeZO en modelos Transformer de solo decodificador. El análisis considera:
- Conteo de Parámetros: Incluyendo atención multi-cabeza (y variantes de Atención de Consulta Agrupada) y capas de Redes Neuronales de Alimentación Directa (FFN).
- Almacenamiento de Activaciones: Calculando la memoria requerida para almacenar en caché las activaciones para BP, que escala con la longitud del contexto ( $N$ ), el tamaño del lote ( $B$ ) y la dimensión oculta ( $D$ ).
- Estados del Optimizador: Asumiendo un optimizador SGD sin estado para aislar el impacto del almacenamiento de activaciones.
- Factores de Implementación: Introduciendo un factor $L' \leq L$ para representar el número máximo de capas de activaciones almacenadas por MeZO debido a la bufferización específica de la implementación, permitiendo una comparación realista.
Validación Empírica: Las afirmaciones teóricas se validan mediante experimentos numéricos en una sola GPU H100 utilizando los conjuntos de datos BoolQ y MultiRC. El estudio compara:
- Ajuste Fino Completo: Comparando BP (usando GPT2-medium) contra MeZO (usando Llama2-7B y Llama2-13B) bajo presupuestos de memoria fijos (~17 GB).
- Ajuste Fino Eficiente en Parámetros (PEFT): Evaluando actualizaciones dispersas (ajuste fino solo del 1% de los parámetros) tanto para BP como para MeZO utilizando modelos Qwen3 para evaluar el impacto de la dispersión en la memoria y la precisión.

Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

Análisis de Memoria: Una comparación teórica que demuestra que, bajo presupuestos de memoria en chip fijos, MeZO puede acomodar modelos al menos 2× más grandes que BP. Esta ventaja escala con la longitud del contexto, alcanzando hasta 25× para contextos largos (por ejemplo, $N=32768$ ) sin checkpointing, y aproximadamente 5× con checkpointing de activaciones.
Perspectivas de Escalado: El análisis revela que, mientras la memoria de parámetros escala linealmente con el número de capas ( $L$ ), la memoria de activaciones en BP escala cuadráticamente con la longitud del contexto ( $N$ ) y linealmente con $L$ . MeZO evita la penalización cuadrática del contexto, haciéndola cada vez más superior a medida que crecen las ventanas de contexto.
Validación Empírica: Los resultados numéricos confirman que, aunque MeZO exhibe una convergencia más lenta en términos de tiempo de reloj (wall-clock time), logra una precisión de validación superior bajo restricciones estrictas de memoria porque permite el despliegue de modelos significativamente más grandes y capaces.
Evaluación de PEFT: El estudio muestra que incluso con actualizaciones dispersas (ajuste del 1% de parámetros), los ahorros de memoria de BP son modestos (~12–13%) porque la memoria de activaciones domina el consumo total. Por el contrario, MeZO continúa permitiendo el ajuste fino de modelos más grandes (por ejemplo, 4B frente a 0.6B) dentro del mismo presupuesto de memoria, obteniendo un mejor rendimiento.

Resultados

Compromiso Precisión vs. Tiempo: Los experimentos en el conjunto de datos BoolQ muestran que MeZO converge más lentamente que BP en tiempo de reloj. Sin embargo, después de aproximadamente 2 horas de ajuste fino, MeZO (usando un modelo de 13 mil millones de parámetros) alcanza una precisión de ~82%, mientras que BP (usando un modelo equivalente más pequeño de 0.6B-1.5B debido a límites de memoria) se mantiene por debajo del 75%.
Eficiencia de Memoria: La relación de requisitos de memoria (BP/MeZO) aumenta con la longitud del contexto. Para una longitud de contexto de 32.768, MeZO requiere aproximadamente 25 veces menos memoria que BP sin checkpointing.
Limitaciones de la Dispersión: El artículo demuestra que reducir el número de parámetros actualizados mediante PEFT no alivia significativamente la carga de memoria de BP, ya que el almacenamiento de activaciones sigue siendo el factor dominante. MeZO, al evitar por completo el almacenamiento de activaciones, mantiene su ventaja incluso cuando BP se hace disperso.

Significado y Afirmaciones

El artículo posiciona a MeZO como un candidato sólido para escenarios de ajuste fino en dispositivo, particularmente para sistemas de borde agénticos y aplicaciones de aprendizaje continuo. El significado principal radica en desplazar la restricción de "tamaño del modelo" a "tiempo de ajuste fino". Al aceptar una duración de entrenamiento en tiempo de reloj más larga, los dispositivos de borde pueden ajustar fino modelos que son órdenes de magnitud más grandes que los posibles con retropropagación, desbloqueando así capacidades de rendimiento más altas directamente en el dispositivo.

Los autores concluyen que MeZO reduce efectivamente la demanda de memoria de entrenamiento al nivel de la memoria de inferencia, permitiendo el despliegue de modelos más grandes y ventanas de contexto más largas en hardware con recursos limitados. Señalan que, aunque el análisis actual se centra en arquitecturas Transformer estándar, las conclusiones pueden generalizarse a variantes modernas (por ejemplo, atención de ventana deslizante, Mezcla de Expertos) y que se necesita más investigación para especializar estos hallazgos para sistemas neuromórficos y dispersión dinámica.