Resumen Técnico: La Optimización de Orden Cero en Aprendizaje Profundo está Subexplorada, no Subpotenciada

1. Declaración del Problema

La optimización de orden cero (ZO), que aproxima los gradientes utilizando diferencias finitas de evaluaciones de funciones sin retropropagación (BP), ha recuperado atención por su eficiencia de memoria y su aplicabilidad a pipelines de caja negra o caja gris. A pesar de estas ventajas, los métodos ZO son frecuentemente descartados como fundamentalmente no escalables para el aprendizaje profundo debido a la alta varianza del estimador y a una complejidad de consultas desfavorable.

El artículo argumenta que este escepticismo está mal dirigido. Las limitaciones percibidas de la optimización ZO no provienen de debilidades intrínsecas del aprendizaje sin gradientes, sino de "prácticas de desarrollo miope". Específicamente, la comunidad ha sobreemphasizado diseños centrados en el estimador que operan en el espacio de parámetros completo con perturbaciones elemento a elemento. Este enfoque estrecho ha oscurecido oportunidades algorítmicas, a nivel de sistemas y de evaluación más amplias que podrían desbloquear la escalabilidad de los métodos ZO.

2. Metodología y Marco de Posicionamiento

En lugar de proponer un único algoritmo nuevo, el artículo articula un marco de posicionamiento integral compuesto por seis argumentos (P1–P6) que abarcan las pilas algorítmica, de sistemas y de evaluación. Estas posiciones redefinen los límites de viabilidad y las oportunidades para la optimización ZO.

Fundamentos y Límites de Viabilidad (P1–P3)

Los autores primero revisan los límites teóricos de los diseños actuales centrados en el estimador:

• (P1) La Elección de la Dirección Aleatoria Importa: La elección de la dirección de perturbación $u$ es crítica. Si bien los vectores gaussianos o de Bernoulli estándar son comunes, resultan en una varianza que escala linealmente con la dimensión $d$. El artículo destaca que los diseños estructurados (por ejemplo, perturbaciones dispersas o precondicionadas) pueden reducir la varianza, pero a menudo introducen sobrecargas computacionales o de consultas que deben sopesarse.
• (P2) Compensación Consulta-Varianza: La reducción de la varianza no puede considerarse de forma aislada. Aumentar el número de consultas (por ejemplo, mediante mini-lotes) reduce la varianza pero incrementa el costo. El artículo argumenta que la optimización ZO efectiva debe lograr un crecimiento sublineal del costo de consultas en relación con la dimensión del problema, evitando la escala lineal de los estimadores coordenados.
• (P3) Punto de Vista de la Derivada Direccional: El estimador de diferencias finitas debe ser evaluado contra la línea base de la derivada direccional (DD) (gradientes hacia adelante). La DD proporciona un límite superior principista del rendimiento y ayuda a desentrañar si los fallos se deben al método ZO o a la dificultad inherente de la tarea.

Oportunidades de Avance (P4–P6)

El artículo propone luego tres direcciones subexploradas para avanzar en la optimización ZO:

• (P4) Perspectiva de Subespacio y Espectral: En lugar de operar en el espacio completo de $d$ dimensiones, los métodos ZO deberían aprovechar la proyección de subespacio (por ejemplo, $S$-RGE). Al proyectar las perturbaciones en un subespacio de baja dimensión ($r \ll d$), la varianza se reduce en un factor de $r$. Este enfoque conecta ZO con métodos de optimización espectral (como Muon), explotando la estructura de bajo rango que a menudo se encuentra en los gradientes de modelos profundos.
• (P5) Simplicidad a Nivel de Sistema: La naturaleza "solo hacia adelante" de ZO es una ventaja de sistemas, no solo un ahorro de memoria. Esto permite:
  • Eficiencia de Comunicación: En entornos distribuidos, los trabajadores pueden transmitir solo valores escalares de diferencias finitas y semillas aleatorias compartidas, reconstruyendo los vectores de perturbación localmente sin transmitir vectores completos.
  • Paralelismo de Pipeline: Eliminar la retropropagación elimina el acoplamiento estrecho entre los pasos hacia adelante y hacia atrás, permitiendo programaciones unidireccionales con "burbujas de pipeline" cercanas a cero.
  • Privacidad: La estocasticidad inherente de ZO (mediante perturbaciones gaussianas) ofrece beneficios naturales de privacidad diferencial sin requerir inyección explícita de ruido.
• (P6) Desenmascaramiento Alineado a la Tarea: Los éxitos actuales en el ajuste fino ZO a menudo dependen de la alineación de tareas (usando prompts para alinear tareas posteriores con objetivos de pre-entrenamiento). El artículo argumenta que esto actúa como un desenmascaramiento implícito, dificultando la evaluación del verdadero poder de optimización de ZO. Las evaluaciones deben comparar explícitamente el rendimiento con y sin alineación de tareas para evitar atribuir ganancias al optimizador cuando provienen de la simplificación de la tarea.

3. Contribuciones Clave y Evidencia

El artículo proporciona una crítica estructurada del estado actual de la investigación ZO y ofrece una hoja de ruta para el trabajo futuro:

• Análisis Empírico de Trabajos Recientes: Los autores analizan artículos recientes (por ejemplo, de ICML'25, NeurIPS'25, ICLR'26) y encuentran que, aunque la mayoría aborda (P1) mediante reducción de varianza, ignoran en gran medida (P2) (compensaciones de consultas) y (P3) (líneas base DD). La Tabla 1 en el artículo demuestra que pocos trabajos satisfacen simultáneamente las tres posiciones fundamentales.
• Experimentos de Desenmascaramiento: La Figura 2 presenta resultados de ajuste fino en las tareas SST-2, RTE y WiC utilizando modelos como Gemma2-2B. Los datos muestran que los métodos ZO (por ejemplo, MeZO, Sparse-MeZO) experimentan caídas significativas en la precisión cuando se elimina la alineación de tareas. Además, la clasificación relativa de los métodos cambia entre entornos alineados y no alineados, confirmando que la alineación de tareas puede oscurecer las capacidades intrínsecas de diferentes algoritmos ZO.
• Llamadas a la Acción Accionables (A1–A5): El artículo describe pasos concretos para la comunidad:
  • A1: Establecer protocolos de evaluación rigurosos con presupuestos de consultas fijos y líneas base de gradientes hacia adelante.
  • A2: Ir más allá de la optimización de espacio completo integrando métodos de subespacio y espectrales, y considerar enfoques híbridos FO-ZO.
  • A3: Explorar modelos generativos (por ejemplo, modelos de difusión) como estimadores de gradientes aprendidos para desruido las estimaciones ZO.
  • A4: Construir pilas de sistemas nativas ZO en lugar de portar ZO a marcos centrados en FO (como DeepSpeed). Esto incluye priorizar el paralelismo de perturbaciones y la programación densa de pipelines.
  • A5: Ampliar las aplicaciones a pilas aceleradas por inferencia (por ejemplo, vLLM) y optimización cuántica/híbrida cuántica-clásica, donde ZO es un paradigma nativo.

4. Resultados y Afirmaciones

El artículo no presenta un nuevo algoritmo SOTA, sino un artículo de posición que reencuadra el discurso. Sus principales "resultados" son analíticos:

1. Reencuadre de Limitaciones: Demuestra que las barreras de escalabilidad son a menudo artefactos de decisiones de diseño (espacio completo, centrado en el estimador) en lugar de imposibilidades fundamentales.
2. Sinergia de Sistemas: Argumenta que la simplicidad de ZO se alinea naturalmente con entornos distribuidos y con recursos limitados, ofreciendo ventajas en eficiencia de comunicación y de pipeline que los métodos FO no pueden igualar.
3. Sesgo de Evaluación: Proporciona evidencia de que las pruebas de referencia actuales pueden exagerar el rendimiento de ZO debido a la alineación de tareas, instando a un cambio hacia una evaluación más honesta y desenmascarada.

5. Significado y Conclusión

El artículo afirma que la optimización ZO está subexplorada, no subpotenciada. Al cambiar el enfoque de simplemente refinar estimadores de gradientes a aprovechar estructuras de subespacio, simplicidad a nivel de sistemas y evaluación rigurosa, la comunidad puede desbloquear una vía viable para el aprendizaje a gran escala y eficiente en recursos.

Los autores concluyen que la optimización ZO tiene el potencial de transformarse de una solución de emergencia de nicho en un paradigma práctico para entrenar sistemas de IA modernos en entornos restringidos, híbridos y emergentes (por ejemplo, gemelos digitales, sistemas informados por física y computación cuántica). El significado radica en democratizar el acceso al entrenamiento de grandes modelos (reduciendo los requisitos de memoria y hardware) y permitir el aprendizaje en sistemas no diferenciables donde la retropropagación es imposible. El artículo pide un replanteamiento sistemático de las pilas algorítmica, de sistemas y de evaluación para realizar plenamente estas ganancias potenciales.