Resumen Técnico: HYPER-ES

Planteamiento del Problema

Las Estrategias de Evolución (ES) ofrecen una alternativa prometedora y eficiente en memoria al ajuste fino basado en gradientes para los Modelos de Lenguaje Extensos (LLMs), particularmente en escenarios con restricciones de recursos donde la retropropagación es prohibitivamente costosa. Sin embargo, aplicar directamente ES a LLMs de miles de millones de parámetros para tareas de razonamiento es altamente ineficaz. El artículo identifica dos fallos geométicos fundamentales en las ES de alta dimensión:

1. Fallo de Descubrimiento Direccional: En espacios de alta dimensión, las perturbaciones aleatorias son casi ortogonales a las direcciones de descenso útiles. A medida que la dimensión de los parámetros $d$ crece, la probabilidad de que una perturbación aleatoria se alinee con el gradiente óptimo se desvanece, lo que debilita la señal direccional de la población.
2. Camino Aleatorio Ortogonal: Incluso si las actualizaciones individuales de ES no son informativas respecto a la reducción de la pérdida, las actualizaciones repetidas de ES se acumulan en el espacio de parámetros. Esto causa que el modelo se desvíe de la inicialización preentrenada (camino aleatorio) sin realizar un progreso significativo, lo que conduce a una optimización inestable.

Los métodos existentes basados en gradientes, como la Optimización de Política Relativa de Grupo (GRPO), logran un sólido rendimiento de razonamiento pero sufren un alto consumo de memoria y tiempo debido a la retropropagación. Por el contrario, la ES directa evita la retropropagación pero falla en converger eficazmente en el espacio completo de parámetros.

Metodología: HYPER-ES

Los autores proponen HYPER-ES (Hyper-ES), un marco de Estrategia de Evolución basado en subespacios que desacopla el descubrimiento de direcciones de actualización del proceso de optimización libre de derivadas. En lugar de buscar en el espacio completo de parámetros, HYPER-ES restringe la búsqueda de ES a un subespacio compacto y alineado con la tarea, construido a partir de direcciones de descenso.

El método opera en dos etapas:

1. Inicio (Start-up): Preparación de Direcciones de Descenso

HYPER-ES comienza construyendo un conjunto de direcciones de descenso relevantes para la tarea ($\Delta\theta$) utilizando un número pequeño de actualizaciones basadas en gradientes de bajo costo:

• El conjunto de datos de entrenamiento se particiona en $N$ subconjuntos.
• Se realiza una actualización corta de tipo LoRA-GRPO de pocos pasos (típicamente 7 pasos) en cada subconjiente.
• Estas ejecuciones cortas no pretenden producir modelos de alto rendimiento de forma independiente, sino extraer de manera económica deltas de LoRA ($\Delta\theta_i$) que contengan señales específicas de la tarea.
• Estos deltas forman un "pool de direcciones" $P = \{\Delta\theta_i\}$, que sirve como base para la búsqueda subsiguiente.

2. Búsqueda de Hyper-ES sobre Direcciones

Una vez fijado el pool de direcciones, HYPER-ES emplea la Estrategia de Adaptación de Matriz de Covarianza de Evolución (CMA-ES) para optimizar los coeficientes de fusión de estas direcciones, en lugar de los pesos del modelo propiamente dichos.

• Variable de Búsqueda: La variable de optimización $z$ consiste en coeficientes por capa que determinan cómo combinar las direcciones de LoRA almacenadas en caché. Específicamente, para cada grupo de capas, $z$ controla:
  • Logits de tasa de abandono (Drop-rate logits): Que gobiernan la esparsificación DARE (Drop and Add Randomly) para reducir la interferencia.
  • Logits de peso de mezcla (Mixing-weight logits): Que determinan la fuerza de contribución de cada dirección.
• Proceso de Fusión: Las variables de búsqueda se decodifican en un modelo fusionado utilizando un procedimiento DARE–TIES (TIES-Merging):
  • Las direcciones se esparsifican basadas en las tasas de abandono.
  • Los conflictos de signo se resuelven mediante TIES (elección de signo y fusión disjunta).
  • Se aplica una escala global $\gamma$.
• Optimización: CMA-ES optimiza los coeficientes de fusión $z$ para maximizar la precisión de validación. Esto transforma el problema de optimización de la búsqueda de millones/miles de millones de pesos a la búsqueda en un espacio de baja dimensión de tamaño $L \times 2N$ (por ejemplo, 960 parámetros para un modelo de 0.5B).

Contribuciones Clave

1. Marco HYPER-ES: Un nuevo marco de ES que convierte la búsqueda de parámetros completos en una búsqueda compacta de coeficientes por capa sobre actualizaciones de LoRA relevantes para la tarea. Cambia el rol de la ES de descubrir direcciones a seleccionar y fusionar direcciones de descenso preidentificadas.
2. Construcción de Direcciones de Pocos Pasos (Few-Shot): El método utiliza actualizaciones GRPO de pocos pasos para construir direcciones de descenso informativas, permitiendo que la ES evite la exploración aleatoria de alta dimensión mientras mantiene su naturaleza de bajo consumo de memoria y paralelizable.
3. Validación Empírica: Una evaluación extensiva a través de tres backbones de LLM (Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B) y seis benchmarks de razonamiento matemático demuestra que HYPER-ES mejora consistentemente sobre las líneas base de fusión de modelos y supera de forma ligera pero constante a GRPO de una sola etapa.

Resultados

El artículo reporta los siguientes hallazgos clave:

• Rendimiento: HYPER-ES logra una ganancia de rendimiento de hasta un 1% sobre las líneas base de GRPO-LoRA en conjuntos de datos de aritmética y razonamiento matemático complejo (ej. GSM8K, MATH-500, AMC2023), con ganancias que a menudo son marginales (ej. 0.58% en Qwen2.5-1.5B).
• Eficiencia: El método requiere un 10% menos de actualizaciones de gradiente que consumen espacio en comparación con el GRPO-LoRA estándar.
• Memoria: Al evitar la retropropagación completa durante la etapa de ES y utilizar la generación de direcciones en paralelo de pocos pasos, HYPER-ES mantiene una huella de memoria comparable a una ejecución de GRPO única, reduciendo significativamente el tiempo de ejecución (aproximadamente un 24% de reducción en el experimento de 0.5B debido a la paralelización).
• Ablación: Eliminar la etapa de CMA-ES o utilizar direcciones aleatorias en lugar de las direcciones derivadas de GRPO resulta en caídas significativas de rendimiento, confirmando que las ganancias provienen de la búsqueda sobre direcciones de descenso significativas en un espacio de baja dimensión.

Significado y Reivindicaciones

El artículo afirma que HYPER-ES aborda la limitación fundamental de la ES directa en los LLMs: la incapacidad de encontrar direcciones útiles en espacios de alta dimensión. Al aprovechar ejecuciones basadas en gradientes de pocos pasos para definir un "manifold alineado con la tarea", el método permite que la optimización libre de derivadas opere en un régimen donde es más efectiva.

Los autores posicionan a HYPER-ES como un método de ajuste fino con restricciones de recursos que ofrece un compromiso práctico: retiene la eficiencia de memoria de la ES mientras logra un rendimiento comparable o ligeramente superior al de los métodos de aprendizaje por refuerzo basados en gradientes. El trabajo sugiere que las ejecuciones cortas basadas en gradientes pueden servir para un doble propósito: no solo para el entrenamiento directo, sino también para definir subespacios de baja dimensión útiles para la optimización posterior sin derivadas.

El artículo mantiene la modestia respecto a su alcance, señalando que actualmente se centra en GRPO como el proveedor de direcciones y que trabajos futuros podrían explorar otros métodos de gradiente inicial (ej. SFT, OPD) o la adquisición dinámica de direcciones en línea.