🤖 AI

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

Autores originales: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Publicado 2026-05-11

📖 5 min de lectura🧠 Análisis profundo

Autores originales: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Mochila Pesada"

Imagina que tienes un estudiante brillante (un Modelo de Lenguaje Grande o LLM) que es bueno en matemáticas pero necesita tutoría extra para volverse realmente experto resolviendo problemas de palabras complicados.

Por lo general, la mejor manera de tutorar a este estudiante es mediante un método llamado Aprendizaje por Refuerzo (RL). Piensa en el RL como un entrenador muy estricto y de alta tecnología que observa cada movimiento que hace el estudiante, calcula exactamente cómo mejorar y da retroalimentación inmediata. Funciona muy bien, pero tiene una desventaja masiva: requiere una mochila gigantesca de memoria de computadora (memoria GPU) para cargar todos los cálculos.

Para un problema matemático estándar, esta "mochila" podría pesar tanto como un automóvil pequeño (cientos de gigabytes). La mayoría de las personas y los laboratorios pequeños no tienen una computadora del tamaño de un automóvil para cargar esta carga, por lo que no pueden usar este potente método de entrenamiento.

La Vieja Solución: El Equipo de "Prueba y Error"

Para evitar la mochila pesada, los investigadores probaron un método diferente llamado Estrategias Evolutivas (ES).

Cómo funciona: En lugar de un entrenador estricto, imagina un equipo de 100 exploradores. Todos comienzan en el mismo lugar, pero cada uno toma un camino ligeramente diferente y aleatorio (una "perturbación"). Todos intentan resolver el problema matemático. Aquellos que obtienen la respuesta correcta reciben una "recompensa". Luego, el equipo mira a los ganadores y dice: "Bien, movámonos todos un poco en la dirección a la que fueron los ganadores".
El Beneficio: Este método es increíblemente ligero. No necesita la mochila pesada porque no realiza cálculos complejos hacia atrás. Solo necesita suficiente memoria para ejecutar el modelo una vez (como un usuario estándar).
El Defecto: Aunque es ligero, los exploradores a menudo se quedan atrapados en "valles poco profundos". Encuentran una solución que funciona más o menos, pero no es muy robusta. Si les das un problema matemático ligeramente diferente, podrían confundirse. Les falta generalización (la capacidad de aplicar lo aprendido a nuevas situaciones).

La Nueva Solución: ESSAM (El "Senderista Inteligente")

Los autores proponen un nuevo método llamado ESSAM (Estrategias Evolutivas con Maximización Consciente de la Agudeza). Querían mantener la mochila ligera del equipo de "Prueba y Error" pero añadir la "inteligencia" del entrenador estricto para mejorar los resultados.

Así es como funciona ESSAM, usando una analogía de senderismo:

El Problema de la "Agudeza": Imagina que los exploradores están caminando hacia un pico (la mejor respuesta). A veces, encuentran un pico que parece alto pero que en realidad es una roca afilada y dentada. Si sopla el viento (un nuevo problema matemático), caen fácilmente. Esto es un "mínimo agudo".
El Truco de ESSAM: Antes de que el equipo se comprometa a moverse en una dirección específica, ESSAM envía a un explorador a verificar el terreno alrededor de esa dirección.
- El explorador pregunta: "Si nos movemos así, ¿el suelo es plano y estable, o es un acantilado dentado?"
- Si el suelo es dentado (agudo), el equipo retrocede ligeramente. Buscan una dirección donde el suelo sea plano y ancho (un "mínimo plano").
- Un pico plano es más seguro. Incluso si sopla el viento o el problema cambia ligeramente, el equipo se mantiene arriba.

En términos técnicos: ESSAM toma el método estándar de "Prueba y Error" y añade una "sonda de vecindad". Mueve temporalmente los parámetros del modelo a un lugar cercano, verifica si la recompensa es estable allí y usa esa información para guiar la actualización principal. Esto obliga al modelo a encontrar soluciones que sean robustas, no solo afortunadas.

Los Resultados: Ligero como una Pluma, Fuerte como un Buey

El artículo probó esto en un conjunto de datos matemáticos popular llamado GSM8K (una colección de problemas de palabras de matemáticas de escuela primaria).

Rendimiento: ESSAM funcionó tan bien como los métodos pesados y hambrientos de memoria de Aprendizaje por Refuerzo (como PPO y GRPO). De hecho, en algunos modelos, fue incluso mejor.
Memoria: Este es el gran triunfo. Mientras que los métodos pesados necesitaban cientos de gigabytes de memoria, ESSAM usó la misma cantidad diminuta de memoria que el método básico de "Prueba y Error".
- La Analogía: Si los métodos antiguos necesitaban un camión semirremolque para llevar su equipo, ESSAM cabe en una bicicleta.
- Las Estadísticas: Usó 18 veces menos memoria que el método pesado estándar (PPO) y 10 veces menos que el otro método popular (GRPO).
Generalización: Cuando se probó en problemas matemáticos que no habían visto antes (conjuntos de datos diferentes), los modelos entrenados con ESSAM fueron mucho mejores resolviéndolos que los modelos estándar de "Prueba y Error". Habían aprendido el concepto de las matemáticas, no solo habían memorizado las respuestas específicas.

La Versión "Turbo" (ESSAM-F)

Los autores también crearon una versión más rápida llamada ESSAM-F.

Cómo funciona: Utiliza un equipo más pequeño de exploradores para la fase de "verificación".
El Resultado: Se ejecuta dos veces más rápido que el ESSAM original, utilizando la misma cantidad diminuta de memoria y manteniendo casi la misma alta precisión.

Resumen

El artículo presenta ESSAM, una nueva forma de enseñar matemáticas a la IA. Combina el bajo costo de los métodos de "Prueba y Error" con una verificación inteligente de estabilidad (Maximización Consciente de la Agudeza).

Antes: Tenías que elegir entre "Alto Rendimiento pero Pesado/Caro" (RL) o "Ligero/Barato pero Débil" (ES estándar).
Ahora: Con ESSAM, obtienes el Alto Rendimiento de los métodos pesados con la huella Ligera/Barata de los métodos simples. Permite a laboratorios más pequeños y comunidades de código abierto entrenar IA potente de razonamiento matemático sin necesidad de supercomputadoras.

Resumen Técnico: ESSAM – Estrategias de Evolución con Maximización Consciente de la Agudeza

Planteamiento del Problema
El Aprendizaje por Refuerzo (RL), particularmente algoritmos como la Optimización de Política Próxima (PPO) y la Optimización de Política Relativa de Grupos (GRPO), se ha convertido en un pilar fundamental para mejorar las capacidades de razonamiento matemático de los Modelos de Lenguaje Grandes (LLM). Sin embargo, estos métodos imponen requisitos prohibitivos de memoria GPU debido a su dependencia de la retropropagación, las redes de valor y las actualizaciones de política. Por ejemplo, el ajuste fino de un modelo de 8 mil millones de parámetros con PPO puede requerir más de 300 GiB de memoria GPU, haciéndolo inaccesible para comunidades de código abierto con recursos limitados. Aunque las Estrategias de Evolución (ES) ofrecen una alternativa de orden cero y eficiente en memoria al depender únicamente de la generación hacia adelante y la evaluación de recompensas, a menudo sufren de una generalización deficiente. Las ES estándar tienden a conducir a los modelos hacia "mínimos agudos" en el espacio de parámetros, lo que resulta en un rendimiento subóptimo en tareas de razonamiento convencionales como GSM8K en comparación con los métodos de RL.

Metodología: ESSAM
Los autores proponen ESSAM (Estrategias de Evolución con Maximización Consciente de la Agudeza), un marco de ajuste fino de parámetros completos que integra las capacidades de búsqueda de orden cero de las ES con los principios de mejora de la generalización de la Maximización Consciente de la Agudeza (SAM).

Mecanismo Central: A diferencia de las ES estándar, que actualizan los parámetros directamente basándose en direcciones de ruido ponderadas por recompensa, ESSAM introduce un proceso de actualización en dos etapas:
- Etapa 1 (Sondeo del Vecindario): El algoritmo calcula una agregación ponderada por recompensa de las direcciones de ruido para mover los parámetros actuales $\theta_t$ en la dirección opuesta al gradiente de recompensa (hacia una región "aguda"). Esto crea un punto de vecindario perturbado $\theta^{SAM}_t$ .
- Etapa 2 (Actualización Inversa): El algoritmo evalúa la recompensa en este punto perturbado $\theta^{SAM}_t$ y utiliza las señales de recompensa resultantes para actualizar los parámetros originales $\theta_t$ . Al efectivamente "mirar hacia adelante" a la región aguda y actualizar basándose en el paisaje perturbado, el método guía la optimización hacia mínimos más planos, los cuales están asociados con una mejor generalización y robustez.
Eficiencia de Memoria: ESSAM conserva la naturaleza de orden cero de las ES, no requiriendo retropropagación ni almacenamiento de gradientes/activaciones. Utiliza técnicas de ahorro de memoria (como actualizaciones en el lugar y reproducción de semillas) para mantener el uso de memoria GPU a escalas de "nivel de inferencia", significativamente inferiores a los métodos de RL.
Variante Acelerada (ESSAM-F): Para mejorar la velocidad de entrenamiento, los autores proponen ESSAM-F. Esta variante emplea un tamaño de población más pequeño para la etapa inicial de sondeo del vecindario SAM y utiliza la normalización de la norma de Frobenius para la dirección de perturbación. Esto reduce la sobrecarga computacional manteniendo la misma huella de memoria baja.
Protocolo de Entrenamiento: Los autores enfatizan un procedimiento de entrenamiento estandarizado, que incluye divisiones estándar de entrenamiento/evaluación, mezcla de datos (shuffling) y actualizaciones de múltiples pasos con mini-lotes pequeños, abordando las inconsistencias anteriores en la literatura de ES.

Contribuciones Clave

Marco Novel: Introducción de ESSAM, el primer método de ajuste fino de parámetros completos de orden cero que integra exitosamente mecanismos SAM para LLMs, guiando la optimización hacia mínimos planos sin computación de gradientes.
Estandarización: Extensión del ajuste fino de orden cero a la tarea de razonamiento matemático convencional GSM8K utilizando una tubería de entrenamiento rigurosa y estándar (mezcla, mini-lotes) para garantizar estabilidad y reproducibilidad.
Variante Acelerada: Desarrollo de ESSAM-F, que logra una aceleración casi de dos veces sobre ESSAM mientras preserva la eficiencia de memoria y la precisión competitiva.
Eficiencia de Recursos: Demostración de que el ajuste fino de parámetros completos puede lograrse con memoria GPU de nivel de inferencia, reduciendo drásticamente la barrera de entrada para la investigación de razonamiento en LLMs.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos GSM8K a través de diversas familias de modelos (Qwen2.5 y LLaMA3) que van desde 0.5B hasta 8B parámetros.

Rendimiento en GSM8K: ESSAM logró una precisión promedio del 78.27% en todos los modelos. Esto supera significativamente a las ES estándar (75.97%) y supera a PPO (77.72%). Es comparable a GRPO (78.34%) y lo excede en modelos específicos.
Generalización: En seis puntos de referencia fuera de distribución (incluyendo SVAMP, MATH y AMC), los modelos ajustados finamente con ESSAM lograron el mejor rendimiento promedio en 5 de 6 conjuntos de datos, demostrando una transferibilidad superior en comparación con ES, PPO y GRPO.
Uso de Memoria: ESSAM reduce el uso de memoria GPU en aproximadamente 18× en comparación con PPO y 10× en comparación con GRPO. Para un modelo de 8B, ESSAM utiliza aproximadamente 21.45 GiB, mientras que PPO requiere ~314.44 GiB.
Eficiencia: La variante acelerada, ESSAM-F, logró una precisión promedio del 78.02% (superando a PPO) con una aceleración de casi 2× en el tiempo de entrenamiento en comparación con ESSAM estándar, manteniendo un uso de memoria idéntico.

Significado y Afirmaciones
El artículo afirma que ESSAM proporciona una alternativa práctica y eficiente en recursos al RL para el ajuste fino de LLMs en tareas de razonamiento matemático. Al combinar la eficiencia de memoria de las Estrategias de Evolución con los beneficios de generalización de la Maximización Consciente de la Agudeza, ESSAM cierra la brecha de rendimiento entre los métodos de orden cero y el RL basado en gradientes. Los autores afirman que su enfoque hace factible el ajuste fino de razonamiento de alto rendimiento en LLMs en entornos con recursos limitados, ofreciendo un camino viable para que la comunidad de código abierto desarrolle modelos de razonamiento robustos sin acceso a clústeres computacionales masivos. El trabajo destaca que la eficiencia de memoria no requiere un compromiso en el rendimiento del modelo o la capacidad de generalización.