🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

El artículo presenta la Estrategia de Evolución de Subespacio de Parámetros Cooperativa (CoPES), un método eficiente en memoria que descompone el espacio de parámetros para permitir el postentrenamiento efectivo de LLMs agénticos con recursos limitados, logrando el 92% de las ganancias de rendimiento de GRPO de parámetros completos con requisitos de memoria GPU significativamente menores.

Autores originales: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo charlan, sino que realmente hacen cosas. Pueden navegar por la web, ejecutar código y resolver acertijos complejos realizando muchos pasos, revisando su trabajo e intentándolo de nuevo. Esta es la emocionante frontera de la IA "agéntica". Pero hay un inconveniente: enseñar a estos ayudantes digitales a mejorar es increíblemente costoso. La forma habitual de entrenarlos es como un videojuego de alto riesgo donde la computadora intenta descubrir el movimiento perfecto calculando los "gradientes" (la pendiente matemática del éxito) para cada una de las partes de su cerebro a la vez. Esto requiere una cantidad masiva de memoria de computadora, como intentar retener una biblioteca de libros en tu cabeza mientras resuelves un acertijo. Si la tarea es larga y complicada, la memoria necesaria explota, haciendo imposible que la mayoría de las personas entrenen estos agentes sin una supercomputadora.

Entra en escena un enfoque diferente llamado "Estrategias Evolutivas". En lugar de calcular pendientes, este método es más parecido a un juego de "caliente o frío". Realizas cambios pequeños y aleatorios en el cerebro de la IA, ves si mejora y, si es así, conservas el cambio. Es mucho más ligero en memoria porque no necesitas recordar el camino que seguiste para llegar allí. Sin embargo, surge un nuevo problema: debido a que estás adivinando al azar, necesitas probar muchas veces para obtener buenos resultados, lo que requiere una enorme cantidad de tiempo y potencia de cómputo. Es como intentar encontrar una aguja en un pajar revisando una paja a la vez; eventualmente la encontrarás, pero podrías estar ahí durante un siglo. La gran pregunta para los científicos es: ¿Podemos mantener el ahorro de memoria del método de "caliente o frío" pero hacerlo lo suficientemente rápido como para que sea útil con solo unas pocas computadoras regulares?

Este artículo presenta un nuevo y astuto truco llamado CoPES (Estrategia de Evolución de Subespacio de Parámetros Cooperativa) para resolver exactamente ese problema. Los investigadores se dieron cuenta de que intentar cambiar todo el cerebro de la IA a la vez es ineficiente. Así que dividieron el cerebro en trozos más pequeños y manejables. Imagina que estás afinando una orquesta masiva para que suene perfecta. En lugar de pedirle a cada músico que cambie su instrumento al azar al mismo tiempo (lo que crea caos), le pides a la sección de violines que pruebe una nueva configuración, luego a la sección de metales, luego a la de percusión, mientras todos los demás permanecen quietos. Al probar estos grupos más pequeños uno por uno, pero manteniendo a toda la orquesta tocando junta, puedes descubrir qué funciona mucho más rápido.

En el artículo, los autores probaron esto en un modelo de IA específico (Qwen3.5-4B) entrenado para resolver problemas matemáticos. Compararon su nuevo método de "afinador de orquesta" contra el método estándar de "caliente o frío" y el método de "gradiente" de gran memoria. Encontraron que CoPES fue un cambio radical para entornos con recursos limitados. Mientras que el método aleatorio estándar necesitó aproximadamente 480.60 horas-GPU (una medida de tiempo de computadora) para alcanzar un buen nivel de rendimiento, CoPES logró resultados casi similares en solo 68.65 horas-GPU. Aún más impresionante, bajo un límite de tiempo estricto donde el método de gran memoria solo pudo entrenar durante 16 pasos, CoPES recuperó el 92% de las ganancias de rendimiento que logró el método pesado, mientras que el método aleatorio estándar solo logró el 67%.

El estudio también demostró que CoPES es mucho más práctico para el hardware cotidiano. Mientras que el método de gran memoria requería una configuración masiva de 8 GPUs de alta gama para siquiera comenzar el entrenamiento en tareas largas, CoCPES pudo ejecutarse con éxito en una sola GPU estándar de 24GB. Esto significa que, en lugar de necesitar un centro de datos, un investigador con una sola computadora potente ahora puede entrenar agentes de IA avanzados. Los autores también probaron el método en tareas de respuesta de preguntas, no solo en matemáticas, y encontraron que funcionaba bien allí también, superando consistentemente al enfoque aleatorio estándar.

El artículo sugiere que, al dividir el problema en subgrupos cooperativos y combinar cuidadosamente los resultados, podemos obtener lo mejor de ambos mundos: el bajo costo de memoria de los métodos evolutivos y la alta velocidad de los métodos basados en gradientes. No pretende ser una solución mágica que lo resuelva todo instantáneamente, pero demuestra un equilibrio significativamente mejor entre memoria y tiempo. Los resultados indican que, con esta nueva estrategia, el entrenamiento de agentes de IA potentes se vuelve factible para muchas más personas, convirtiendo una tarea que antes requería una supercomputadora en algo alcanzable en una sola estación de trabajo.

Resumen Técnico: Coevolución Cooperativa para el Post-entrenamiento de LLM Agénticos con Restricciones de Recursos

Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) que utilizan herramientas generan trayectorias largas y de múltiples turnos para resolver tareas complejas. Si bien el post-entrenamiento con recompensas verificables (por ejemplo, mediante Aprendizaje por Refuerzo) es un método escalable para mejorar el comportamiento de los agentes, enfrenta un cuello de botella crítico en entornos con restricciones de recursos.

Los métodos basados en gradientes, como la Optimización de Política Relativa de Grupo (GRPO), requieren la retropropagación a través de estas largas trayectorias. Esto exige el almacenamiento de los pesos del modelo, gradientes, estados del optimizador y, crucialmente, activaciones intermedias. A medida que la longitud del contexto aumenta, la memoria de activación se vuelve prohibitiva, lo que a menudo requiere clústeres de GPU de alta gama que no están disponibles para muchos investigadores. Por el contrario, las Estrategias de Evolución (ES) ofrecen una alternativa con eficiencia de memoria al evitar por completo la retropropagación, requiriendo únicamente la generación hacia adelante (forward generation) y la evaluación de la recompensa. Sin embargo, la ES estándar es computacionalmente costosa, requiriendo típicamente significativamente más horas de GPU que los métodos basados en gradientes para alcanzar un rendimiento comparable. En entornos con restricciones de recursos y conteos limitados de GPU, esta alta demanda computacional se traduce en tiempos de entrenamiento de tiempo de ejecución (wall-clock time) imprácticamente largos.

El desafío central abordado es cómo mejorar la eficiencia de optimización de ES sin sacrificar sus ventajas de memoria, específicamente para el post-entrenamiento de LLM agénticos de parámetros completos.

Metodología: Estrategia de Evolución de Subespacio de Parámetros Cooperativa (CoPES)

Para abordar el cuello de botella de eficiencia, los autores proponen la Estrategia de Evolución de Subespacio de Parámetros Cooperativa (CoPES), un método de coevolución cooperativa adaptado para ES de parámetros completos.

Mecanismo Central

CoPES descompone el espacio de parámetros completo de alta dimensión ( $\mathbb{R}^d$ ) en $K$ subespacios de menor dimensión y mutuamente disjuntos. En lugar de perturbar el espacio de parámetros completo simultáneamente para cada evaluación, CoPES realiza búsquedas cooperativas dentro de estos subespacios:

Partición Aleatoria: En cada paso de entrenamiento, los índices de los parámetros se particionan aleatoriamente en $K$ subespacios de igual tamaño ( $S_1, \dots, S_K$ ).
Búsqueda de Subespacio Cooperativa: El presupuesto total de perturbación $N$ se distribuye entre los subespacios ( $N_k = N/K$ ). Para cada subespacio $k$ , se generan $N_k$ modelos perturbados añadiendo ruido solo a los parámetros en $S_k$ , mientras que todos los demás parámetros permanecen fijos en sus valores actuales. Esto proporciona un contexto de modelo completo compartido para evaluar el impacto de los cambios en un subespacio específico.
Escalamiento de Perturbación Consciente de la Dimensión: Para asegurar que la magnitud de las perturbaciones del subespacio coincida con la norma al cuadrado esperada de una perturbación del espacio completo, la escala de perturbación $\sigma_k$ se ajusta: $\sigma_k = \sqrt{K}\sigma$ .
Estandarización de Recompensa Conjunta: A diferencia de la ES estándar que estandariza las recompensas dentro de una sola población, CoPES agrupa las recompensas de los $N$ modelos perturbados a través de todos los $K$ subespacios. Calcula una media global ( $\mu_c$ ) y una desviación estándar ( $s_c$ ) para estandarizar todas las recompensas ( $\hat{r}_{k,i}$ ). Esto proporciona estadísticas de normalización estables y una escala de recompensa común para combinar las actualizaciones de los subespacios.
Actualización Sincrónica: Las direcciones de los subespacios se estiman y se componen en una actualización de parámetros completos: $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ , donde $g_k$ es la dirección de gradiente estimada para el subespacio $k$ .

Detalles de Implementación

Para mantener la eficiencia de memoria, CoPES emplea:

Replay de Semillas (Seed Replay): Las perturbaciones se regeneran a partir de semillas aleatorias en lugar de almacenar vectores de perturbación completos.
Respaldo de Pesos (Weight Backup): Los pesos previos a la perturbación se respaldan en la memoria CPU para asegurar que cada evaluación comience exactamente desde el mismo estado del modelo, evitando errores residuales de punto flotante.
Procesamiento por Bloques (Chunked Processing): Los parámetros se procesan en bloques para gestionar el uso de memoria.

Contribuciones Clave

Algoritmo Novedoso: CoPES se presenta como el primer método de coevolución cooperativa diseñado específicamente para el post-entrenamiento de LLM agénticos de parámetros completos. Combina la descomposición del espacio de parámetros con la estandarización de recompensa conjunta.
Compromiso Eficiencia-Memoria: El método mejora la eficiencia de la optimización de presupuesto fijo preservando la naturaleza de parámetros completos y de eficiencia de memoria de la ES estándar. Evita la sobrecarga de retropropagación de los métodos basados en gradientes y el alto tiempo de ejecución de la ES estándar.
Validación Empírica: Extensos experimentos en tareas de matemáticas y de respuesta a preguntas (QA) de múltiples saltos validan el método a través de múltiples métricas, incluyendo pruebas de viabilidad de hardware y ablaciones controladas.

Resultados Experimentales

Los autores evaluaron CoPES en un modelo Qwen3.5-4B en cinco benchmarks de matemáticas (AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test) y tres benchmarks de QA (HotpotQA, 2Wiki, MuSiQue).

Rendimiento vs. RL Basado en Gradientes (GRPO)

Eficiencia de Memoria: El análisis teórico muestra que CoPES requiere menos de 1/8 de la memoria de GPU de GRPO de parámetros completos. En la práctica, CoPES puede entrenarse en una única GPU de 24GB, mientras que GRPO de parámetros completos requiere 8 GPUs de 48GB para contextos de 128K.
Rendimiento de Presupuesto Fijo: Bajo un presupuesto de horas de GPU equivalente al mejor checkpoint de validación de GRPO de parámetros completos (16 pasos de entrenamiento):
- CoPES recuperó el 92% de la ganancia de precisión de validación lograda por GRPO de parámetros completos.
- La ES estándar recuperó solo el 67%.
- CoPES superó consistentemente tanto a la ES estándar como a la GRPO basada en LoRA en todas las métricas pass@k en los cinco benchmarks de matemáticas.
Escalabilidad: En los desafiantes benchmarks AIME 2024 y AIME 2025, CoPES superó a GRPO de parámetros completos en valores de $k$ más grandes (pass@k) a pesar de usar el mismo presupuesto de entrenamiento fijo.

Rendimiento vs. ES Estándar

CoPES superó significativamente a la ES estándar en todas las métricas evaluadas.
Estudios de Ablación:
- Conteo de Subespacios ( $K$ ): El rendimiento mejoró a medida que $K$ aumentó de 1 a 4, pero cayó drásticamente en $K=8$ debido a la población insuficiente por subespacio ( $N_k=5$ ).
- Estandarización Conjunta: El uso de la estandarización de recompensa conjunta a través de todos los subespacios produjo puntuaciones pass@1 más altas en comparación con la estandarización independiente dentro de cada subespacio.
- Escala de Perturbación: La ganancia de rendimiento no se debió únicamente a la mayor escala de perturbación por coordenada ( $\sigma_k = \sqrt{K}\sigma$ ); la ES estándar con la misma escala aumentada funcionó peor.

QA de Múltiples Saltos

En tareas de respuesta a preguntas, CoPES superó a la ES estándar en todas las combinaciones de métricas de benchmarks y se mantuvo competitivo con GRPO de parámetros completos, demostrando la aplicabilidad del método más allá del razonamiento matemático.

Significado y Reivindicaciones

El artículo afirma que CoPES ofrece una solución práctica para el post-entrenamiento de LLM agénticos bajo restricciones de recursos. Al descomponer el espacio de búsqueda y estandarizar las recompensas de forma conjunta, CoPES logra un compromiso superior entre los requisitos de memoria y el tiempo de entrenamiento. Permite el uso de estrategias de evolución de parámetros completos en hardware de consumo o con GPUs limitadas (por ejemplo, una sola GPU de 24GB) donde los métodos de gradiente de parámetros completos son inviables debido a los límites de memoria, y donde la ES estándar es demasiado lenta debido a sus costos computacionales. Los autores enfatizan que su enfoque retiene la ventaja de "solo hacia adelante" (forward-only) de la ES mientras mitiga su principal desventaja computacional.