PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

Resumen Técnico de PACEvolve++: Mejora del Aprendizaje en Tiempo de Prueba para Agentes de Búsqueda Evolutiva

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLM) han surgido como impulsores efectivos para la búsqueda evolutiva, permitiendo el descubrimiento autónomo en problemas de optimización abiertos. Sin embargo, los sistemas existentes suelen depender de una política de razonamiento fija, elicita por prompts, para muestrear los siguientes candidatos. Aunque la experiencia de búsqueda útil puede acumularse en el contexto (andamio) del sistema, no se internaliza en las preferencias de decisión del modelo. Esta limitación es particularmente consequential en tareas prácticas de ingeniería e investigación (por ejemplo, equilibrado de carga de MoE, extrapolación de aptitud de proteínas) donde las evaluaciones son costosas y el progreso depende del reconocimiento de patrones a través de intentos anteriores. Una política fija puede condicionarse a la historia mediante el contexto, pero falla en adaptar su estrategia de decisión para priorizar direcciones que sean novedosas, factibles y propensas a mejorar la frontera evolutiva. Además, el entrenamiento de extremo a extremo de un único modelo tanto para la toma de decisiones estratégicas como para la implementación de código a menudo entrelaza la calidad de la hipótesis con la corrección de la implementación, creando señales ruidosas para la adaptación.

Metodología
Los autores introducen PACEvolve++, un marco de aprendizaje por refuerzo (RL) de modelo asesor diseñado para la adaptación de políticas en tiempo de prueba en agentes de búsqueda evolutiva. La metodología se basa en dos pilares fundamentales:

1. Descomposición Modelo Asesor:
   El marco desacopla las decisiones estratégicas de búsqueda de la implementación de código.

   • El Asesor: Un modelo más pequeño y entrenable responsable del razonamiento estratégico de alto nivel, incluida la generación de hipótesis, la evaluación de novedad y la selección de mutaciones.
   • El Modelo de Frontera: Un modelo más potente y congelado (por ejemplo, Gemini) responsable de traducir las hipótesis seleccionadas por el asesor en código ejecutable.
     Esta separación permite que el sistema aprenda priores de búsqueda específicos de la tarea sin verse obstaculizado por los fallos de implementación de bases de código complejas, que a menudo plagian el entrenamiento de extremo a extremo.

2. Aprendizaje por Refuerzo Adaptativo por Fase:
   Reconociendo que la naturaleza de la retroalimentación cambia a medida que avanza una búsqueda evolutiva, PACEvolve++ emplea una estrategia dinámica de asignación de crédito que se adapta a la fase de búsqueda:

   • Fase de Exploración (Temprana): Cuando los candidatos difieren sustancialmente en mecanismo y calidad, el sistema utiliza retroalimentación relativa a grupos (similar a GRPO). Esto proporciona señales densas e informativas para aprender preferencias de búsqueda amplias e identificar familias de mutaciones prometedoras sin convergencia prematura.
   • Fase de Refinamiento (Tardía): A medida que la búsqueda converge y las brechas de recompensa se comprimen (los candidatos se convierten en variantes de vecinos cercanos de padres fuertes), las señales relativas a grupos se vuelven ineficaces y pueden causar inestabilidad en la optimización. El sistema cambia a una señal de contribución a la frontera basada en la Optimización de Política Pass@k (PKPO). Específicamente, utiliza un estimador SLOO (Leave-One-Out) de baja varianza para acreditar a los candidatos en función de si cambian la frontera "mejor de k". Esto alinea el objetivo de entrenamiento con la estructura de recompensa de disminución logarítmica de la búsqueda evolutiva de largo horizonte.

   El beneficio final es una mezcla lineal de estas dos señales, donde el peso de la señal de contribución a la frontera ($\alpha_t$) escala linealmente de 0 a 1 durante todo el entrenamiento. Además, el marco utiliza formulación de recompensa normalizada por progreso para mapear métricas de tarea heterogéneas (maximización/minimización) en una escala unificada.

Contribuciones Clave

• Adaptación de Política Basada en Asesor: El artículo propone una arquitectura novedosa que aísla la capa de decisión entrenable (asesor) de la capa de implementación. Esto permite que el sistema internalice priores de búsqueda dinámicos (por ejemplo, qué familias de mutaciones desbloquean nuevas regiones al principio frente a qué refinamientos producen ganancias en etapas tardías) mientras aprovecha modelos de frontera potentes para la generación de código.
• Algoritmo de RL Consciente de la Dinámica de Búsqueda: Los autores diseñan un objetivo de RL adaptativo por fase que transita de la retroalimentación relativa a grupos a la asignación de crédito por contribución a la frontera. Esto aborda la inestabilidad observada en métodos existentes (como GRPO y objetivos entrópicos) al tratar con lotes de despliegue pequeños y paisajes de recompensa comprimidos típicos de evaluaciones costosas.
• Validación Empírica: El marco se evalúa en tres tareas diversas y reales de ingeniería de aprendizaje automático:
  1. Equilibrado de Carga de Paralelismo Experto (EPLB): Optimización de la asignación de dispositivos para modelos de Mezcla de Expertos.
  2. Recomendación Secuencial: Evolución de un recomendador estilo FuXi-linear en el conjunto de datos KuaiRec.
  3. Extrapolación de Aptitud de Proteínas: Predicción de los efectos de aptitud de mutaciones de múltiples sitios (benchmark Multi-Evolve).

Resultados
En las tres tareas y con diferentes tamaños de modelo (Qwen3.5-4B y DeepSeek-R1-0528-Qwen3-8B), PACEvolve++ demuestra un rendimiento superior en comparación con las líneas base más avanzadas, incluido ThetaEvolve (basado en GRPO), TTT-Discover (objetivo entrópico) y Max@k (entrenamiento basado en PKPO).

• Convergencia: PACEvolve++ logra una convergencia más rápida y alcanza recompensas finales más altas que todas las líneas base.
• Estabilidad: A diferencia de las líneas base que exhiben picos en la norma del gradiente (GRPO) o colapso entrópico prematuro (Max@k), PACEvolve++ mantiene dinámicas de entrenamiento estables con entropía y normas de gradiente más suaves.
• Eficiencia: En la tarea EPLB, PACEvolve++ alcanza una solución casi óptima utilizando solo la mitad del presupuesto de evolución requerido por la línea base PACEvolve sin RL.

Significado
El artículo argumenta que escalar agentes de auto-evolución a dominios realistas requiere mejorar la propia política de razonamiento, no solo el andamio de búsqueda. Al desacoplar el razonamiento estratégico de la implementación y alinear el objetivo de optimización con la dinámica intrínseca de la búsqueda evolutiva (cambiando de exploración a refinamiento), PACEvolve++ estabiliza el entrenamiento en tiempo de prueba en escenarios donde las evaluaciones son costosas. El trabajo destaca que una adaptación efectiva en búsquedas de largo horizonte requiere una política que pueda internalizar la retroalimentación sobre qué buscar, distinta de la capacidad para implementar la búsqueda, y que esta política debe adaptar su estrategia de aprendizaje a medida que el paisaje de búsqueda evoluciona de diverso a saturado.