Resumen Técnico: SePO (Optimización de Prompts Autoevolutiva)

1. Planteamiento del Problema

Los métodos actuales de optimización de prompts de sistema buscan mejorar el comportamiento de los agentes sin modificar los pesos subyacentes del modelo, produciendo instrucciones legibles por humanos y agnósticas al modelo. Sin embargo, existe una asimetría crítica en los marcos de trabajo existentes: mientras que el prompt de sistema del agente de la tarea es tratado como un objetivo de optimización, el agente de prompts (la entidad responsable de refinar el prompt del agente de la tarea) permanece diseñado a mano y es fijo.

Los enfoques existentes, como la búsqueda evolutiva o los marcos de gradiente textual, dependen de un agente de prompts que no mejora a medida que encuentra más tareas. En consecuencia, el proceso de optimización está limitado por el diseño humano inicial del agente de prompts y no puede acumular experiencia ni generalizar habilidades de optimización a través de diferentes dominios. El problema central es que el "optimizador" en sí mismo no está optimizado.

2. Metodología: SePO

Los autores proponen SePO (Self-Evolving Prompt Optimization), un marco que trata el propio prompt de sistema del agente de prompts como un objetivo de optimización junto con el prompt del agente de la tarea. Esto se logra mediante un diseño autorreferencial y un pipeline de entrenamiento de dos etapas.

2.1 Diseño Autorreferencial

SePO define una "tarea de prompt" donde el agente de prompts actúa como un agente de tarea especial. Su objetivo es mejorar los prompts de otros agentes de tarea. Al aplicar el mismo procedimiento de optimización al prompt de sistema del propio agente de prompts ($\tilde{p}$) que al prompt del agente de la tarea ($p$), SePO crea un "cierre autorreferencial".

• Mecanismo: El agente de prompts refina una copia de sí mismo.
• Búsqueda Evolutiva: El proceso utiliza una búsqueda evolutiva abierta sobre una población de prompts candidatos. Mantiene un archivo de prompts candidatos, lo que permite que los prompts exitosos anteriores sirvan como "peldaños" para mejoras posteriores, evitando que la búsqueda se quede estancada en óptimos locales.

2.2 Pipeline de Entrenamiento de Dos Etapas

Reflejando el paradigma estándar de pre-entrenamiento y ajuste fino (fine-tuning), SePO organiza la optimización en dos etapas distintas:

1. Etapa 1: Pre-entrenamiento (Agente de Prompt Autoevolutivo)

   • Objetivo: Evolucionar el prompt de sistema del agente de prompts ($\tilde{p}$) para adquirir habilidades de optimización de prompts amplias y generalizables.
   • Proceso: El agente de prompts se somete a una búsqueda evolutiva en un pool multi-tarea.
   • Configuraciones:
     • SePO-Generalist (Predeterminado): Entrena en una mezcla diversa de tareas para maximizar la robustez y la generalización.
     • SePO-Specialist: Entrena en una única tarea idéntica a la tarea de ajuste fino objetivo.
   • Resultado: Un único agente de prompts evolucionado ($\tilde{p}^*$) capaz de optimizar prompts en diversos escenarios.

2. Etapa 2: Ajuste Fino (Optimizar el Agente de la Tarea Objetivo)

   • Objetivo: Optimizar el prompt de sistema ($p$) para un agente de tarea específico.
   • Proceso: El agente de prompts evolucionado (de la Etapa 1) se mantiene fijo y se utiliza para guiar la búsqueda evolutiva del prompt del agente de la tarea objetivo.
   • Eficiencia: El costo de autoevolucionar el agente de prompts se amortiza en muchas tareas de ajuste fino, ya que el agente de prompts pre-entrenado se reutiliza.

3. Contribuciones Clave

• Cerrar el Bucle de Optimización: SePO es el primer método que trata al propio agente de prompts como un componente aprendible, eliminando la dependencia de un optimizador fijo diseñado a mano.
• Evolución Autorreferencial: Introduce un mecanismo donde el mismo procedimiento refina tanto al agente de la tarea como al agente de prompts, permitiendo la acumulación de habilidades de optimización.
• Entrenamiento de Dos Etapas: Al separar el pre-entrenamiento (adquisición de habilidades) del ajuste fino (aplicación de la tarea), el método desacopla el costo de desarrollar el optimizador de su aplicación a tareas específicas.
  {% end %}
• Búsqueda Basada en Archivos: El uso de un archivo permite al sistema aprovechar los éxitos históricos como peldaños, facilitando una evolución abierta en lugar de un simple refinamiento iterativo.

4. Resultados Experimentales

Los autores evaluaron SePO en cinco benchmarks diversos: AIME'25 (matemáticas), ARC-AGI-1 (razonamiento abstracto), GPQA (ciencia de nivel de posgrado), MBPP (generación de código) y Sudoku (lógica de acertijos).

• Rendimiento: SePO superó consistentemente a tres líneas base:
  • Manual-CoT: Prompts diseñados a mano con Cadena de Pensamiento (Chain-of-Thought).
  • TextGrad: Un marco de gradiente textual con un optimizador de prompts fijo.
  • MetaSPO: Un enfoque de meta-aprendizaje con un meta-optimizador fijo.
• Ganancias de Precisión: SePO-Generalist logró la mayor precisión en las cinco tareas, mejorando la precisión promedio en 4.49 puntos en comparación con Manual-CoT.
• Generalización:
  • Las habilidades de optimización de prompts aprendidas durante el pre-entrenamiento se generalizaron a tareas fuera de la mezcla de pre-entrenamiento (por ejemplo, Sudoku no estaba en el conjunto de pre-entrenamiento, pero la precisión mejoró significativamente).
  • El método demostró robustez a través de diferentes pares de modelos (intercambiando DeepSeek-V3.2 y Gemini 3.1 Pro Preview por Gemini 3.1 Flash-Lite y Claude Opus 4.6).
• Eficiencia de Costo: Aunque el pre-entrenamiento incurre en un costo, SePO-Generalist lo amortiza a través de múltiples tareas, resultando en un menor costo por tarea en comparación con el entrenamiento de un especialista para cada tarea o el uso de métodos como TextGrad que no amortizan el entrenamiento del optimizador.

5. Significado y Reivindicaciones

El artículo afirma que SePO cambia fundamentalmente la optimización del prompt de sistema de una herramienta fija a una habilidad aprendible. Al permitir que el agente de prompts se auto-mejore, el marco rompe el techo impuesto por el diseño humano.

• Reivindicaciones Modestas: Los autores declaran explícitamente que SePO opera únicamente sobre el prompt de sistema en lenguaje natural, dejando intactos los pesos del modelo, las herramientas y los flujos de trabajo. Reconocen que, si bien el trabajo actual se centra en prompts, el diseño autorreferencial podría teóricamente extenderse a herramientas y arquitecturas en trabajos futuros, pero no afirman haber implementado esto aún.
• Idea Central: La principal significancia radica en demostrar que la optimización de prompts no es meramente un problema de búsqueda para una sola tarea, sino una habilidad que puede adquirirse y transferirse. El "agente de prompt" ya no es un elemento estático, sino un componente en evolución que se fortalece con la experiencia.

Los autores concluyen que SePO fomenta la investigación adicional en agentes autoevolutivos que puedan ampliar continuamente el alcance de su propia auto-mejora.