Résumé Technique : SePO (Self-Evolving Prompt Optimization)

1. Énoncé du Problème

Les méthodes actuelles d'optimisation des prompts de système visent à améliorer le comportement des agents sans modifier les poids sous-jacents du modèle, en produisant des instructions lisibles par l'humain et agnostiques au modèle. Cependant, une asymétrie critique existe dans les cadres existants : alors que le prompt de système de l'agent de tâche est traité comme une cible d'optimisation, l'agent de prompt (l'entité responsable du raffinement du prompt de l'agent de tâche) reste conçu à la main et fixe.

Les approches existantes, telles que la recherche évolutive ou les cadres de gradient textuel, reposent sur un agent de prompt qui ne s'améliore pas à mesure qu'il rencontre de nouvelles tâches. Par conséquent, le processus d'optimisation est limité par la conception humaine initiale de l'agent de prompt et ne peut pas accumuler d'expérience ni généraliser ses compétences d'optimisation à différents domaines. Le problème central est que l'« optimiseur » lui-même n'est pas optimisé.

2. Méthodologie : SePO

Les auteurs proposent SePO (Self-Evolving Prompt Optimization), un cadre qui traite le propre prompt de système de l'agent de prompt comme une cible d'optimisation au même titre que le prompt de l'agent de tâche. Ceci est réalisé grâce à une conception auto-référentielle et un pipeline d'entraînement en deux étapes.

2.1 Conception Auto-Référentielle

SePO définit une « tâche de prompt » où l'agent de prompt agit comme un agent de tâche spécial. Son objectif est d'améliorer les prompts d'autres agents de tâche. En appliquant le même processus d'optimisation au prompt de système de l'agent de prompt ($\tilde{p}$) qu'à celui de l'agent de tâche ($p$), SePO crée une « clôture auto-référentielle ».

• Mécanisme : L'agent de prompt raffine une copie de lui-même.
• Recherche Évolutive : Le processus utilise une recherche évolutive ouverte sur une population de prompts candidats. Il maintient une archive de prompts candidats, permettant aux prompts antérieurs réussis de servir de « tremplins » pour des améliorations ultérieures, empêchant ainsi la recherche de rester bloquée dans des optima locaux.

2.2 Pipeline d'Entraînement en Deux Étapes

Reflétant le paradigme standard de pré-entraînement et de fine-tuning, SePO organise l'optimisation en deux étapes distinctes :

1. Étape 1 : Pré-entraînement (Agent de Prompt Auto-Évolutif)

   • Objectif : Faire évoluer le prompt de système de l'agent de prompt ($\tilde{p}$) pour acquérir des compétences d'optimisation de prompt larges et généralisables.
   • Processus : L'agent de prompt subit une recherche évolutive sur un pool multi-tâches.
   • Configurations :
     • SePO-Generalist (Par défaut) : S'entraîne sur un mélange diversifié de tâches pour maximiser la robustesse et la généralisation.
     • SePO-Specialist : S'entraîne sur une tâche unique identique à la tâche de fine-tuning cible.
   • Résultat : Un agent de prompt unique et évolué ($\tilde{p}^*$) capable d'optimiser les prompts à travers divers scénarios.

2. Étape 2 : Fine-tuning (Optimiser l'Agent de Tâche Cible)

   • Objectif : Optimiser le prompt de système ($p$) pour un agent de tâche spécifique.
   • Processus : L'agent de prompt évolué (issu de l'étape 1) est fixé et utilisé pour guider la recherche évolutive du prompt de l'agent de tâche cible.
   • Efficacité : Le coût de l'auto-évolution de l'agent de prompt est amorti sur de nombreuses tâches de fine-tuning, car l'agent de prompt pré-entraîné est réutilisé.

3. Contributions Clés

• Fermer la Boucle d'Optimisation : SePO est la première méthode qui traite l'agent de prompt lui-même comme un composant apprenable, supprimant la dépendance à un optimiseur fixe conçu à la main.
• Évolution Auto-Référentielle : Elle introduit un mécanisme où la même procédure raffine à la fois l'agent de tâche et l'agent de prompt, permettant l'accumulation de compétences d'optimisation.
• Entraînement en Deux Étapes : En séparant le pré-entraînement (acquisition de compétences) du fine-tuning (application de la tâche), la méthode découple le coût du développement de l'optimiseur de son application à des tâches spécifiques.
• Recherche Basée sur une Archive : L'utilisation d'une archive permet au système de tirer parti des succès historiques comme tremplins, facilitant une évolution ouverte plutôt qu'un simple raffinement itératif.

4. Résultats Expérimentaux

Les auteurs ont évalué SePO sur cinq benchmarks divers : AIME'25 (mathématiques), ARC-AGI-1 (raisonnement abstrait), GPQA (sciences de niveau doctorat), MBPP (génération de code) et Sudoku (logique).

• Performance : SePO surpasse systématiquement trois bases de référence :
  • Manual-CoT : Prompts conçus à la main avec Chain-of-Thought.
  • TextGrad : Un cadre de gradient textuel avec un optimiseur de prompt fixe.
  • MetaSPO : Une approche de méta-apprentissage avec un méta-optimiseur fixe.
• Gains de Précision : SePO-Generalist a obtenu la précision la plus élevée sur les cinq tâches, améliorant la précision moyenne de 4,49 points par rapport à Manual-CoT.
• Généralisation :
  • Les compétences d'optimisation de prompt apprises lors du pré-entraînement se sont généralisées à des tâches absentes du mélange de pré-entraînement (ex: Sudoku n'était pas dans l'ensemble de pré-entraînement, pourtant la précision s'est considérablement améliorée).
  • La méthode a démontré une robustesse à travers différentes paires de modèles (en remplaçant DeepSeek-V3.2 et Gemini 3.1 Pro Preview par Gemini 3.1 Flash-Lite et Claude Opus 4.6).
• Efficacité des Coûts : Bien que le pré-entraînement engendre un coût, SePO-Generalist amortit celui-ci sur plusieurs tâches, ce qui résulte en un coût par tâche inférieur par rapport à l'entraînement d'un spécialiste pour chaque tâche ou à l'utilisation de méthodes comme TextGrad qui n'amortissent pas l'entraînement de l'optimiseur.

5. Signification et Revendications

L'article affirme que SePO déplace fondamentalement l'optimisation du prompt de système d'un outil fixe vers une compétence apprenable. En permettant à l'agent de prompt de s'auto-améliorer, le cadre brise le plafond imposé par la conception humaine.

• Revendications Modestes : Les auteurs précisent explicitement que SePO opère uniquement sur le prompt de système en langage naturel, laissant intacts les poids du modèle, les outils et les flux de travail. Ils reconnaissent que bien que le travail actuel se concentre sur les prompts, la conception auto-référentielle pourrait théoriquement s'étendre aux outils et aux architectures dans des travaux futurs, mais ils ne prétendent pas l'avoir implémenté.
• Insight Central : La principale signification réside dans la démonstration que l'optimisation de prompt n'est pas simplement un problème de recherche pour une tâche unique, mais une compétence qui peut être acquise et transférée. L'« agent de prompt » n'est plus une constante statique, mais un composant évolutif qui se renforce avec l'expérience.

Les auteurs concluent que SePO encourage la recherche future sur les agents auto-évolutifs capables d'élargir continuellement le champ de leur propre auto-amélioration.