Résumé technique : MAGE – Comprendre les compromis stabilité-performance dans l'optimisation de prompts multi-composants

1. Énoncé du problème

L'article traite d'une lacune fondamentale dans l'optimisation automatique des prompts (APO) : alors que des méthodes récentes comme GEPA ont démontré que l'évolution réflexive des prompts peut rivaliser avec l'apprentissage par renforcement, la dynamique d'interaction entre plusieurs composants d'optimisation au sein d'un même système reste mal comprise. La plupart des travaux antérieurs rapportent la performance de pointe sur une seule graine (single-seed), traitant implicitement l'optimisation comme un processus déterministe. Cependant, les pipelines réels combinent mémoire, sélection et évaluation dans des boucles itératives, créant des systèmes stochastiques couplés où la performance moyenne et la variance sont déterminées conjointement par l'interaction des composants.

Les auteurs postulent que l'analyse des composants de manière isolée ne permet pas de prédire le comportement du système. Plus précisément, ils étudient comment la combinaison de multiples signaux d'optimisation stochastiques (mémoire épisodique, sélection multi-objectif et évaluation adaptative) affecte à la fois la performance et la stabilité. Une question pratique cruciale est également soulevée : dans les régimes à faibles données, les prompts optimisés surpassent-ils réellement les prompts fixes bien conçnés et robustes, ou est-ce l'« échafaudage » (la structure du prompt) qui domine l'« optimiseur » ?

2. Méthodologie : Le cadre MAGE

Les auteurs introduisent MAGE (Memory-Augmented Goal-directed Prompt Evolution) non pas comme un optimiseur supérieur en termes absolus, mais comme un cadre d'analyse contrôlé pour étudier l'interaction des composants. MAGE s'appuie sur l'architecture GEPA (qui utilise la réflexion fondée sur l'échec) et intègre trois mécanismes spécifiques pour isoler leurs effets :

1. Mémoire épisodique : Maintient un magasin d'embeddings de tâches, de meilleurs prompts trouvés, de traces de réflexion et de vecteurs de scores. Pour une nouvelle tâche, il extrait les entrées top-$\kappa$ via la similitude cosinus pour fournir des exemples contextuels au proposant, introduisant ainsi une régularisation inter-tâches.
2. Sélection Pareto multi-objectif : Remplace les objectifs scalaires par une approche multi-objectif optimisant la précision, la brièveté (nombre négatif de tokens) et la sécurité. Le système maintient un front non dominé à chaque itération. Les auteurs identent un seuil de diversité Pareto critique : une taille de pool de candidats ($n$) de 3 est insuffisante pour une pression Pareto significative, tandis que $n=5$ crée un front informatif.
3. Évaluateur adaptatif ancré sur ensemble : Pour éviter la dérive de l'évaluateur au fil des itérations, le système calibre un évaluateur adaptatif ($E_{adp}$) par rapport à un évaluateur fixe ($E_{fix}$) en utilisant un ancrage à décroissance exponentielle ($\alpha_t$). Cela limite l'accumulation de biais tout en permettant au système de s'adapter aux nuances spécifiques de la tâche.

Configuration expérimentale :

• Benchmarks : GSM8K-Hard (80 exemples, 30 entraînement/50 test) et BBH-Logic-Hard (80 exemples, 30 entraînement/50 test).
• Modèles : Expériences primaires sur gpt-4o-mini ; validation sur Llama 3.1 8B et un modèle local deepseek-r1:1.5b.
• Baselines : OPRO (score uniquement), Self-Refine (critique abstraite), MIPROv2+CoT (optimiseur bayésien sur un échafaudage) et GEPA (réflexion fondée sur l'échec).
• Contrôles : Les limites supérieures des prompts fixes (ex: CoT-math) sont évaluées pour séparer les gains de l'échafaudage des gains de l'optimiseur.

3. Principaux résultats et contributions

L'effet de couplage de l'optimisation de prompt (POCE)

La découverte centrale est l'Effet de Couplage de l'Optimisation de Prompt (POCE) : lorsque plusieurs signaux d'optimisation stochastiques opèrent au sein d'une boucle réflexive fermée, ils interagissent de manière non additive. Cette interaction améliore simultanément la performance et amplifie la variance de manières qui ne peuvent être prédites par l'analyse des composants isolés.

• Preuve : Augmenter le pool de candidats de $n=3$ à $n=5$ a amélioré la précision moyenne de +21,6 % mais a augmenté la variance de 3,7×.
• Implication : La variance n'est pas simplement du bruit ; c'est une propriété structurelle du système couplé. Rapporter uniquement la précision moyenne est systématiquement trompeur.

Nécessité des composants et modes de défaillance

• La réflexion fondée sur l'échec est essentielle : Les méthodes reposant uniquement sur des scores (OPRO) ou des critiques abstraites (Self-Refine) échouent à améliorer les prompts. OPRO reste bloqué au niveau du prompt initial, tandis que Self-Refine dégrade activement la performance (passant de 33,3 % à 16,7 % sur GSM8K-Hard) car les critiques non fondées écrasent des stratégies valides plutôt que de corriger les erreurs.
• Dominance de l'échafaudage : Dans les régimes à faibles données ($N_{train}=30$), les prompts fixes puissants (ex: CoT-math à 70,0 %) surpassent tous les optimiseurs réflexifs. Même MIPROv2, lorsqu'appliqué sur un échafaudage CoT, a provoqué une régression de -2,2 %, indiquant que le choix de l'échafaudage importe plus que le choix de l'optimiseur dans ces contextes.
• Dépendance à la marge de progression (Headroom) : Le POCE est conditionnel à la marge de progression de l'optimisation. Sur Llama 3.1 8B, où la précision de la graine était déjà élevée (~70 %), l'amplification de la variance a disparu, et les optimiseurs ont convergé vers des prompts identiques.

Résultats de performance

• GSM8K-Hard : MAGE (complet) a atteint 46,4 % ± 7,3 %, surpassant significativement les 34,0 % ± 7,0 % de GEPA (+12,4 %, $P=0,998$).
• BBH-Logic-Hard : Les variantes de MAGE ont systématiquement surpassé GEPA, avec MAGE-E atteignant 81,6 % (contre 79,2 % pour GEPA) avec la plus faible variance parmi les configurations MAGE.
• Validation sur appareil (On-Device) : Appliqué à un modèle de 1,5B pour la sélection d'outils, MAGE a convergé en 2,0 ± 0,0 itérations (taux de convergence de 100 %) avec une précision de sélection d'outils de 0,95 ± 0,03, résolvant avec succès des prompts conçus de manière adverse.

4. Signification et revendications

L'article soutient que les systèmes d'optimisation de prompts doivent être évalués comme des processus stochastiques couplés plutôt que comme des algorithmes déterministes.

• Changement de métrique d'évaluation : Les auteurs affirment que la variance doit être traitée comme une métrique d'évaluation de premier rang, au même titre que la précision moyenne. Le rapport sur une seule graine risque de capturer un « pic chanceux » plutôt qu'une moyenne fiable. Ils recommandent un minimum de 5 graines pour l'évaluation.
• Guide pratique : L'article fournit un guide de déploiement (Tableau 3) associant des variantes spécifiques de MAGE à des scénarios :
  • MAGE-E pour des besoins de haute stabilité et de faible calcul.
  • MAGE (complet) pour une performance moyenne maximale là où une variance modérée est acceptable.
  • MAGE-P uniquement lorsque les pools de candidats sont larges ($n \ge 5$) pour déclencher la pression Pareto.
• Modestie des revendications : Les auteurs déclarent explicitement que MAGE ne prétend pas surpasser tous les échafaudages fixes puissants dans tous les contextes. En fait, ils soulignent que dans les régimes à faibles données, les prompts fixes bien conçés surpassent souvent les optimiseurs réflexifs, une observation qu'ils mettent en avant plutôt que de la minimiser. La principale contribution est l'analyse contrôlée de l'interaction des composants et la caractérisation du POCE, plutôt que la proposition d'un optimiseur universellement supérieur.

En résumé, l'article démontre que le compromis stabilité-performance dans l'optimisation de prompt est une fonction non linéaire de l'interaction des composants, nécessitant un changement dans la manière dont ces systèmes sont conçus, évalués et déployés.