💻 computer science

SAGE: Stochastic Prompt Optimization via Agent-Guided Exploration

Cet article présente SAGE, un cadre d'optimisation de prompts stochastique qui exploite l'exploration multi-agents et l'exécution de code de diagnostic pour améliorer efficacement les systèmes de dialogue orientés tâches à propos ouvert, démontrant des gains statistiquement robustes en matière de rétention des utilisateurs grâce à des tests A/B continus guidés par des agents.

Auteurs originaux : Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot très intelligent mais légèrement têtu comment avoir une bonne conversation. Vous lui donnez un ensemble d'instructions (un « prompt »), mais il continue de faire des erreurs. Le but de ce document est de trouver la meilleure façon de réécrire ces instructions pour que le robot s'améliore, sans avoir besoin de réentraîner le robot lui-même.

Les auteurs appellent leur nouvelle méthode SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration). Voici comment cela fonctionne, décomposé en concepts simples :

Le Problème : Le « Randonneur Aveugle »

Imaginez l'espace de toutes les instructions possibles comme une immense chaîne de montagnes embrumées. Le sommet de la montagne est l'ensemble « parfait » d'instructions.

Les anciennes méthodes étaient comme un randonneur faisant un pas à la fois, regardant seulement le sol juste devant lui. S'il faisait un pas et que cela semblait légèrement meilleur, il continuait ainsi. Mais cela menait souvent à rester coincé sur une petite colline locale, pensant qu'il s'agissait du sommet, alors qu'une montagne bien plus haute se trouvait juste après la prochaine crête.
La Réalité : Le document soutient que vous ne pouvez pas utiliser de « gradients » mathématiques (comme glisser le long d'une pente douce) pour trouver le sommet parce que les instructions sont faites de mots, pas de nombres. Le paysage est « bruyant » et accidenté.

La Solution : Une Équipe d'Explorateurs

Les auteurs ont testé trois manières différentes de grimper cette montagne :

Le « Joueur » (SPO-RS) : Cette méthode est comme lancer des dés. Elle prend les instructions actuelles, ajoute un peu de chaos aléatoire (température élevée) et demande à l'IA de deviner une nouvelle version. C'est rapide et aléatoire, mais elle ne réfléchit pas vraiment à la raison pour laquelle la version précédente a échoué.
Le « Reproducteur » (SPO-GA) : Ceci est comme un algorithme génétique. Il prend les deux meilleures versions d'instructions, les mélange (croisement/crossover) et effectue de petites retouches (mutation). C'est plus intelligent que le Joueur, mais cela repose encore principalement sur l'IA qui devine quoi changer.
L'« Équipe de Détectives » (SAGE) : C'est la star du document. Au lieu de simplement deviner, SAGE agit comme une équipe de détectives.
- L'Analyste : Regarde toutes les erreurs commises par le robot et exécute du code pour trouver des modèles. (ex. : « Hé, le robot échoue à chaque fois que l'utilisateur parle d'argent. »)
- L'Enquêteur : Creuse plus profondément dans des exemples spécifiques pour prouver que le modèle est réel.
- Le Générateur : Écrit un nouvel ensemble d'instructions spécifiquement conçu pour corriger ce modèle exact.

La Différence Clé : Les deux premières méthodes se contentent d'« essayer des choses ». SAGE diagnostique d'abord le problème, puis prescrit un remède. Il utilise du code informatique pour analyser les erreurs, et non pas seulement l'opinion de l'IA.

Les Résultats : Un Modèle Unique Ne Convient Pas à Tous

Les chercheurs ont testé ces méthodes sur trois types de tâches différentes :

Mathématiques Financières : Une tâche avec des erreurs complexes en chaîne. Ici, l'Équipe de Détectives (SAGE) a gagné car elle pouvait retracer la cause profonde de la confusion.
Étiquetage de Noms (Name Tagging) : Une tâche plus simple. Ici, le Reproducteur ou même un simple hasard aléatoire fonctionnait tout aussi bien. L'Équipe de Détectives était en fait trop compliquée pour ce travail simple.
Contrôle d'Applications : Une tâche où le robot doit utiliser des applications. Le Reproducteur a fait un travail étonnamment bon ici.

La Leçon : Il n'existe pas de méthode unique « meilleure ». Si les erreurs sont simples, une recherche simple fonctionne. Si les erreurs sont complexes et en cascade (comme un château de cartes qui s'effondre), vous avez besoin de l'analyse profonde de l'Équipe de Détectives.

Le Test en Conditions Réelles : Le Chatbot de Santé Mentale

Pour prouver que cela fonctionne dans le monde réel, ils ont déployé SAGE sur un chatbot de santé mentale (nommé « Ash ») qui discute avec de vraies personnes.

Le Défi : On ne peut pas facilement mesurer si un chatbot est « utile » avec un simple score mathématique. Le signal est bruyant.
La Stratégie : Ils ont fait fonctionner le chatbot pendant huit semaines. Chaque semaine, ils utilisaient SAGE pour analyser les conversations, générer une version légèrement meilleure des instructions, et effectuer un test rapide (test A/B) pour voir si la nouvelle version incitait les utilisateurs à revenir le lendemain.
La Magie : Individuellement, la plupart de ces tests hebdomadaires étaient trop petits pour prouver quoi que ce soit statistiquement. Mais en les chaînant ensemble, les petites améliorations se sont accumulées.
Le Résultat : Sur huit cycles, la capacité du chatbot à faire revenir les utilisateurs le lendemain s'est améliorée de 29 %.

La Grande Conclusion

Le document conclut que pour les tâches ouvertes (comme parler à un humain), vous devez combiner le diagnostic qualitatif (humains ou agents observant pourquoi les choses ont mal tourné) avec la validation quantitative (vérifier les chiffres).

SAGE fonctionne parce qu'il ne se contente pas de deviner aveuglément ; il utilise le code pour agir comme un microscope, trouvant les fissures spécifiques dans les instructions et les réparant, transformant de nombreuses petites améliorations bruyantes en un grand succès robuste.

Résumé Technique : SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration)

Énoncé du Problème

Le document traite du défi de l'Optimisation Automatique de Prompts (APO - Automatic Prompt Optimization), plus précisément dans le domaine de l'Ingénierie de Contexte — l'optimisation du contexte informationnel entourant les requêtes de Modèles de Langage Grands (LLM) sans mettre à jour les paramètres du modèle.

Les auteurs soutiennent que le domaine manque d'une perspective théorique unificatrice. Bien que des travaux récents (Melcer et al., 2025) aient établi que l'APO est fondamentalement un problème de recherche en boîte noire (car les gradients textuels ne fonctionnent pas comme de véritables gradients), les approches existantes souffrent de deux limitations principales :

Recherche Myope : Les méthodes par échantillon traitent un exemple d'entraînement à la fois, accumulant les modifications de manière gloutonne. Cela est coûteux en termes de calcul et sujet aux optima locaux.
Analyse Superficielle : La plupart des méthodes limitent l'optimisation au raisonnement pur de l'LLM. Même les approches multi-agents utilisant des outils de code se concentrent souvent sur la construction d'artefacts procéduraux plutôt que sur une analyse diagnostique des schémas d'erreurs.

Le paysage des prompts est caractérisé comme un problème d'optimisation de boîte noire bruyant avec des évaluations coûteuses, une faible dimensionnalité effective et une structure locale riche. L'efficacité d'une stratégie d'optimisation dépend de l'interaction entre la structure du paysage (rugosité) et le type spécifique d'erreurs présentes.

Méthodologie : Cadre SPO

Les auteurs introduisent le SPO (Stochastic Prompt Optimization), un cadre formalisant l'APO comme une recherche par escalier de gradient stochastique (stochastic hill climbing) sur un espace de prompts structuré. La boucle centrale génère $Q$ candidats par itération et n'adopte le meilleur que s'il améliore strictement l'incumbent (sélection monotone).

Le document compare trois stratégies de sophistication croissante au sein de ce cadre :

1. SPO-RS (Residual Search)

Mécanisme : Génère $Q$ candidats via un échantillonnage LLM à haute température ( $\tau=0.9$ ).
Entrée : Conditionnée sur le meilleur prompt actuel et un résumé de ses erreurs.
Nature : Miroir d'un raffinement informé par l'erreur, mais repose sur une perturbation stochastique plutôt que sur des opérateurs structurés.

2. SPO-GA (Genetic Algorithm)

Mécanisme : Applique des opérateurs évolutifs (croisement et mutation) à une population de prompts de top- $P$ .
Entrée : Le croisement combine deux parents et leurs résumés d'erreurs ; la mutation cible des améliorations sur un seul parent.
Nature : Suit le paradigme "LLM-en-tant-qu'opérateur-évolutif", échangeant une partie de la diversité contre une amélioration ciblée (température plus basse $\tau=0.7$ ).

3. SAGE (Agent-Guided Exploration)

Mécanisme : Un pipeline multi-agents où des agents écrivent et exécutent du code de diagnostic pour informer les modifications de prompts.
Flux de travail :
1. Analyseur (Analyzer) : Exécute des scripts sur les résultats d'évaluation pour faire émerger $H$ hypothèses étayées par des preuves concernant les schémas d'erreurs.
2. Orchestrateur (Orchestrator) : Trie les hypothèses en $I$ directions d'investigation.
3. Investigateurs (Investigators) : Approfondissent en parallèle pour vérifier les hypothèses avec des décomptes exacts et une analyse de trace, retournant des correctifs prêts pour l'implémentation.
4. Générateurs (Generators) : Produisent des prompts révisés basés sur les rapports d'investigation.
Distinction Clé : Contrairement aux travaux précédents où le code construit des artefacts, SAGE utilise l'exécution de code pour un diagnostic statistique (regroupement d'erreurs, exécution de tests statistiques, identification de schémas d'échec surreprésentés) au sein d'une procédure fixe.

Configuration Expérimentale

Le cadre a été évalué sur trois benchmarks et un déploiement en production :

XBRL Formula : Raisonnement financier (500 entraînement / 200 test).
FiNER : Reconnaissance d'Entités Nommées Financières (1 000 entraînement / 441 test).
AppWorld : Tâches d'agents autonomes impliquant la compréhension d'API et la génération de code.
Déploiement en Production : "Ash", un chatbot de santé mentale par Slingshot AI, optimisé sous un paradigme d'optimisation continue.

Baselines : Les méthodes ont été comparées contre Base LLM, In-Context Learning (ICL), MIPROv2, GEPA, Dynamic Cheatsheet et ACE offline. Le LLM cible était DeepSeek-V3.1 ; le méta-modèle proposant les modifications était Claude Sonnet 4.6.

Résultats Clés

Performance des Benchmarks

Aucune stratégie unique n'a dominé toutes les tâches ; l'efficacité dépendait de l'interaction entre la structure du paysage et le type d'erreur :

Formula (Rugueux, Erreurs en cascade) : SAGE a mené, car sa profondeur analytique a été récompensée pour le diagnostic des erreurs de raisonnement en cascade.
FiNER (Paysage Lisse) : SAGE a atteint la précision d'entraînement la plus élevée, mais des stratégies plus simples (SPO-GA) ont mieux généralisé au jeu de test. Le paysage était lisse (corrélé sur de grandes distances), rendant l'analyse profonde moins critique pour la généralisation.
AppWorld (Rugueux, Erreurs Procédurales) : Toutes les variantes de SPO ont battu les baselines. SAGE a atteint la précision d'entraînement la plus élevée, mais la précision de validation a oscillé en raison du petit ensemble d'évaluation. SPO-GA a obtenu la précision de test la plus élevée, suggérant que pour les erreurs procédurales par tâche, une recherche plus simple est suffisante.

Analyse du Paysage

En utilisant des semivariogrammes issus de la géostatistique, les auteurs ont quantifié la rugosité du paysage :

Formula et AppWorld : Décorrélés au sein de petits voisinages sémantiques (rugueux).
FiNER : Restés corrélés sur environ $4\times$ la distance (lisse).
Constat : La rugosité seule ne prédit pas la stratégie gagnante. Le facteur décisif est la structure de l'erreur : les erreurs de raisonnement en cascade bénéficient de l'analyse des causes racines de SAGE, tandis que les erreurs procédurales cèdent à une recherche plus simple.

Déploiement en Production (Chatbot de Santé Mentale)

SAGE a été déployé sur le chatbot "Ash" pour huit cycles d'optimisation continue.

Processus : Chaque cycle impliquait le déploiement du meilleur prompt, l'exécution de SAGE sur les conversations collectées, des tests A/B des candidats, et la promotion du vainqueur.
Résultat : Sept cycles sur huit ont produit un bras gagnant positif. Bien que les cycles individuels aient souvent été statistiquement non significatifs (bruyants), l'enchaînement des deltas par cycle a permis d'obtenir une amélioration relative cumulative de +29,4 % de la rétention au jour suivant (D1) avec une signification non paramétrique.
Signification : Cela démontre que des tests A/B individuellement bruyants peuvent se cumuler en un gain statistiquement robuste lorsqu'ils sont couplés à une optimisation continue.

Contributions et Signification

Le document revendique trois contributions principales :

Cadre d'Optimisation en Boîte Noire : SPO formalise l'APO comme une recherche stochastique en boîte noire sur un paysage structuré, fournissant une ablation contrôlée pour isoler la valeur de la profondeur analytique et de la diversité de l'exploration.
Exécution de Code Diagnostique : SAGE est le premier cadre d'APO où l'exécution de code sert au diagnostic statistique (analyse des schémas d'erreurs) plutôt qu'à la construction d'artefacts procéduraux ou au raisonnement pur de l'LLM.
Déploiement en Production : Le document introduit un paradigme d'optimisation continue pour le dialogue ouvert. Il démontre que coupler le diagnostic qualitatif (via des agents) avec la validation quantitative (via des tests A/B) permet une optimisation efficace dans des domaines manquant de signaux de correction nets (comme la santé mentale), là où les benchmarks traditionnels échouent.

Les auteurs soulignent les limites, notamment la dépendance aux fonctions d'évaluation automatisées, les potentiels changements de distribution dans l'optimisation continue, et la nouveauté limitée de l'affinement piloté par les agents (qui affine les comportements existants plutôt que d'en inventer de nouveaux sans direction externe).