🤖 machine learning

Stabilizing Black-Box Prompt Optimization with Textual Regularization and Signal Aggregation

Cet article introduit TRAS, un cadre plug-and-play qui stabilise l'optimisation de prompts en boîte noire en combinant la régularisation textuelle issue de prédictions réussies avec une agrégation de signaux de Monte Carlo pour filtrer le bruit, améliorant ainsi la précision, la vitesse de convergence et la robustesse face à la migration de modèles par rapport aux méthodes existantes.

Auteurs originaux : MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot très intelligent, mais légèrement imprévisible, comment résoudre des énigmes. Vous ne pouvez pas voir à l'intérieur de son cerveau (c'est une "boîte noire"), vous ne pouvez donc communiquer avec lui qu'en écrivant des instructions, appelées prompts.

Pendant longtemps, la meilleure façon d'améliorer ces instructions était une méthode appelée Optimisation Automatique de Prompt (APO). Considérez cela comme un étudiant qui passe un examen, se trompe à une question, puis demande au professeur : « Pourquoi ai-je eu tort ? ». Le professeur donne une critique (un "gradient textuel") et l'étudiant modifie sa copie pour correr cette erreur spécifique.

Le Problème : Le piège de la "Sur-correction"

Imaginez que vous réglez une radio pour trouver une station claire.

L'ancienne méthode (Erreur uniquement) : Chaque fois que vous entendez des parasites (une erreur), vous tournez le cadran brusquement pour les corriger. Mais comme vous n'écoutez que les parasites, vous risquez de tourner le cadran au-delà de la station claire, ou d'effacer un réglage qui fonctionnait parfaitement bien. Vous finissez par tourner en rond, rendant le signal pire avant qu'il ne s'améliore. Dans les termes de l'article, c'est ce qu'on appelle la dérive sémantique — vous corrigez une petite erreur mais supprimez accidentellement une instruction cruciale qui vous aidait globalement.

La Solution : TRAS

Les auteurs proposent un nouveau cadre appelé TRAS (Textual Regularization with Aggregated Signals). C'est comme donner à l'étudiant deux types de commentaires au lieu d'un seul.

1. Le signal "Ne touchez pas à ça !" (Régularisation Textuelle)

Au lieu de simplement demander « Qu'est-ce qui ne va pas ? », TRAS demande aussi « Qu'est-ce qui fonctionne ? ».

L'analogie : Imaginez que vous cuisinez un ragoût. L'ancienne méthode vous dit seulement : « Cette carotte est trop dure, coupez-la plus finement ! ». TRAS dit aussi : « Hé, le niveau de sel est parfait et le bouillon est riche — ne changez pas cela ! ».
Comment ça marche : Lorsque le modèle donne une bonne réponse, TRAS analyse pourquoi il a eu raison et crée un « régulariseur » (une règle) qui dit : « Gardez ces parties de l'instruction exactement telles quelles ». Cela empêche le robot de supprimer accidentellement les bonnes choses en essayant de corriger les mauvaises.

2. Le "Comité d'Experts" (Agrégation de Signaux Monte Carlo)

Les LLM sont un peu comme les humains ; si vous leur posez la même question deux fois, ils peuvent donner des réponses légèrement différentes. Parfois, ils sont bruyants ou confus.

L'analogie : Imaginez que vous demandez votre chemin à une personne, et elle vous dit : « Tournez à gauche au grand chêne ». Vous demandez à une deuxième personne, et elle vous dit : « Tournez à gauche au grand chêne ». Vous demandez à une troisième personne, et elle vous dit : « Tournez à gauche au grand chêne ». Vous êtes confiant. Mais si vous demandez à une quatrième personne et qu'elle vous dit : « Tournez à droite à la station-service », vous savez que cette quatrième personne est une exception ou qu'elle est confuse.
Comment ça marche : TRAS ne demande pas seulement un retour au modèle une seule fois. Il demande plusieurs fois (en échantillonnant plusieurs « gradients » et « régulariseurs »). Il agit ensuite comme un sage président de comité, écoutant tous les avis et trouvant les conseils communs et cohérents. Il ignore les voix bizarres et bruyantes pour donner au robot une instruction unique, claire et fiable.

Le Bonus : "Le Déménagement" (Migration Automatique de Prompt)

L'article traite également d'un problème pratique appelé Migration Automatique de Prompt (APM).

Le scénario : Vous avez passé des semaines à perfectionner un ensemble d'instructions pour le "Modèle A" (comme GPT-3.5). Maintenant, vous voulez utiliser ces mêmes instructions sur le "Modèle B" (comme GPT-4o).
Le risque : Si vous prenez simplement vos instructions parfaites et essayez de les « ré-optimiser » pour le nouveau modèle en utilisant l'ancienne méthode de « correction d'erreurs », le nouveau modèle pourrait être confus et supprimer accidentellement les parties des instructions qui fonctionnaient réellement. C'est comme si vous emménagiez dans une nouvelle maison et que, dans votre enthousiasme à réorganiser, vous jetiez les meubles qui s'adaptaient parfaitement.
La solution de TRAS : Lors du passage à un nouveau modèle, TRAS active immédiatement le signal « Ne touchez pas à ça ! ». Il traite les anciennes instructions qui fonctionnent comme une base précieuse et ne fait que de petits ajustements sûrs pour s'adapter au nouveau modèle, garantissant que vous ne perdez pas le savoir « expert » que vous avez déjà construit.

Les Résultats

L'article a testé cela sur diverses tâches de logique et de raisonnement.

Meilleure précision : Le robot résout plus de problèmes correctement.
Apprentissage plus rapide : Il n'a pas besoin de tourner en rond pour trouver les bons réglages ; il y parvient plus vite.
Moins coûteux : Comme il apprend plus vite et fait moins d'erreurs, il utilise moins d'« appels API » (ce qui coûte de l'argent).
Stabilité : Les résultats sont plus cohérents ; il n'y a pas de variations brutales entre de bonnes et de mauvaises performances.

En résumé, TRAS nous enseigne que pour bien enseigner à une IA "boîte noire", il ne faut pas seulement lui crier dessus lorsqu'elle échoue. Il faut aussi lui murmurer des choses lorsqu'elle réussit, en lui disant exactement quoi garder, et il faut demander l'avis d'un groupe pour s'assurer que l'on n'écoute pas une voix confuse.

Résumé Technique : Stabiliser l'Optimisation de Prompts en Boîte Noire par la Régularisation Textuelle et l'Agrégation de Signaux

1. Énoncé du Problème

L'article traite des défis de l'Optimisation Automatique de Prompts (APO) pour les modèles de langage (LLM) accédés via des API en boîte noire, où les états internes du modèle (gradients, états cachés) sont inaccessibles. Bien que les méthodes récentes d'APO affinent itérativement les prompts en utilisant des critiques générées par le modèle (gradients textuels) dérivées des échecs, les auteurs identifient deux limitations critiques :

Sous-utilisation du Succès : Les méthodes existantes optimisent principalement sur la base de la correction d'erreurs, ignorant l'information contenue dans les prédictions réussies concernant quels composants du prompt sont efficaces.
Instabilité et Dérive Sémantique : S'appuyer uniquement sur des mises à jour pilotées par l'erreur peut mener à une « dérive sémantique », où les modifications destinées à corriger des échecs locaux effacent involontairement des composants de prompt globalement bénéfiques. Cela force l'optimiseur dans des cycles coûteux de « suppression et redécouverte ».
Échec de la Migration Automatique de Prompt (APM) : Dans les scénarios où un prompt expert optimisé pour un modèle (ex: GPT-3.5-turbo) doit être adapté à un autre (ex: GPT-4o), la ré-optimisation naïve entraîne souvent une perte d'instructions, où les instructions porteuses de sens du prompt source sont écrasées durant le processus d'adaptation.

2. Méthodologie : Cadre TRAS

Les auteurs proposent TRAS (Textual Regularization with Aggregated Signals), un cadre centré sur le feedback conçu pour être compatible avec les architectures de recherche APO existantes (ex: stratégies basées sur MCTS comme PromptAgent). TRAS fonctionne via trois mécanismes de base :

A. Génération de Signaux Duaux

Au lieu de se reposer uniquement sur les signaux d'erreur, TRAS génère deux signaux textuels complémentaires à chaque étape d'optimisation $t$ :

Gradient Textuel (Signal Correctif) : Dérivé des échecs ( $B_t^-$ ). Une politique de critique $\pi_g$ analyse les prédictions incorrectes pour générer des instructions en langage naturel sur ce qu'il faut changer (ex: contraintes manquantes, problèmes de formatage).
Régularisation Textuelle (Signal de Préservation) : Dérivé des succès ( $B_t^+$ $B_{t}^{+}$ ). Une politique d'attribution $\pi_r$ $π_{r}$ analyse les prédictions correctes pour identifier quels composants du prompt ont contribué au succès. Cela génère un régularisateur $r_t$ $r_{t}$ prescrivant des contraintes de type « ne pas supprimer », « garder inchangé » ou « renforcer » afin de préserver les structures bénéfiques.
- Calendrier de Mise en Route (Warm-up Schedule) : Pour éviter l'ancrage à de mauvaises initialisations, le signal de régularisation est désactivé pour les $\tau_{warmup}$ premières itérations, permettant à l'optimiseur d'explorer librement avant de se stabiliser.

B. Agrégation de Signaux Monte Carlo (MCSA)

Puisque le gradient textuel et le régularateur sont des sorties stochastiques de LLM, ils peuvent être bruités. TRAS utilise la MCSA pour réduire la variance :

Le système échantillonne $K$ signaux indépendants pour le gradient et le régularateur.
Un opérateur d'agrégation (résumeur LLM) consolide ces $K$ échantillons en directives exploitables uniques ( $\bar{g}_t, \bar{r}_t$ ).
Ce processus met l'accent sur les conseils cohérents et exploitables tout en filtrant les valeurs aberrantes. Les auteurs notent un compromis : augmenter $K$ réduit la variance mais risque la « dilution » (résumés génériques) si trop de signaux sont compressés.

C. Mise à Jour et Migration de Prompt

Le prompt suivant $p_{t+1}$ est généré par une politique de mise à jour qui applique les changements correctifs agrégés tout en respectant les contraintes de préservation.

Pour l'APM : Lors de la migration d'un prompt d'un modèle source vers un modèle cible, TRAS active immédiatement la régularisation textuelle ( $\tau_{warmup} = 0$ ) et utilise un nombre d'échantillonnage $K$ plus faible (en raison de la plus faible variance des prompts experts déjà amorcés). Cela garantit que les décalages spécifiques au modèle cible sont corrigés via $\bar{g}_t$ tandis que la structure transférable du prompt expert est préservée via $\bar{r}_t$ .

3. Contributions Clés

L'article formalise et apporte les contributions suivantes :

Formalisation de la Migration Automatique de Prompt (APM) : Les auteurs définissent l'APM comme le problème pratique d'adapter des prompts experts entre différentes versions ou fournisseurs de modèles tout en évitant explicitement la « perte d'instructions ».
Régularisation Textuelle : L'introduction d'un signal conditionné par le succès qui encourage la préservation des composants de prompt bénéfiques, stabilisant ainsi la trajectoire d'optimisation.
Agrégation de Signaux Monte Carlo (MCSA) : Une technique pour agréger plusieurs signaux stochastiques afin de réduire la variance et de gérer la dilution des conseils exploitables.
Cadre TRAS : Une méthode unifiée combinant ces éléments pour améliorer la robustesse tant dans les scénarios APO standards que dans l'APM.

4. Résultats Expérimentaux

Les auteurs ont évalué TRAS sur cinq tâches de raisonnement (Causal Judgment, Geometric Shapes, Penguins, Biosses, CB) en utilisant GPT-3.5-turbo pour l'APO standard et GPT-4o pour l'APM (migration depuis GPT-3.5-turbo).

APO Standard (GPT-3.5-turbo) :
- TRAS a obtenu des améliorations de précision constantes et statistiquement significatives par rapport à la ligne de base (PromptAgent), allant de 4,9 % à 21,5 % selon les tâches.
- Il a réduit l'écart-type entre les graines aléatoires, indiquant une optimisation plus stable.
- Il a réduit les appels à l'API LLM de 0,5 % à 3,3 % en évitant les cycles inefficaces de suppression et de redécouverte.
Migration Automatique de Prompt (GPT-3.5-turbo $\to$ GPT-4o) :
- La ré-optimisation naïve de prompts experts a souvent érodé les gains initiaux en raison de la perte d'instructions.
- TRAS a systématiquement amélioré la précision finale par rapport à la ligne de base, avec des gains allant de 2,2 % à 16,0 %.
- Des améliorations notables ont été observées pour Geometric Shapes (+12,5 %) et Biosses (+16,0 %), où la préservation de la structure spécifique au domaine était critique.
- TRAS a réduit le nombre total d'appels API de 4,2 % à 6,2 % dans le contexte de la migration.
Études d'Ablation :
- Warm-up : La performance a culminé lorsque la régularisation s'activait après 3 à 4 itérations ; une activation trop précoce ancrait des prompts faibles, tandis qu'une activation trop tardive permettait la dérive.
- Nombre d'agrégation ( $K$ ) : La précision s'est améliorée jusqu'à $K \approx 6$ (réduction de la variance) mais a décliné pour des $K$ plus élevés en raison de la dilution du signal.

5. Signification et Revendications

L'article affirme que TRAS offre une solution robuste à l'instabilité inhérente à l'optimisation de prompts en boîte noire. En passant d'un paradigme purement piloté par l'erreur à une approche centrée sur le feedback qui équilibre correction et préservation, TRAS :

Stabilise l'Optimisation : Réduit la dérive sémantique et la variance dans la trajectoire de recherche de prompt.
Permet une Migration Efficace : Résout le problème pratique d'adaptation de prompts entre versions de modèles sans perdre les instructions critiques, un mode de défaillance courant dans la ré-optimisation naïve.
Améliore l'Efficacité : Atteint une précision plus élevée avec moins d'appels API en convergeant plus de manière fiable et en évitant les cycles redondants.

Les auteurs positionnent TRAS comme étant orthogonal aux stratégies de recherche, ce qui signifie qu'il peut améliorer diverses architectures APO existantes. Ils suggèrent que les travaux futurs pourraient explorer des mécanismes d'agrégation alternatifs, des calendriers de régularisation adaptatifs et des extensions aux contextes de déploiement multi-tours ou continus.