💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

Cet article introduit OPTS, un cadre d'optimisation de prompts qui améliore les performances des optimiseurs existants comme EvoPrompt en implémentant des mécanismes explicites, basés sur les bandits (spécifiquement l'échantillonnage de Thompson), pour sélectionner et appliquer efficacement des stratégies de conception de prompts, surpassant ainsi les méthodes qui reposent sur une sélection de stratégies implicite.

Auteurs originaux : Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Publié 2026-06-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot très intelligent mais parfois têtu (un grand modèle de langage) comment résoudre un casse-tête difficile. Vous donnez au robot des instructions, appelées « prompt ». Si les instructions sont vagues, le robot est confus. Si elles sont parfaites, le robot résout le casse-tête instantanément.

Pendant longtemps, les humains ont essayé d'écrire ces instructions parfaites à la main, ou ils ont utilisé des programmes informatiques pour ajuster automatiquement les instructions jusqu'à ce qu'elles fonctionnent mieux. C'est ce qu'on appelle l'Optimisation de Prompt.

Cependant, il y a un problème : ces programmes automatiques créent souvent des instructions qui sont fonctionnelles mais qui manquent de la « recette secrète » que les experts humains utilisent. Ils passent à côté d'astuces éprouvées comme « réfléchis étape par étape » ou « agis comme un expert ».

Le Problème : Le jeu de devinettes du robot

Récemment, un outil appelé APET a tenté de corriger cela. Il a donné au robot un menu de « stratégies de conception » (comme un menu de techniques de cuisine : ajouter du sel, hacher finement, mijoter doucement). Le robot était censé regarder le menu et décider quels trucs utiliser pour le casse-tête spécifique.

Mais l'article soutient que demander au robot de faire ce choix, c'est comme demander à un chef fatigué de deviner quelle épice sauvera une soupe brûlée. Le robot se trompe souvent en devinant, choisissant des stratégies qui rendent en réalité les instructions pires. C'est un choix implicite (le robot a juste l'« impression » qu'il devrait utiliser un truc), et il n'est pas très doué pour cela.

La Solution : OPTS (Le Sommelier Intelligent)

Les auteurs de cet article présentent une nouvelle méthode appelée OPTS (Optimizing Prompts with sTrategy Selection).

Au lieu de laisser le robot deviner, OPTS agit comme un sommelier intelligent (un expert en vin) ou un directeur de casino gérant un jeu de hasard. Voici comment cela fonctionne en utilisant une analogie simple :

Imaginez que vous avez une rangée de machines à sous (les chercheurs les appellent des « bras »).

Machine 1 : Ajoute « Réfléchis étape par étape » aux instructions.
Machine 2 : Dit au robot de « Relire la question ».
Machine 3 : Dit au robot d'« Agir comme un expert en mathématiques ».
Machine K+1 : Ne fait rien (garde les instructions exactement telles quelles).

Dans l'ancienne méthode (APET), le robot tirait simplement un levier au hasard ou selon une intuition.

Dans la nouvelle méthode OPTS, le système utilise une stratégie mathématique appelée Échantillonnage de Thompson (Thompson Sampling). Voyez cela comme un joueur de casino intelligent qui garde une fiche de score :

Il essaie une machine (une stratégie).
Si le robot résout mieux le casse-tête, le système donne un « pouce levé » à cette machine et la rend plus susceptible d'être choisie la prochaine fois.
S'il échoue, le système donne un « pouce baissé » à cette machine et arrête de la choisir.
Crucialement, il garde aussi une machine « Ne rien faire ». Si tous les trucs rendent les choses pires, le système apprend à laisser les instructions telles quelles.

Ce qu'ils ont trouvé

Les chercheurs ont testé cela sur deux robots différents (LLM) en utilisant un ensemble de casse-têtes de logique et de raisonnement très difficiles (appelés BIG-Bench Hard).

Le Résultat : En utilisant cette approche de « joueur intelligent » pour choisir la bonne stratégie, le système a créé de bien meilleures instructions que ce que les robots pourraient faire par eux-mêmes.
Le Champion : La méthode de l'Échantillonnage de Thompson (le joueur intelligent) a été la grande gagnante. Elle a amélioré les performances de l'optimiseur de prompt jusqu'à 50 % sur certaines tâches.
La Comparaison : L'ancienne méthode (APET), où le robot devine, a en fait obtenu de moins bons résultats que si l'on choisissait les stratégies de manière aléatoire. Cela prouve que le robot est mauvais pour deviner quels trucs utiliser, mais qu'il est excellent pour suivre des instructions si nous lui disons quel truc utiliser.

La Conclusion

Cet article ne prétend pas avoir résolu tous les problèmes de l'IA ou être prêt pour le diagnostic médical. Il montre simplement que lorsque nous essayons d'apprendre à l'IA comment mieux parler, nous ne devrions pas laisser l'IA deviner quelle méthode d'enseignement utiliser. Au lieu de cela, nous devrions utiliser un système intelligent et basé sur les données (comme l'Échantillonnage de Thompson) pour choisir explicitement les meilleures astuces d'enseignement, tout comme un entraîneur choisissant la bonne tactique pour une situation de jeu spécifique.

Le code de ce « coach intelligent » est désormais disponible pour que d'autres puissent l'utiliser.

Résumé Technique : Stratégie de Sélection de Conception de Prompt Basée sur les Bandits

Énoncé du Problème

L'optimisation de prompts vise à rechercher automatiquement des prompts efficaces pour améliorer les performances des Grands Modèles de Langage (LLM). Bien que les méthodes existantes d'optimisation de prompts discrets (par exemple, les algorithmes évolutionnaires) aient découvert avec succès des prompts efficaces, ceux-ci diffèrent souvent des prompts sophistiqués et soigneusement élaborés par des experts humains. Un écart critique existe dans l'exploitation des « stratégies de conception de prompts » établies (les meilleures pratiques comme le Chain-of-Thought ou le Role Prompting) au sein de l'optimisation automatisée.

Des approches récentes, telles que l'Autonomous Prompt Engineering Toolbox (APET), tentent d'incorporer ces stratégies en fournissant toutes les descriptions de stratégies disponibles à un LLM, qui sélectionne et applique ensuite implicitement ces dernières. Cependant, cette sélection implicite est sujette à des performances sous-optimales car les LLM peuvent ne pas optimiser efficacement le processus de sélection, et des stratégies inappropriées peuvent nuire aux performances selon la tâche spécifique et le LLM cible. Le problème central abordé est l'absence d'un mécanisme explicite et robuste pour sélectionner les stratégies de conception de prompts les plus appropriées durant le processus d'optimisation.

Méthodologie

Les auteurs proposent OPTS (Optimizing Prompts with sTrategy Selection), un cadre qui introduit des mécanismes de sélection explicites pour les stratégies de conception de prompts. OPTS est intégré à EvoPrompt, un optimiseur de prompt bien connu qui émule les algorithmes évolutionnaires (spécifiquement les algorithmes génétiques et l'évolution différentielle).

Composants Clés

Bras de Stratégie (Strategy Arms) : Le système définit $K$ bras, chacun correspondant à une stratégie de conception de prompt spécifique (ex: Chain-of-Thought, Emotion Prompting, Re-Reading). Un $(K+1)$ -ième bras d'« inaction » est également inclus, représentant l'option de ne pas appliquer de modification de stratégie.
Mécanismes de Sélection : Le papier propose et évalue trois méthodes de sélection distinctes :
- OPTS(TS) : Utilise l'Échantillonnage de Thompson (Thompson Sampling), un algorithme de bandit multi-bras. Il maintient une distribution de probabilité (priors de distribution Beta) pour chaque bras concernant sa récompense attendue. Après avoir évalué un prompt modifié, la récompense (basée sur la précision de résolution de tâche du LLM) met à jour la distribution, permettant au système de doser l'exploration et l'exploitation des stratégies.
- OPTS(US) : Utilise l'Échantillonnage Uniforme (Uniform Sampling), où chaque bras (y compris le bras d'inaction) est sélectionné avec une probabilité égale, servant de base de référence pour l'application aléatoire de stratégies.
- OPTS(APET) : Basé sur la méthode APET, où un LLM sélectionne implicitement des stratégies à partir d'une liste. Cette version inclut une probabilité explicite de 50 % de choisir le « bras d'inaction » pour imiter le comportement d'APET tout en ajoutant un contrôle pour la non-modification.
Flux de Travail d'Intégration :
- EvoPrompt génère un nouveau prompt candidat via croisement et mutation.
- Le module OPTS sélectionne une stratégie (ou l'inaction) selon le mécanisme choisi.
- Si une stratégie est sélectionnée, sa description est transmise à un « LLM de conception de prompts » accompagnée d'un méta-prompt et du prompt candidat.
- Le LLM de conception de prompts modifie le prompt pour y incorporer la stratégie sélectionnée.
- Le prompt modifié est évalué par le « LLM de résolution de tâche », et le score résultant est utilisé pour mettre à jour la distribution de sélection (dans le cas de TS) et déterminer la population de la génération suivante.

Contributions Clés

Sélection Explicite de Stratégie : Le papier introduit les premiers mécanismes de sélection explicite des stratégies de conception de prompts dans l'optimisation de prompts, s'éloignant de la sélection implicite utilisée dans des travaux antérieurs comme APET.
Intégration de l'Échantillonnage de Thompson : Les auteurs proposent et évaluent une approche basée sur l'échantillonnage de Thompson (OPTS(TS)) qui démontre empiriquement une performance supérieure pour sélectionner les stratégies appropriées pour des tâches et des LLM spécifiques.
Amélioration des Performances : L'étude démontre que l'intégration de la sélection explicite de stratégies améliore significativement la performance de l'optimiseur EvoPrompt.
Évaluation Complète : Les méthodes sont évaluées à travers 27 tâches exigeantes de BIG-Bench Hard (BBH) en utilisant deux LLM de résolution de tâche différents (Llama-3-8B-Instruct et GPT-4o mini) et deux algorithmes évolutionnaires différents (GA et DE).

Résultats Expérimentaux

Les expériences ont été menées sur les tâches de BIG-Bench Hard. Les LLM de résolution de tâche étaient Llama-3-8B-Instruct (pour les 27 tâches) et GPT-4o mini (pour 3 tâches).

Amélioration Globale : Les trois variantes d'OPTS (TS, US, APET) ont amélioré la performance moyenne de la ligne de base EvoPrompt(DE) d'environ 4,5 % à 7,5 %.
Supériorité de l'Échantillonnage de Thompson : OPTS(TS) a obtenu les meilleurs résultats globaux. En utilisant GPT-4o mini pour la génération de prompts et la résolution de tâches, OPTS(TS) a amélioré la performance d'EvoPrompt jusqu'à 50 % sur des tâches spécifiques (ex: "logical deduction five objects"). En moyenne sur les tâches BBH avec Llama-3-8B-Instruct, OPTS(TS) a surpassé OPTS(US) d'environ 1,7 % et OPTS(APET) d'environ 2,7 %.
Comparaison avec APET : OPTS(APET) a moins bien performé que OPTS(US), suggérant que les LLM possèdent des biais qui mènent à une sélection de stratégie implicite erronée.
Variabilité des Tâches : L'amélioration variait selon la tâche. Pour des tâches comme "ruin names", OPTS(TS) a amélioré la performance d'environ 40 % par rapport à la ligne de base. Dans certains cas, la performance a légèrement décliné, mais le « bras d'inaction » a permis de garantir que ce déclin soit minimal par rapport aux gains.
Efficacité des Coûts : Sous une contrainte fixe de 500 appels d'API, OPTS(TS) a tout de même surpassé la ligne de base EvoPrompt, indiquant une meilleure rentabilité.

Signification et Revendications

Le papier affirme que la sélection explicite des stratégies de conception de prompts est une étape cruciale pour faire progresser l'optimisation de prompts. En exploitant les connaissances existantes en ingénierie de prompts (stratégies comme le Chain-of-Thought) via un processus de sélection basé sur les bandits, OPTS permet aux optimiseurs de découvrir des prompts qui sont non seulement efficaces, mais aussi structurellement alignés avec les meilleures pratiques humaines.

Les auteurs soulignent que :

La sélection explicite est supérieure à la sélection implicite : La capacité d'un LLM à choisir implicitement des stratégies (comme dans APET) est sous-optimale par rapport à la sélection basée sur les données de l'échantillonnage de Thompson.
Les stratégies peuvent être combinées : Bien qu'OPTS(TS) sélectionne une stratégie à la fois, les prompts optimisés résultants présentent souvent une combinaison de stratégies (ex: un Chain-of-Thought incorporant du Re-Reading), suggérant que l'optimiseur apprend efficacement à superposer ces techniques.
Généralisabilité : L'approche est efficace quel que soit le LLM de résolution de tâche spécifique (Llama-3 ou GPT-4o) ou l'algorithme évolutionnaire sous-jacent (GA ou DE).

Les auteurs maintiennent une position modeste, notant des limites telles que la formulation d'OPTS(TS) comme un bandit de Bernoulli (qui pourrait être affinée), l'absence de tests sur d'autres optimiseurs que EvoPrompt, et la variabilité potentielle des résultats basée sur l'ensemble spécifique de stratégies préparées. Ils concluent que leur travail souligne l'importance de tirer parti explicitement et de sélectionner les connaissances existantes en conception de prompts pour améliorer les performances des LLM.