🤖 machine learning

MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

MO-CAPO est un nouvel algorithme d'optimisation de prompts multi-objectif qui optimise conjointement les performances et le coût d'inférence des grands modèles de langage grâce à une allocation efficace du budget, surpassant les méthodes existantes en découvrant des compromis diversifiés et robustes entre performances et coûts tout en maintenant l'efficacité économique.

Auteurs originaux : Jan Büssing, Moritz Schlager, Timo Heiß, Tom Zehle, Matthias Feurer

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jan Büssing, Moritz Schlager, Timo Heiß, Tom Zehle, Matthias Feurer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent, mais coûteux (un Modèle de Langage ou LLM). Vous voulez qu'il effectue une tâche spécifique, comme écrire une histoire ou résoudre un problème de mathématiques. Pour obtenir le meilleur du robot, vous devez lui fournir un ensemble d'instructions, appelé « prompt ».

Le problème est que rédiger manuellement le prompt parfait revient à essayer de deviner les numéros gagnants du loto : c'est difficile, long et souvent peu fiable. De plus, le robot vous facture chaque mot qu'il lit (entrée) et chaque mot qu'il écrit (sortie). Si votre prompt est trop long ou oblige le robot à trop réfléchir, votre facture augmente.

L'Ancienne Méthode : « Plus c'est mieux »

Auparavant, les chercheurs tentaient de résoudre ce problème en créant des outils automatiques pour rédiger de meilleurs prompts. Cependant, ces outils avaient un angle mort majeur : ils ne se souciaient que de la performance du robot. Ils ne se souciaient pas du coût.

C'était comme embaucher un livreur qui ne se soucie que d'arriver rapidement avec le colis, mais qui ne se soucie pas s'il fait un détour qui consomme du carburant supplémentaire. Vous pourriez obtenir un excellent prompt, mais il pourrait être si coûteux à exécuter qu'il deviendrait inutile pour une utilisation réelle.

D'autres chercheurs ont tenté d'équilibrer performance et coût en utilisant une approche « tout-venant » (un algorithme appelé NSGA-II). Ils lançaient tout contre le mur pour voir ce qui restait. Mais cela était lent et gaspilleur, comme essayer de trouver la meilleure recette en cuisinant tous les plats possibles au monde, même ceux qui sont clairement mauvais, avant de passer à autre chose.

La Nouvelle Solution : MO-CAPO

Les auteurs de cet article ont introduit MO-CAPO (Optimisation de Prompt Consciente du Coût Multi-Objectif). Imaginez MO-CAPO comme un chef intelligent et soucieux de son budget qui cherche le menu parfait.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Les Deux Objectifs (Performance vs Coût)
Au lieu de chercher uniquement le « meilleur » plat, MO-CAPO recherche les meilleurs compromis.

Objectif A : Faire en sorte que le plat ait un goût incroyable (Haute Performance).
Objectif B : Garder la facture d'épicerie basse (Faible Coût).
MO-CAPO ne vous donne pas une seule réponse. Il vous offre un menu d'options :
Option 1 : Un plat bon marché et simple qui a un goût à 80 % aussi bon que le meilleur.
Option 2 : Un plat légèrement plus cher qui a un goût à 90 % aussi bon.
Option 3 : Le plat gastronomique le plus cher qui a un goût à 100 % aussi bon.
Cela permet à un utilisateur de choisir l'option qui correspond à son budget et à ses besoins spécifiques.

2. Le Mécanisme de « Course » (Économiser de l'argent)
La plus grande innovation réside dans la façon dont MO-CAPO économise de l'argent pendant qu'il recherche ces prompts.
Imaginez que vous testiez 100 nouvelles recettes. Une méthode traditionnelle cuisinerait chacune d'elles de bout en bout pour voir laquelle est la meilleure. Cela gaspille beaucoup de gaz et d'ingrédients.
MO-CAPO utilise une stratégie de « Course » :

Il commence à cuisiner les 100 recettes, mais seulement pendant quelques minutes.
Si une recette a clairement un mauvais goût après 5 minutes, il arrête de la cuisiner immédiatement et la jette.
Il ne consacre le temps et l'argent complets qu'aux recettes qui montrent des promesses.
Cela signifie que MO-CAPO trouve de bonnes solutions beaucoup plus rapidement et avec beaucoup moins d'argent que les anciennes méthodes.

3. Compter Chaque Token (Coûts Réels)
Les anciennes méthodes comptaient souvent simplement la longueur de l'instruction (comme compter le nombre de mots dans une lettre). MO-CAPO est plus intelligent. Il sait que dans le monde de l'IA, ce que le robot écrit coûte plus cher que ce que vous lui dites de lire.

Lecture (Entrée) : Comme écouter un podcast. C'est relativement peu coûteux.
Écriture (Sortie) : Comme le robot tapant un long essai. C'est coûteux.
MO-CAPO calcule le coût en fonction des deux, garantissant que les prompts finaux sont véritablement rentables pour une utilisation réelle.

Les Résultats : Ce qu'ils ont découvert

Les chercheurs ont testé MO-CAPO sur trois « robots » différents (modèles d'IA) et quatre tâches différentes (comme les mathématiques, la classification de nouvelles et la programmation).

Meilleure Efficacité : MO-CAPO a trouvé des solutions de haute qualité en utilisant beaucoup moins d'argent que l'ancienne méthode « tout-venant ». Dans certains cas, il a atteint la même qualité avec seulement une fraction du budget.
Plus de Choix : Contrairement aux outils à objectif unique qui ne vous donnent qu'un seul « meilleur » prompt, MO-CAPO leur a offert tout un spectre de choix. Vous pouviez voir exactement combien d'argent supplémentaire il faudrait dépenser pour obtenir un tout petit peu plus de précision.
Tout aussi Bon : Même si MO-CAPO se concentrait sur l'économie d'argent, les « meilleurs » prompts qu'il a trouvés étaient tout aussi bons que ceux trouvés par les outils coûteux à objectif unique. Il n'a pas sacrifié la qualité pour économiser des coûts ; il a simplement trouvé les points optimaux.

La Conclusion

MO-CAPO est un outil qui aide les gens à utiliser l'IA de manière plus intelligente. Il met fin à l'approche « tout lancer contre le mur » et la remplace par une recherche stratégique et consciente du budget. Il offre aux utilisateurs une Frontière de Pareto — un terme fancy pour un « menu de compromis » — afin qu'ils puissent choisir l'équilibre parfait entre obtenir un excellent résultat et garder leur portefeuille heureux.

Résumé Technique : MO-CAPO : Optimisation de Prompt Multi-Objectif Consciente des Coûts

1. Énoncé du Problème

Les Modèles de Langage à Grande Échelle (LLM) démontrent des performances solides sur une diversité de tâches, mais restent hautement sensibles à la conception des prompts, rendant nécessaire une optimisation automatique de ces derniers. Bien que les méthodes existantes se concentrent principalement sur la maximisation des performances, elles ignorent souvent des objectifs concurrents tels que le coût d'inférence et la latence. De plus, le processus d'optimisation lui-même est coûteux, nécessitant de nombreux appels aux LLM.

Les approches actuelles font face à deux limitations majeures :

Focus Mono-Objectif : La plupart des optimiseurs (par exemple, CAPO, GEPA) optimisent uniquement la performance ou utilisent une scalarisation avec un poids de compromis fixe et prédéfini pour pénaliser la longueur du prompt. Cette approche échoue à capturer le spectre complet des compromis performance-coût et oblige les utilisateurs à régler manuellement les poids, ce qui n'est pas trivial.
Méthodes Multi-Objectif Inefficaces : Les optimiseurs de prompts multi-objectifs existants reposent généralement sur des algorithmes prêts à l'emploi comme NSGA-II. Ces méthodes manquent souvent d'efficacité coût dans leurs procédures d'optimisation, évaluant les candidats sur des jeux de données complets sans mécanismes pour écarter précocement les solutions peu prometteuses. De plus, elles utilisent souvent la longueur du prompt comme proxy du coût, ignorant les profils de calcul distincts des tokens d'entrée par rapport aux tokens de sortie dans les LLM modernes (où la génération de sortie est significativement plus coûteuse).

Le problème central consiste à développer un algorithme d'optimisation de prompts qui optimise conjointement la performance et le coût d'inférence, découvre un ensemble diversifié de solutions Pareto-optimales (le front de Pareto), et ce, de manière efficace sous un budget d'évaluation limité.

2. Méthodologie : MO-CAPO

Les auteurs proposent MO-CAPO (Optimisation de Prompt Multi-Objectif Consciente des Coûts), un algorithme qui étend la stratégie évolutionnaire de CAPO pour gérer explicitement plusieurs objectifs tout en intégrant des mécanismes d'allocation de budget.

2.1 Objectif de Coût

MO-CAPO introduit un objectif de coût orienté déploiement qui prend en compte le profil de calcul complet de l'inférence LLM. Contrairement aux méthodes précédentes qui pénalisent uniquement la longueur du prompt, MO-CAPO définit le coût comme une somme pondérée des tokens d'entrée et de sortie :
$c_\Phi(p, x) = w_{in} \cdot tok_{in}(p; x) + w_{out} \cdot tok_{out}(p; x)$
Où $w_{in}$ et $w_{out}$ sont des poids spécifiques au modèle, dérivés des tarifs API ou des métriques de latence. Cette formulation reflète la réalité selon laquelle les tokens de sortie sont généralement plus coûteux en raison du décodage autorégressif séquentiel.

2.2 Cadre Algorithmique

MO-CAPO fonctionne comme un algorithme génétique avec une population de prompts composés d'instructions et d'exemples few-shot. Il intègre des concepts issus de NSGA-II et de la méthode de configuration automatique d'algorithmes multi-objectifs MO-SMAC.

Ensemble Incumbent et Population : L'algorithme maintient une population ( $P_\mu$ ) et un ensemble dédié d'incumbents ( $P_{inc}$ ) représentant l'approximation actuelle du front de Pareto.
Sélection des Parents : Contrairement à la sélection aléatoire de CAPO, MO-CAPO utilise une sélection par tournoi binaire adaptée à des niveaux d'évaluation hétérogènes. Elle favorise les incumbents (solutions sur le front de Pareto) et utilise la distance d'encombrement (CD) pour maintenir la diversité. Pour les non-incumbents ayant des niveaux d'évaluation différents, elle applique un critère de domination plus faible pour assurer une comparaison équitable.
Intensification (Allocation de Budget) : Il s'agit du mécanisme central d'efficacité. Au lieu d'évaluer chaque candidat sur l'ensemble complet de développement, les challengers sont évalués progressivement sur des blocs de données.
- Un challenger est comparé à l'incumbent le plus proche dans l'espace des objectifs.
- Si le challenger est dominé par l'incumbent sur le sous-ensemble de données évalué jusqu'alors, son évaluation est terminée prématurément (« rejetée »), économisant ainsi le budget.
- S'il survit, il est évalué sur davantage de blocs jusqu'à ce qu'il domine un incumbent ou complète l'évaluation sur tous les blocs partagés.
- Les challengers survivants sont ajoutés à la population et potentiellement à l'ensemble des incumbents.
Sélection Environnementale : Pour maintenir la taille de la population, les candidats dominés sont supprimés. Si les candidats ont des niveaux d'évaluation hétérogènes, ceux ayant le moins d'évaluations sont écartés en premier pour éviter tout biais.

3. Contributions Clés

L'article expose quatre contributions principales :

Algorithme MO-CAPO : Un nouvel algorithme d'optimisation de prompts multi-objectif qui découvre des approximations complètes du front de Pareto équilibrant performance et coût d'inférence, tout en maintenant l'efficacité des coûts grâce à un mécanisme d'intensification.
Objectif de Coût Réaliste : Une nouvelle fonction objectif qui pondère séparément les tokens d'entrée et de sortie, fournissant une mesure réaliste des coûts de déploiement pour les LLM modernes, allant au-delà des simples proxies de longueur de prompt.
Protocole d'Évaluation Rigoureux : La première évaluation à grande échelle de l'optimisation de prompts multi-objectif qui considère la généralisation et la robustesse en utilisant :
- R2 Bruité (nR2) : Mesure la robustesse de la sélection en simulant la sélection des préférences utilisateurs sur l'ensemble de développement et en évaluant sur l'ensemble de test.
- Écart d'Approximation : Quantifie la différence entre les fronts de Pareto optimistes (non dominés sur l'ensemble de test) et pessimistes (non dominés sur l'ensemble de développement).
- Surfaces d'Atteinte Empiriques (EAS) : Visualise la stabilité des performances sur plusieurs exécutions.
Étalonnage Complet : Une comparaison par rapport aux optimiseurs mono-objectif de l'état de l'art (CAPO, GEPA, EvoPromptGA) et à une base NSGA-II sur trois LLM et quatre tâches, démontrant une supériorité dans les métriques multi-objectif et l'efficacité.

4. Résultats Expérimentaux

Les auteurs ont évalué MO-CAPO sur trois LLM (GPT-OSS-120B, Qwen3-30B, Mistral-3.2-24B) et quatre tâches (AG News, GSM8K, Subj, MBPP) avec un budget de tokens de 7,5 millions.

Performance Multi-Objectif : MO-CAPO a surpassé la base NSGA-II dans 8 combinaisons modèle-jeu de données sur 12 concernant la métrique R2 bruité. Il a identifié de manière constante des approximations de fronts de Pareto solides, robustes et diversifiées.
Efficacité : MO-CAPO a démontré une efficacité nettement supérieure. Il a trouvé des ensembles de solutions compétitifs avec des budgets beaucoup plus faibles (nécessitant souvent moins du tiers du budget pour atteindre 80 % de la performance finale) par rapport à NSGA-II-PO. Le mécanisme d'intensification a permis à MO-CAPO d'évaluer jusqu'à 5,7 fois plus de candidats que la base.
Diversité des Solutions : Les ensembles de solutions découverts couvraient des compromis performance-coût divers, incluant des solutions à faible coût omises par les optimiseurs mono-objectif et des solutions à haute performance. Les prompts variaient en détail des instructions, en nombre d'exemples few-shot et en ratios de tokens d'entrée/sortie.
Compétitivité avec les Méthodes Mono-Objectif : Malgré l'optimisation pour le coût, les candidats à la performance maximale trouvés par MO-CAPO sont restés compétitifs par rapport aux optimiseurs mono-objectif de l'état de l'art. En termes de classements de précision, MO-CAPO était statistiquement indiscernable de CAPO et GEPA dans de nombreux contextes et a significativement surpassé EvoPrompt et les instructions initiales.
Études d'Ablation :
- Intensification : Le retrait de ce mécanisme (retour à NSGA-II-PO) a entraîné une convergence plus lente et une consommation de tokens plus élevée.
- Poids de Coût : Le poids des tokens d'entrée ( $w_{in}$ ) s'est avéré être le moteur dominant pour le contrôle du coût du prompt. Son retrait a conduit à une augmentation dramatique de l'utilisation des tokens d'entrée et à une dégradation de la qualité de l'optimisation (nR2).

5. Signification et Revendications

L'article revendique que MO-CAPO permet aux praticiens de sélectionner parmi un ensemble efficacement découvert de multiples prompts offrant différents compromis entre performance et coût, plutôt que d'être contraints à une solution unique ou à une scalarisation réglée manuellement.

Les revendications clés concernant la signification incluent :

Efficacité : L'intégration de l'allocation de budget multi-objectif (intensification) dans l'optimisation évolutionnaire de prompts permet la découverte de fronts de Pareto robustes sous des budgets de calcul serrés.
Réalisme : En modélisant explicitement les coûts des tokens d'entrée et de sortie, la méthode fournit une représentation plus précise des coûts de déploiement réels que les proxies basés sur la longueur.
Robustesse : L'utilisation des écarts d'approximation et des métriques R2 bruités fournit une évaluation plus réaliste de la qualité des solutions, tenant compte des erreurs de généralisation et de la variabilité stochastique souvent masquées par des métriques standard comme l'Hypervolume.
Utilité Pratique : La méthode offre un ensemble diversifié d'alternatives viables à faible coût qui sont ignorées par les méthodes axées uniquement sur la performance, répondant à la réalité pratique selon laquelle les gains marginaux de précision ne justifient souvent pas des augmentations substantielles des coûts d'inférence.

Les auteurs positionnent ce travail comme la première évaluation approfondie de l'optimisation multi-objectif pour l'apprentissage automatique qui étend les méthodologies préliminaires à l'optimisation de prompts, en soulignant le besoin de métriques robustes et conscientes de la généralisation dans ce domaine.