Résumé technique : CRAFT (Cost-aware Refinement And Front-aware Tuning of Prompts)

1. Formulation du problème

L'article traite le problème d'optimisation multi-objectif inhérent au réglage des prompts en langage naturel pour les grands modèles de langage (LLM). Bien que les prompts longs et structurés produisent souvent une précision de tâche plus élevée, ils engendrent des coûts d'inférence (comptage de tokens) plus importants à chaque appel de modèle. À l'inverse, une compression agressive réduit le coût mais risque de dégrader la performance.

Les auteurs soutiennent que l'optimisation pour un objectif unique (précision ou coût) ou la réduction de ces objectifs en une somme pondérée fixe (scalarisation) est sous-optimale. De telles approches échouent souvent à récupérer l'intégralité du front de Pareto — l'ensemble des prompts où aucun autre prompt n'est à la fois plus précis et plus court. Le papier identifie un mode de défaillance spécifique appelé effondrement par scalarisation (scalarization collapse), où les stratégies de recherche à poids fixes ne récupèrent qu'une région étroite de la surface d'échange, manquant les extrêmes de haute précision/faible coût ou de faible précision/haut coût selon le poids choisi. De plus, la nature discrète de l'espace des prompts et la relation non convexe entre le texte du prompt, la précision et le coût rendent les récompenses scalaires fixes insuffisantes.

Le défi central est que l'évaluation de la véritable précision d'un candidat nécessite des appels de validation coûteux vers le LLM cible. Puisque l'optimiseur opère sous un budget fixe de ces appels par cycle, il doit décider quels candidats évaluer sans connaître leur position réelle sur le front de Pareto.

2. Méthodologie : Le framework CRAFT

CRAFT (Cost-aware Refinement And Front-aware Tuning) est un optimiseur de prompts sensible au front de Pareto qui traite les appels de validation du LLM cible comme une ressource rare. Il opère par cycles itératifs, maintenant une population de prompts et la remodelant pour approximer le front de Pareto précision-coût.

2.1 Composants de la boucle centrale

Chaque cycle consiste en trois étapes distinctes :

1. Génération de candidats (Raffineur et Condenseur) :

   • CRAFT emploie deux générateurs complémentaires avec des biais opposés pour proposer des modifications à la population actuelle.
   • Raffineur (orienté précision) : Utilise un optimiseur sensible à la structure (par défaut SCULPT) pour analyser les prompts en arbres hiérarchiques et appliquer des modifications (réordonnancement, élaboration, clarification) afin de maximiser la précision de la tâche.
   • Condenseur (orienté coût) : Utilise un compresseur sensible à la structure (nommé DISTILL) pour modifier l'arbre du prompt analysé en supprimant des nœuds redondants ou en fusionnant des sections, visant un nombre de tokens plus faible tout en préservant les instructions critiques de la tâche.
   • Cette stratégie de double génération garantit que le pool de candidats explore les deux extrémités du spectre d'échange.

2. Acquisition du gap de Pareto (Allocation de validation) :

   • Au lieu de scorer tous les candidats ou d'utiliser un score scalaire, CRAFT alloue le budget de validation par cycle aux candidats susceptibles d'améliorer l'approximation actuelle du front.
   • Il calcule un score de Borne Supérieure de Confiance (UCB) ($p^+ = \mu + \beta\sigma$) pour chaque candidat basé sur l'historique partiel de validation, équilibrant l'exploration (incertitude élevée) et l'exploitation (moyenne élevée).
   • Ces scores optimistes sont couplés à des coûts normalisés pour former un front de candidats optimiste ($F^+_t$).
   • Le gap de Pareto ($g_i$) est calculé comme la distance de Manhattan entre un candidat et le point le plus proche sur ce front optimiste. Les candidats ayant les gaps les plus faibles (ceux les plus proches ou sur le front) sont prioritaires pour une validation complète. Cela garantit que le budget est dépensé sur les candidats capables d'étendre le front connu.

3. Rétention par NSGA-II (Sélection de la population) :

   • Après validation, le sélecteur retient une population de taille $k$ pour le cycle suivant.
   • Il utilise la logique de l'algorithme génétique NSGA-II (Non-dominated Sorting Genetic Algorithm II) pour partitionner les candidats en fronts non dominés ($F_1, F_2, \dots$).
   • Pour garantir la diversité, si le front frontal doit être partiellement sélectionné pour compléter la population, une règle de dispersion maximin est appliquée. Cela sélectionne de manière itérative les candidats qui maximisent la distance minimale euclidienne par rapport aux candidats déjà sélectionnés dans l'espace normalisé précision-coût, assurant que la population retenue couvre uniformément la surface d'échange plutôt que de se concentrer dans une seule région.

3. Contributions clés

1. Formalisation : Le papier formalise l'optimisation de prompt sensible au coût comme une recherche de front de Pareto budgétisée sur la précision et le coût en tokens du prompt, modélisant explicitement la contrainte selon laquelle les appels de validation du LLM cible régissent quels échanges peuvent être observés.
2. Framework CRAFT : Il propose une boucle d'optimisation sensible au front qui découple la génération de candidats de l'allocation de validation. Les innovations clés incluent :
   • Des générateurs complémentaires orientés précision et coût.
   • L'acquisition du gap de Pareto pour allouer de manière optimiste le budget de validation.
   • La rétention par NSGA-II pour maintenir une population diversifiée et étendue.
3. Preuves empiriques : Les auteurs démontrent que les bases standards (précision uniquement, coût uniquement, et scalarisation par somme pondérée) souffrent d'un effondrement par scalarisation, se concentrant dans des régions étroites du front. En revanche, CRAFT parvient à retenir des prompts exploitables dans les deux régions, haute précision et faible coût.

4. Résultats expérimentaux

Les auteurs ont évalué CRAFT sur six benchmarks de classification et de raisonnement en anglais : BeaverTails, GoEmotions, et quatre tâches BIG-Bench Hard (DisambiguationQA, Causal Judgement, Formal Fallacies, Salient Translation).

• Performance : CRAFT a obtenu le rang composite le plus élevé sur toutes les métriques (qualité du front, score et coût). Bien qu'il n'ait pas gagné sur chaque métrique individuelle (par exemple, les bases orientées coût ont parfois obtenu moins de tokens), c'est la seule méthode capable de couvrir systématiquement les deux extrémités du front de Pareto.
• Baselines :
  • Les baselines à axe unique (SCULPT pour la précision, DISTILL/LLMLingua pour le coût) excellent dans leur domaine respectif mais échouent sur l'autre.
  • Les baselines par somme pondérée (WPRO) se sont effondrées dans des régions étroites déterminées par leurs poids fixes, échouant à capturer l'intégralité de la surface d'échange.
• Ablations : Le retrait de l'un ou l'autre du raffineur ou du condenseur dégrade la performance, confirmant que les deux modules sont nécessaires pour fournir la diversité requise pour l'extension du front.
• Transfert Cross-LLM : Les gains de CRAFT sont robustes à travers différents LLM optimiseurs (GPT-5.5, GPT-5.4, DeepSeek, Kimi), indiquant que le framework n'est pas lié à un modèle optimiseur spécifique.
• Efficacité : La méthode atteint des plateaux de performance autour de 8 cycles d'optimisation, suggérant une utilisation efficace du budget de validation.

5. Signification et affirmations

L'article affirme que l'échange précision-coût dans l'ingénierie de prompt doit être traité comme un choix post-recherche plutôt que comme un poids pré-recherche. En optimisant directement le front de Pareto, CRAFT permet aux praticiens de sélectionner le prompt optimal pour un budget de déploiement spécifique après que la recherche est terminée, plutôt que d'être forcés de deviner le bon poids à l'avance.

Les auteurs positionnent CRAFT comme une solution au problème de l'« effondrement par scalarisation », offrant une approche plus fiable pour les scénarios où l'équilibre optimal entre précision et coût est inconnu ou varie selon les contextes de déploiement.

6. Limites

L'article reconnaît plusieurs limites :

• Portée : L'évaluation est limitée à la classification en anglais et au raisonnement à réponse courte. La généralisation à la génération ouverte (résumé, code, dialogue) ou aux contextes multilingues n'est pas testée.
• Familles de modèles : Les expériences ont principalement utilisé des modèles OpenAI (famille GPT-5) comme cibles. L'évaluation sur des cibles non-OpenAI (ex: Claude, Gemini, Llama, Qwen) reste un travail futur.
• Prompts initiaux : La méthode suppose un prompt initial minimalement pertinent pour la tâche ; le comportement sous des prompts initiaux faibles ou adverses n'est pas exploré.
• Générateurs : L'étude a utilisé un ensemble spécifique de générateurs (SCULPT, DISTILL, OPRO, EvoPrompt). Bien que le framework soit modulaire, l'utilisation de types de générateurs alternatifs (ex: compresseurs sensibles à l'historique) n'a pas été pleinement investiguée.