Résumé Technique : Savoir comment éditer : Signaux d'évaluation fiables pour le diagnostic et l'optimisation de prompts au niveau de la requête

Énoncé du problème

Bien que l'optimisation de prompts soit devenue un mécanisme central pour susciter la performance des grands modèles de langage (LLM), un décalage critique existe entre l'évaluation de prompt et l'optimisation de prompt. La recherche actuelle développe généralement ces deux composants comme des éléments isolés :

1. L'Évaluation se concentre souvent sur la mesure de la qualité sans indiquer comment les prompts devraient être modifiés.
2. L'Optimisation repose fréquemment sur des signaux heuristiques, instables ou opaques (par exemple, des retours textuels générés par LLM ou des modèles de récompense de type "boîte noire") qui manquent d'un fondement systématique dans l'évaluation.

Cette séparation soulève une question fondamentale : Comment l'évaluation peut-elle fournir des signaux fiables pour décider où et comment affiner les prompts ? De plus, les métriques d'évaluation existantes sont souvent basées sur la réponse, nécessitant des exécutions répétées du modèle, ce qui les rend coûteuses en termes de calcul et difficiles à déployer dans des contextions de type requête ou multi-agents. Par ailleurs, les méthodes d'optimisation de modèles statiques ne parviennent pas à s'adapter à l'hétérogénéité des requêtes réelles, tandis que les méthodes dynamiques dépendantes de la requête manquent souvent de mécanismes interprétables pour guider les éditions.

Méthodologie

Les auteurs proposent un système d'optimisation de prompt assisté par l'évaluation qui unifie une évaluation complète et une optimisation dynamique au sein d'une boucle fermée unique. L'approche se compose de quatre étapes principales :

1. Génération de l'ensemble de données d'entraînement

Pour entraîner un évaluateur généralisable, les auteurs ont construit un ensemble de données diversifié de 11 530 candidats de prompts couvrant diverses structures, styles et niveaux de performance. Les prompts ont été générés à partir de trois sources :

• Modèles Statiques : Cinq paradigmes dominants (ex: Chain-of-Thought, Tree-of-Thought).
• Prompts générés par LLM : Six styles de prompting distincts (ex: questionnement socratique, discussion d'experts) générés avec une température élevée.
• Recombinaison Évolutive : Décomposition sémantique et combinaison croisée de prompts parents pour créer des structures hybrides.

2. Sélection des métriques et cadre de travail

Les auteurs ont évalué huit métriques candidates et en ont sélectionné quatre réfléchissant la performance qui présentent une importance et une complémentarité élevées pour prédire la précision des tâches en aval (définie comme une précision moyenne > 50 % sur 10 exécutions) :

• Score NLL : Mesure la log-vraisemblance négative de la génération de la bonne réponse (guidage sémantique).
• Score de Stabilité : Quantifie la cohérence des réponses à travers des exécutions répétées.
• Information Mutuelle (MI) : Mesure l'alignement sémantique entre la requête et la sortie.
• Entropie de la Requête : Capture la difficulté intrinsèque ou l'incertitude de la requête elle-même.

3. Architecture de l'évaluateur

Un évaluateur léger, sans exécution ($E_\theta$), est construit sur une base LLaMA-8B-Instruct avec une adaptation LoRA. Il fonctionne comme un modèle multi-tâches effectuant :

• Classification Binaire : Prédire si un prompt atteindra une précision > 50 %.
• Régression de Métriques : Prédire des scores continus pour les quatre métriques sélectionnées.
• Entraînement Bi-niveau : Le modèle optimise la perte de classification assistée par la perte de régression, avec un pondération de métrique informée par le gradient. Ce mécanisme ajuste dynamiquement l'influence de chaque métrique en fonction de sa contribution de gradient à l'objectif de classification, garantissant que le modèle se concentre sur les signaux pertinents pour la performance.

4. Optimisation sensible aux métriques

Lorsque l'évaluateur identifie un prompt de faible qualité, il initie un processus d'optimisation ciblé :

• Attribution : Le système calcule le gradient de la perte de classification par rapport à chaque métrique prédite pour identifier les facteurs spécifiques causant l'échec (ex: faible confiance, ambiguïté élevée).
• Modules de Diagnostic : Des modules de diagnostic spécifiques (ex: détecteur de conflit d'instruction pour NLL, garde de format pour la stabilité) analysent le prompt pour des problèmes spécifiques aux métriques.
• Révision Ciblée : L'optimiseur suggère et applique des éditions correctives (ex: ajout de formats à slots fixes, clarification des variables, suppression d'instructions conflictuelles) basées sur la métrique diagnostiquée.
• Augmentation du côté Requête : Pour une entropie de requête élevée, le système augmente la requête avec des clarifications plutôt que de modifier le prompt système.

Contributions Clés

1. Évaluation de Prompt Réfléchissant la Performance : Les auteurs établissent un système d'évaluation complet et entraînent un évaluateur sans exécution capable de prédire la qualité multidimensionnelle et la performance en aval avec une précision de 83,7 %, surpassant de manière significative les bases de référence basées sur les embeddings (69 %).
2. Mécanisme d'Optimisation Assisté par l'Évaluation : Le papier comble le fossé entre l'évaluation et l'optimisation dans des contextes dépendants de la requête. En utilisant les signaux d'évaluation pour guider directement les directions d'optimisation, la méthode améliore la robustesse et l'interprétabilité, permettant un raffinement ciblé des prompts sans exécutions répétées du modèle.
3. Pipeline Unifié : Ce travail propose le premier pipeline d'évaluation-optimisation de prompt qui unifie l'évaluation complète et l'optimisation dynamique dans une seule boucle fermée.

Résultats Expérimentaux

L'approche proposée a été évaluée sur 8 ensembles de données de référence (incluant BBH, GPQA, LegalBench, MATH500 et MedQA) et 3 LLM de base (LLaMA-3-8B, LLaMA-3.1-8B et GPT-4o).

• Performance : La méthode a systématiquement surpassé les bases de référence existantes, y compris les optimiseurs de templates statiques (APE, TextGrad) et les méthodes dépendantes de la requête (Self-Refine, Pro-Refine). Les gains notables incluent une amélioration d'environ 10 % sur LegalBench et de 5 à 6 % sur la tâche non vue de MedQA.
• Généralisation : Malgré un entraînement exclusif sur des échantillons LLaMA-3-8B, l'évaluateur a démontré une forte généralisation inter-modèles, produisant des gains positifs sur LLaMA-3.1 et GPT-4o.
• Efficacité : La nature sans exécution de l'évaluateur élimine le besoin d'exécutions répétées du modèle pendant la boucle d'optimisation, répondant ainsi au coût de calcul élevé des métriques basées sur la réponse.

Signification et Revendications

Le papier affirme que des signaux d'évaluation fiables et efficaces peuvent servir de fondement efficace pour une optimisation de prompt robuste et interprétable.

Les revendications clés concernant la signification de ce travail incluent :

• Découplage de l'Exécution : Une optimisation de prompt efficace peut être réalisée sans réentraîner le LLM sous-jacent ou dépendre de boucles de rétroaction coûteuses à exécutions multiples.
• Interprétabilité : En décomposant la qualité du prompt en métriques interprétables, le cadre fournit un moyen fondé pour décider où et comment éditer les prompts, dépassant l'optimisation opaque de type boîte noire.
• Scalabilité : L'approche offre une base évolutive pour une future optimisation de prompt orientée performance et sans exécution, tant dans les systèmes autonomes que multi-agents.

Les auteurs notent modestement que l'optimisation de prompt ne peut pas surmonter fondamentalement les limites de capacité inhérentes à un LLM (par exemple, les petits modèles ne peuvent pas effectuer de mathématiques symboliques complexes, quelle que soit la qualité du prompt), mais le cadre maximise les gains potentiels à l'intérieur des limites de capacité existantes du modèle.