PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data

1. Problématique

L'ingénierie de prompt (prompt engineering) est cruciale pour exploiter le potentiel des grands modèles de langage (LLM) sans nécessiter de mise à jour des gradients. Cependant, la conception manuelle de prompts efficaces est difficile et souvent laborieuse. Les méthodes automatiques existantes souffrent de deux limitations majeures :

• Coût computationnel élevé : Certaines méthodes nécessitent des heures de calcul pour explorer un vaste espace de recherche.
• Dépendance aux données : D'autres méthodes reposent sur de grands ensembles de données d'entraînement pour évaluer les candidats, ce qui les rend peu pratiques dans des contextes où les données sont rares ou limitées.

De plus, la plupart des travaux antérieurs se concentrent uniquement sur l'optimisation de la chaîne d'instructions (instruction string), en négligeant le composant le plus impactant de l'apprentissage en contexte (ICL) : les exemples few-shot.

2. Méthodologie : PIAST

Les auteurs proposent PIAST (Prompting with In-context Augmentation for Scarce Training data), un algorithme de construction automatique de prompts rapide qui enrichit une instruction humaine concise avec un petit ensemble d'exemples few-shot générés automatiquement.

Le pipeline de PIAST repose sur trois composants principaux, chacun instantié par un LLM figé (frozen) :

A. Composants du Pipeline

1. Proposeur d'Exemples (Example Proposer) : Génère un ensemble initial d'exemples candidats diversifiés (en termes de sujet et de longueur) à partir d'une instruction de tâche spécifique.
2. Évaluateur de Prompt (Prompt Evaluator) : Évalue la performance du prompt actuel (instruction + exemples) sur un sous-ensemble aléatoire des données d'évaluation.
3. Améliorateur d'Exemples (Example Improver) : Cœur de l'optimisation. Il itère pour remplacer, supprimer ou conserver les exemples existants afin d'améliorer la performance globale.

B. Algorithme d'Optimisation Itérative

Le processus d'amélioration suit une boucle itérative basée sur l'estimation de la valeur de Shapley :

1. Sélection de l'exemple le moins utile : À chaque itération, l'algorithme identifie l'exemple le moins contributif ($i^*$) en utilisant une estimation de Monte Carlo des valeurs de Shapley. Cette métrique mesure la contribution marginale de chaque exemple à la performance globale du prompt.
   • Approximation : Au lieu de calculer toutes les permutations (coûteux), l'algorithme échantillonne $K$ permutations aléatoires pour estimer la valeur moyenne de chaque exemple.
2. Décision Remplacer/Supprimer/Garder : Pour l'exemple $i^*$ identifié, l'améliorateur propose $m$ nouveaux exemples candidats. L'algorithme compare trois scores :
   • Remplacer (Replace) : Performance avec le nouveau meilleur candidat.
   • Supprimer (Drop) : Performance sans l'exemple $i^*$.
   • Garder (Keep) : Performance actuelle.
   • La décision est prise en faveur de l'option offrant le score le plus élevé (avec une préférence pour le remplacement en cas d'égalité).

C. Optimisations pour la Rapidité

Pour rendre la méthode viable avec des budgets de calcul limités, PIAST intègre plusieurs techniques d'ingénierie système :

• Tampon de replay (Replay Buffer) : Pour éviter le surapprentissage (overfitting) sur un sous-ensemble de données spécifique à une itération, un petit échantillon de données précédemment vues est conservé et réintégré à chaque nouvelle évaluation.
• Réutilisation du Cache KV : Les préfixes partagés (instruction + exemples communs) sont mis en cache pour éviter de recalculer les attentions.
• PagedAttention et Batching Continu : Utilisation de techniques avancées de gestion de mémoire et de traitement par lots au niveau des tokens pour maximiser l'utilisation du GPU.

3. Contributions Clés

• Conceptuelle : PIAST est, à notre connaissance, la première méthode rapide qui synthétise de nouveaux exemples few-shot (non présents dans l'ensemble d'entraînement) et optimise leur sélection via une approche basée sur les valeurs de Shapley, tout en nécessitant un accès limité aux données d'entraînement.
• Implémentation : Une architecture hautement optimisée permettant une exécution rapide grâce à la réutilisation du cache, la gestion de la mémoire paginée et le batching continu.
• Empirique : Démonstration que l'optimisation des exemples en contexte est un levier plus puissant et plus efficace que la simple réécriture des instructions pour l'ingénierie de prompt rapide.

4. Résultats Expérimentaux

Les expériences ont été menées sur une variété de tâches (classification de texte, résumé, simplification, raisonnement mathématique, QA médical) en utilisant le modèle Qwen2.5-7B-Instruct.

• Efficacité et Performance (Budget Limité) : Avec un budget de calcul restreint et un accès partiel aux données, PIAST surpasse les méthodes automatiques précédentes (APE, APO, GA, GRACE, PRL) sur les tâches de simplification de texte et de raisonnement mathématique (GSM8K, DeepMath, Math500). Il obtient également de très bons résultats (2ème meilleur) sur la classification et le résumé.
• Performance État-de-l'Art (Budget Étendu) : Avec un budget légèrement plus important mais toujours modeste, PIAST établit un nouvel état de l'art (SoTA) parmi les méthodes de prompt automatique pour la classification, la simplification et les tâches mathématiques.
• Robustesse Inter-modèle : Les prompts générés par PIAST se transfèrent bien à d'autres modèles (ex: de Qwen à Mistral), démontrant une bonne généralisation.
• Comparaison avec PRL : Bien que PRL (Prompts from Reinforcement Learning) puisse aussi générer des exemples, il est extrêmement lent (des dizaines d'heures). PIAST atteint des performances supérieures ou comparables en une fraction du temps (quelques minutes à quelques heures).
• Analyse Ablative :
  • La boucle d'optimisation (Remplacer/Supprimer/Garder) est cruciale pour les tâches complexes (ex: subjectivité), bien que les exemples initiaux soient déjà performants sur des tâches simples.
  • L'utilisation des valeurs de Shapley est supérieure à une sélection simple "Leave-One-Out" (LOO), surtout sur des tâches sensibles à l'initialisation.

5. Signification et Conclusion

PIAST démontre que pour l'ingénierie de prompt efficace et économe en données, l'optimisation des exemples few-shot est un levier dominant par rapport à la réécriture exhaustive des instructions.

• Efficacité des données : La méthode nécessite seulement un sous-ensemble des données d'entraînement pour atteindre des performances élevées, réduisant la dépendance aux grands jeux de données annotés.
• Accessibilité : En étant rapide et peu coûteuse en calcul, PIAST rend l'optimisation de prompt accessible dans des environnements contraints.
• Avenir : Les auteurs suggèrent que cette approche ouvre la voie vers une ingénierie de prompt nécessitant de moins en moins de données d'entraînement, en s'appuyant sur la compétence intrinsèque du LLM pour proposer des exemples pertinents.

En résumé, PIAST offre une solution pratique, rapide et performante pour l'adaptation des LLM à des tâches spécifiques sans nécessiter de réentraînement ni de vastes ressources de données.