Résumé Technique : Apprendre à Traduire des Prompts Soft vers des Prompts Hard pour les LLM

Énoncé du Problème

Le réglage fin de prompts soft (soft prompt tuning) offre une alternative économe en paramètres au réglage fin complet pour adapter les grands modèles de langage (LLM) à des tâches spécifiques. Cependant, une limitation majeure des prompts soft réside dans leur manque d'interprétabilité. Contrairement aux tokens en langage naturel, les prompts soft existent sous forme de vecteurs continus dans l'espace d'incorporation, occupant souvent des régions distinctes du langage naturel. Les projections naïves de ces vecteurs vers l'espace de tokens discrets produisent fréquemment des résultats trompeurs, contradictoires ou non informatifs (Khashabi et al., 2022).

Des travaux récents, notamment la technique InSPEcT (Ramati et al., 2024), ont tenté de remédier à cela en utilisant une approche d'apprentissage en contexte sans entraînement pour eliciter des verbalisations textuelles des prompts soft. Bien qu'InSPEcT puisse parfois produire des étiquettes de classe correctes, les auteurs de cet article observent que ses verbalisations sont souvent peu fiables, sensibles à des hyperparamètres architecturaux spécifiques (paires de couches) et contiennent fréquemment un langage non naturel. De plus, les performances d'InSPEcT semblent fortement dépendantes du fait que le prompt soft sous-jacent atteigne une haute précision de tâche, limitant son utilité lorsque les prompts soft sont entraînés sur des modèles plus petits ou moins performants.

Méthodologie

Les auteurs proposent une approche d'apprentissage supervisé pour traduire les prompts soft en langage naturel (« prompts hard ») en utilisant un modèle de traduction dédié. Le flux de travail principal comporte trois étapes :

1. Entraînement du Prompt Soft : Les prompts soft sont d'abord optimisés sur un petit LLM open-source (spécifiquement meta-llama/Llama-3.1-8B-Instruct) pour diverses tâches en aval en utilisant l'apprentissage supervisé standard sur des paires (entrée, sortie).
2. Construction de l'Ensemble d'Ensembles (DoD) : Pour entraîner le traducteur, les auteurs ont construit deux « Ensembles d'Ensembles » (DoD) distincts contenant des paires (prompt soft, prompt hard de vérité terrain) :
   • DoD de Classification : Un ensemble de données synthétique comprenant 5 500 mini-ensembles de données avec des étiquettes de classe sémantiquement regroupées de manière serrée (par exemple, {musique, films, livres, art, logiciels}) et 2,75 millions de phrases.
   • DoD Général : Basé sur l'ensemble de données Super-NaturalInstructions, couvrant 1 616 tâches variées en langage naturel (résumé, traduction, raisonnement, etc.) répartis sur 76 types de tâches.
3. Entraînement du Traducteur : Un modèle de traduction dédié, partageant la même architecture que le LLM de base mais avec des poids différents, est affiné (fine-tuned) à l'aide de LoRA. Le modèle traite la traduction de prompt soft comme une tâche de génération séquence-à-séquence, où l'entrée est le vecteur d'incorporation du prompt soft et la sortie est la description de tâche en langage naturel correspondante.

Contributions Clés

L'article apporte trois contributions principales :

1. Un Modèle Traducteur Dédié : Les auteurs entraînent un modèle supervisé pour convertir les prompts soft en un langage naturel fluide et grammaticalement correct. Cette approche surpasse la méthode InSPEcT sans entraînement, tant sur les métriques quantitatives (Rappel, Score F1, ROUGE-L) que sur les évaluations qualitatives à travers plusieurs ensembles de données.
2. Utilité Démontrée des Verbalisations : Les auteurs montrent que les « prompts hard » traduits ne sont pas simplement un texte qui semble plausible, mais qu'ils sont fonctionnellement pertinents. Lorsque ces prompts verbalisés sont déployés sur des LLM plus grands et fermés (par exemple, GPT-4o-mini), ils atteignent des performances de tâche qui dépassent souvent celles du prompt soft original sur le petit modèle et, dans des cas spécifiques, surpassent les bases d'apprentissage par quelques exemples (few-shot learning).
3. Un Nouveau Flux de Travail pour les Prompts Portables : Ce travail propose un pipeline novateur où un prompt soft est entraîné sur un petit modèle open-source, traduit en un prompt lisible par l'homme, puis déployé sur un modèle plus grand et plus puissant. Cela permet le transfert de connaissances spécifiques à une tâche depuis des modèles plus petits vers des modèles plus grands sans nécessiter l'affinement du modèle plus grand.

Résultats

• Qualité de l'Interprétabilité : Sur les ensembles de données InSPEcT (SST-2, SST-5, AG-News, Subj, TREC), le traducteur a atteint un Rappel parfait ou quasi parfait (1,0) et des Scores F1 significativement plus élevés que ceux d'InSPEcT. Notamment, le traducteur a maintenu des performances robustes sur des ensembles de données où InSPEcT peinait (par exemple, TREC), suggérant qu'il est moins dépendant de la précision initiale de la tâche du prompt soft.
• Généralisation : Sur le DoD Général, le traducteur a atteint un ROUGE-L moyen de 0,252 et une similarité cosinus de 0,427, surpassant InSPEcT (0,143 ROUGE-L, 0,269 similarité cosinus).
• Performance en Aval : Dans des expériences où des prompts verbalisés ont été utilisés avec un grand LLM fermé, les prompts traduits ont souvent surpassé les prompts soft originaux utilisés sur le petit modèle. Dans un sous-ensemble spécifique de 10 tâches, les prompts traduits ont même surpassé l'apprentissage par quelques exemples sur le grand modèle, en particulier pour des tâches nécessitant une reconnaissance de motifs nuancée que les exemples par quelques exemples ne pouvaient pas capturer efficacement.
• Efficacité des Données : Le traducteur a démontré sa capacité à apprendre la correspondance entre les prompts soft et hard même avec un ensemble d'entraînement relativement petit (539 échantillons pour le DoD Général), suggérant que les LLM peuvent intrinsèquement comprendre le « langage » des prompts soft.

Importance et Revendications

L'article revendique que les prompts soft ne sont pas fondamentalement ininterprétables, mais qu'ils nécessitent plutôt un mécanisme de traduction dédié pour être décodés efficacement. En passant de l'apprentissage en contexte (InSPEcT) vers la traduction supervisée, les auteurs démontrent que les prompts soft peuvent être convertis en instructions en langage naturel portables et de haute qualité.

Les auteurs suggèrent que ce flux de travail a un potentiel significatif pour les « applications en aval », permettant spécifiquement l'utilisation de petits modèles open-source pour découvrir et optimiser des instructions de tâche qui peuvent ensuite être transférées vers des modèles plus grands à API fermée pour une inférence supérieure. Ils notent que, bien que le traducteur actuel soit une preuve de concept prometteuse, des travaux futurs pourraient impliquer des ensembles de données plus vastes et un alignement stylistique (par exemple, optimisation des préférences) pour garantir des verbalisations verboses et détaillées, débloquant potentiellement des insights sur des tâches complexes comme la découverte de médicaments.

Les auteurs restent modestes quant aux limitations actuelles, reconnaissant que le traducteur est actuellement lié au modèle de base spécifique utilisé pour l'entraînement et que les verbalisations peuvent parfois être trop concises, omettant des détails pertinents en raison d'un désalignement stylistique.