Résumé Technique : Politiques de Prompting pour le Raisonnement Multi-étapes et l'Utilisation d'Outils dans les LLM en Boîte Noire avec Distillation Itérative de l'Expérience

1. Énoncé du Problème

L'article aborde le « goulot d'étranglement du fine-tuning » inhérent au paysage moderne des Grands Modèles de Langage (LLM). Alors que l'industrie se tourne vers des modèles propriétaires, « en boîte noire » (par exemple, Gemini-Pro, GPT-5) accessibles uniquement via API, les techniques traditionnelles d'apprentissage par transfert, telles que les mises à jour complètes des paramètres ou le Fine-Tuning Efficace en Paramètres (PEFT) comme LoRA, deviennent impossibles en raison de l'absence d'accès aux poids du modèle, aux gradients ou aux graphes de calcul internes.

Par conséquent, l'adaptation aux tâches repose sur l'Apprentissage en Contexte (ICL) et l'ingénierie de prompts. Cependant, l'ingénierie manuelle des prompts est heuristique et fragile ; les LLM sont hautement sensibles au « bruit sémantique », où de légères perturbations dans la formulation ou l'ordre des exemples peuvent provoquer des fluctuations significatives des performances. Bien que des méthodes d'Optimisation Automatique des Prompts (APO) existent, beaucoup reposent sur des algorithmes évolutionnaires ou des réflexions basées sur les LLM qui traitent l'optimisation comme une génération heuristique plutôt que comme une politique structurée. Ces méthodes peinent souvent avec les trajectoires de raisonnement complexes et multi-étapes et manquent de l'efficacité d'échantillonnage requise pour un déploiement robuste.

2. Méthodologie

Les auteurs proposent un cadre d'Apprentissage par Renforcement (RL) qui entraîne une « Politique de Prompter » apprise pour optimiser les prompts d'un LLM « Worker » plus grand et figé. L'innovation centrale réside dans le découplage de la logique de contrôle (le prompter) de la logique d'exécution (le worker) et l'utilisation d'une Distillation Itérative de l'Expérience.

2.1 Architecture à Double Agent

• Agent Prompter ($\pi_\theta$) : Un LLM plus petit et efficace (par exemple, 2 à 10 milliards de paramètres) qui agit comme la politique entraînable. Il génère des instructions de tâche (prompts) basées sur le contexte de la tâche et un historique des expériences passées. Les gradients sont calculés exclusivement pour ce modèle.
• Agent Worker Figé ($\pi_{LLM}$) : Un moteur de raisonnement grand et figé (par exemple, 1 trillion de paramètres) qui exécute les instructions générées par le Prompter. Il sert d'environnement et fournit la sortie.

2.2 L'Objectif

Le but est d'apprendre les paramètres $\theta$ pour la politique de prompter $\pi_\theta$ qui maximisent la récompense attendue $R(p, x, y)$ sur un ensemble de données $D$, tout en minimisant l'écart par rapport à une politique de référence $\pi_{ref}$ via une pénalité de divergence KL :
$$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
Le cadre prend en charge à la fois l'Optimisation de Prompt Fixe (apprendre un seul prompt statique) et l'Optimisation de Prompt Dynamique (apprendre une méta-politique qui s'adapte aux contextes de tâche spécifiques).

2.3 Tampon d'Expérience Contrastive

Pour répondre à la rareté des récompenses scalaires (correct/incorrect) et au coût computationnel de l'auto-réflexion multi-tours, les auteurs introduisent un Tampon d'Expérience Contrastive.

• Mécanisme : Le tampon stocke des trajectoires de $(prompt, critique, récompense)$. Les critiques sont des descriptions textuelles denses des écarts entre la sortie du Worker et la vérité terrain, générées par un modèle de feedback externe.
• Amortissement : Au lieu d'effectuer une réflexion multi-tours pendant l'inférence, le prompter est conditionné sur un historique échantillonné $H$ issu du tampon pendant l'entraînement. Cela permet à la politique de « distiller » des motifs complexes de raisonnement et de correction multi-tours dans ses poids.
• Stratégie de Mise à Jour : Les prompts sont ajoutés au tampon si leur récompense atteint un seuil par rapport au maximum du lot ($r \ge r_{max} - \epsilon$), garantissant un historique diversifié mais performant.

3. Contributions Clés

1. Distillation à Double Agent avec Mémoire : Un cadre où la direction stratégique est distillée dans une politique de Prompter efficace et augmentée par la mémoire. Cela permet au modèle d'apprendre de l'expérience, comprimant efficacement les trajectoires de raisonnement complexes en une politique rationalisée.
2. Tampon d'Expérience Contrastive : Un mécanisme de feedback à haut débit couplant des récompenses scalaires à des critiques textuelles denses. Les auteurs fournissent une caractérisation formelle montrant comment cela amortit les boucles d'auto-réflexion multi-tours en des poids de politique en un seul tir, atteignant jusqu'à 2,4 fois une convergence plus rapide par rapport aux bases de référence scalaires uniquement.
3. Découverte d'Heuristiques Algorithmiques : L'analyse qualitative révèle que la politique apprise évolue pour découvrir des stratégies spécialisées, telles que l'« Ancrage sur la Vérité Terrain » (se méfier des traces fournies en faveur de l'entrée brute) et la « Séquenciation Atomique » pour les appels d'outils, plutôt que de s'appuyer sur des guidages abstraits.
4. Validation Empirique : L'approche est validée sur la suite Big Bench Extra Hard (BBEH) pour le raisonnement intensif en logique et sur le $\tau$-bench pour les flux de travail d'utilisation d'outils par des agents.

4. Résultats Expérimentaux

Les expériences utilisent Gemini 2.5 Flash comme Worker figé et Gemini 2.5 Flash-lite comme Prompter entraînable.

4.1 Tâches de Raisonnement (BBEH)

La Politique de Prompter avec Tampon d'Expérience surpasse significativement à la fois les bases de référence zero-shot et la base de référence évolutionnaire de pointe, GEPA.

• Langages Dyck : Amélioration de 63,33 % (Base) à 91,25 % (Politique de Prompter), un gain de +27,92 % par rapport à GEPA.
• Web of Lies : Amélioration de 52,50 % (Base) à 90,12 %, un gain de +37,62 % par rapport à GEPA.
• Désambiguïsation QA : Amélioration de 57,08 % à 65,41 %.

4.2 Tâches d'Utilisation d'Outils ($\tau$-Bench)

La politique démontre des gains substantiels dans les scénarios d'utilisation d'outils multi-étapes (domaines de la vente au détail et des compagnies aériennes).

• Vente au détail : Taux de réussite de 91,30 % (contre 73,91 % pour la base).
• Compagnies aériennes : Taux de réussite de 83,33 % (contre 65,27 % pour la base).
• Les prompts ajustés par RL surpassent GEPA en remplaçant les guidages abstraits par des flux de travail procéduraux concrets (par exemple, regroupement explicite des appels d'outils, vérification stricte de l'état).

4.3 Généralisation Inter-modèles

La politique entraînée sur le modèle Flash montre une compatibilité ascendante, dirigeant avec succès le modèle plus grand Gemini Pro vers un taux de réussite de 80 % sur les Langages Dyck (un gain de +7,5 % par rapport à sa base zero-shot). Inversement, elle comble l'écart entre les modèles, permettant au modèle Flash de milieu de gamme (91 % avec prompt optimisé) de surpasser le modèle Pro plus grand (72,5 % avec prompting zero-shot).

5. Importance et Revendications

L'article revendique que le cadre RL proposé avec distillation itérative de l'expérience représente une avancée significative dans l'interaction avec les LLM en boîte noire. En traitant la génération de prompts comme un Processus de Décision Markovien et en utilisant un tampon d'expérience contrastive, l'approche :

• Surmonte le Goulot d'Étranglement du Fine-Tuning : Elle permet l'optimisation de stratégies spécifiques à la tâche sans accéder aux poids du modèle.
• Améliore l'Efficacité d'Échantillonnage : L'intégration de critiques textuelles denses dans le signal de récompense permet une convergence plus rapide et de meilleures performances que les bases de référence évolutionnaires ou le RL à récompense scalaire uniquement.
• Permet une Évolution Structurelle : La politique ne trouve pas simplement un « meilleur » prompt ; elle découvre des heuristiques algorithmiques spécialisées (par exemple, simulation de pile indépendante, déduction ancre-et-chaîne) qui modifient fondamentalement la façon dont le modèle worker aborde la tâche.
• Offre des Avantages Coût-Bénéfice : Le cadre permet à des modèles plus petits et moins chers d'atteindre des niveaux de performance comparables ou supérieurs à ceux de modèles plus grands en zero-shot grâce à une direction instructionnelle apprise.

Les auteurs reconnaissent les limites, notant que la politique a été entraînée sur un ensemble limité de tâches et que sa capacité de transfert zero-shot vers des tâches entièrement inédites sans initialisation du tampon reste un défi pour les études futures. Ils suggèrent également des travaux futurs sur la gestion sophistiquée du tampon et la génération de prompts personnalisés basée sur des représentations d'état utilisateur.