$p1$: Better Prompt Optimization with Fewer Prompts

Le papier présente $p1$, une méthode de filtrage des invites utilisateur qui sélectionne un sous-ensemble restreint de prompts à forte variance pour améliorer l'optimisation des invites et surmonter les limites des approches utilisant des ensembles de données hétérogènes.

L'essentiel

🎯 Le Problème : Pourquoi l'IA est parfois bête et parfois brillante ?

Imaginez que vous avez un génie (c'est le modèle d'IA) enfermé dans une boîte. Ce génie est très intelligent, mais il a besoin d'instructions précises pour bien faire son travail. Ces instructions s'appellent des "prompts système".

• Si vous lui dites : "Réfléchis comme un mathématicien calme", il résout des problèmes complexes.
• Si vous lui dites : "Sois rapide et donne-moi juste le chiffre", il peut faire des erreurs.

L'objectif de la recherche est de trouver la phrase magique qui rend ce génie aussi performant que possible, sans avoir à le rééduquer de zéro (ce qui serait très cher et long). C'est ce qu'on appelle l'optimisation de prompt.

🌧️ Le Paradoxe : Plus on a d'exemples, moins ça marche !

C'est ici que l'article apporte une découverte surprenante. On pensait intuitivement que pour apprendre à l'IA la "phrase magique", il fallait lui montrer des milliers d'exemples (des milliers de questions de maths, par exemple).

Mais les chercheurs ont découvert le contraire : sur des tâches complexes (comme les maths de haut niveau), donner trop d'exemples à l'IA la rend confuse !

L'analogie du brouillard :
Imaginez que vous essayez d'enseigner à un élève comment résoudre un casse-tête.

• Si vous lui donnez un seul casse-tête très difficile, vous pouvez voir clairement si votre méthode de résolution fonctionne ou non. Le signal est clair.
• Si vous lui donnez 100 casse-têtes différents (certains faciles, d'autres impossibles, d'autres avec des pièges), les bonnes méthodes pour l'un deviennent mauvaises pour l'autre. Tout se mélange. Le "bruit" (les erreurs aléatoires) étouffe le "signal" (la vraie méthode).

L'article montre que sur des tâches hétérogènes (comme les maths), plus on ajoute de questions, plus les différences entre les bonnes et les mauvaises instructions s'effacent. L'IA ne sait plus quelle instruction est la meilleure car les résultats se "moyennent" et deviennent tous pareils.

💡 La Solution : Le Filtre "p1" (La Méthode de la Sélection)

Au lieu de donner toutes les questions à l'IA pour l'entraîner, les auteurs proposent une méthode simple appelée p1.

L'analogie du détective :
Imaginez que vous êtes un détective cherchant à savoir quel est le meilleur détective parmi une équipe.

• Si vous leur faites résoudre 1000 affaires (dont 900 très simples et 100 très complexes), vous ne saurez pas qui est le meilleur, car les 900 affaires simples sont résolues par tout le monde.
• La méthode p1, c'est comme si vous disiez : "Attendez, je vais choisir seulement 2 ou 3 affaires très spécifiques où les détectes ont des résultats très différents. Là, on verra vraiment qui est le meilleur."

Comment ça marche ?

1. Le système regarde toutes les questions disponibles.
2. Il sélectionne un tout petit groupe (par exemple 2 questions) où les différentes instructions donnent des résultats très opposés (l'une marche super bien, l'autre échoue lamentablement).
3. Il entraîne l'IA uniquement sur ces 2 questions.
4. Résultat : L'IA apprend beaucoup plus vite et trouve une instruction "magique" qui fonctionne partout, même sur des questions qu'elle n'a jamais vues.

🚀 Les Résultats : Moins c'est plus !

Les expériences montrent que cette méthode est incroyable :

• En utilisant seulement 2 questions issues d'un concours de maths difficile (AIME 2024), ils ont créé une instruction qui a permis à l'IA de résoudre des problèmes sur d'autres concours (AIME 2025, HMMT) avec une bien meilleure précision que si on l'avait entraînée sur les 30 questions complètes.
• Cette instruction fonctionne même sur des modèles d'IA plus grands ou différents (comme passer d'un petit modèle à un grand modèle Qwen).

📝 En résumé

Ce papier nous apprend une leçon importante : Pour apprendre à une IA à bien raisonner, la quantité n'est pas la clé, c'est la qualité de la sélection.

Au lieu de noyer l'IA sous des tonnes d'exemples confus, il vaut mieux lui montrer les exemples les plus révélateurs où la différence entre une bonne et une mauvaise instruction est la plus visible. C'est comme apprendre à nager : il vaut mieux se concentrer sur un mouvement précis dans une eau calme que d'essayer de tout faire en pleine tempête.

Le mot de la fin : Parfois, pour devenir un génie, il faut arrêter de regarder tout le monde et se concentrer sur les cas les plus intéressants.

Résumé technique

Titre : p1 : Une meilleure optimisation de prompts avec moins de prompts

1. Problématique

L'optimisation de prompts vise à améliorer les performances des grands modèles de langage (LLM) sans modifier leurs poids, en recherchant automatiquement un "prompt système" optimal. Bien que cette approche soit prometteuse, son efficacité varie considérablement selon les tâches : elle fonctionne bien sur des tâches d'instruction homogènes (ex: IFBench) mais échoue souvent sur des tâches de raisonnement complexe et hétérogène (ex: AIME, mathématiques de compétition).

Les auteurs identifient un paradoxe contre-intuitif : l'augmentation de la taille de l'ensemble de données d'entraînement peut nuire à l'optimisation du prompt. Sur des tâches hétérogènes, l'ajout de plus d'exemples d'utilisateurs (user prompts) tend à masquer le signal d'optimisation, rendant les différents prompts système statistiquement indiscernables en termes de récompense espérée.

2. Analyse Théorique et Mécanismes

L'article décompose la variance de la récompense observée lors de l'optimisation en deux composantes distinctes :

1. Variance parmi les réponses (Response Variance) : Elle capture le bruit stochastique inhérent à la génération du modèle sous un prompt système fixe.
2. Variance parmi les prompts système (System Prompt Variance) : Elle capture les véritables différences de qualité entre les différents prompts candidats.

Constat clé : L'optimisation par renforcement (RL) ne réussit que lorsque la variance parmi les prompts système est suffisamment grande par rapport au bruit de génération.

• Sur des tâches homogènes (ex: suivi d'instructions strictes), un bon prompt fonctionne bien sur tous les exemples, maintenant un signal clair même avec un grand dataset.
• Sur des tâches hétérogènes (ex: raisonnement mathématique), différents prompts système peuvent être optimaux pour différents exemples. Lorsqu'on moyenne sur un grand dataset, ces préférences s'annulent mutuellement, réduisant la variance globale entre les prompts et noyant le signal d'apprentissage dans le bruit.

3. Méthodologie : p1 (Prompt Filtering)

Motivés par cette analyse, les auteurs proposent p1, une méthode simple mais efficace de filtrage des prompts d'utilisateurs.

• Principe : Au lieu d'entraîner le modèle sur l'ensemble complet des données, p1 sélectionne un petit sous-ensemble de prompts d'utilisateurs qui présentent une variance élevée de récompense entre les différents prompts système candidats.
• Algorithme :
  1. Échantillonner plusieurs prompts système candidats.
  2. Pour chaque sous-ensemble possible de prompts d'utilisateurs (de taille $K_{top}$, par défaut 2), estimer la variance de la récompense attribuée aux prompts système.
  3. Soustraire la variance estimée due au bruit de génération (variance parmi les réponses) pour isoler la véritable variance liée à la qualité du prompt.
  4. Sélectionner le sous-ensemble maximisant ce signal net.
  5. Effectuer l'optimisation par RL uniquement sur ce sous-ensemble filtré.

Cette approche permet de concentrer l'apprentissage sur les exemples les plus "informatifs", c'est-à-dire ceux qui permettent le mieux de distinguer un bon prompt d'un mauvais prompt.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de raisonnement (AIME 2024/25/26, HMMT) et de suivi d'instructions (IFBench) avec des modèles Qwen (4B et 30B).

• Sur les benchmarks de raisonnement (AIME) :

  • L'optimisation standard (RL sur l'ensemble des données) et les méthodes basées sur l'évolution (GEPA) échouent à améliorer significativement les performances par rapport au modèle de base.
  • p1 surpasse largement les baselines. L'entraînement sur un sous-ensemble filtré de seulement 2 prompts (sur 30) permet d'obtenir un prompt système qui généralise exceptionnellement bien.
  • Généralisation : Le prompt optimisé sur AIME 24 avec p1 améliore les performances non seulement sur AIME 25/26, mais aussi sur HMMT et sur un modèle plus grand (Qwen3-30B), démontrant une forte transférabilité.
  • Qualité du prompt : Les prompts générés par p1 encouragent un raisonnement général et structuré (ex: "stream of consciousness" non filtré), tandis que GEPA tend à mémoriser des patterns spécifiques aux données d'entraînement (surapprentissage).

• Sur les benchmarks d'instruction (IFBench) :

  • Les tâches étant homogènes, l'ajout de données aide. Ici, p1 est moins performant que l'entraînement sur l'ensemble complet ou GEPA, car le filtrage réduit inutilement le signal disponible pour une tâche où tous les exemples sont similaires. Cela valide l'hypothèse selon laquelle p1 est spécifiquement conçu pour les tâches hétérogènes.

5. Contributions Clés

1. Analyse de la "Apprenabilité" des Prompts : Démonstration théorique et empirique que la réussite de l'optimisation dépend de la structure de variance du signal de récompense, et que l'augmentation de la taille du dataset peut être contre-productive sur des tâches hétérogènes.
2. Méthode p1 : Introduction d'une technique de filtrage de données simple qui sélectionne les exemples les plus discriminants pour l'optimisation, permettant d'obtenir de meilleurs résultats avec moins de données.
3. Performance et Efficacité : Preuve qu'un prompt système optimisé sur seulement deux exemples peut surpasser des méthodes complexes entraînant sur des centaines de données, tout en offrant une meilleure généralisation inter-modèles et inter-benchmarks.

6. Signification et Impact

Ce travail remet en question le dogme selon lequel "plus de données sont toujours meilleures" pour l'optimisation de prompts. Il suggère que pour les tâches complexes et hétérogènes, la qualité et la diversité sélective des données d'entraînement sont plus critiques que la quantité brute. La méthode p1 offre une voie efficace pour améliorer les capacités de raisonnement des LLM sans coût computationnel massif, en se concentrant sur les cas limites qui révèlent le mieux les différences entre les stratégies de prompt.