💬 NLP

Evolutionary Pre-Prompt Optimization for Mathematical Reasoning

Cet article introduit l'Optimisation de Pré-Prompt Évolutive (EPPO), une méthode qui exploite les algorithmes évolutionnaires pour sélectionner des exemples de chaîne de pensée (chain-of-thought) à quelques exemples (few-shot), améliorant considérablement les performances de raisonnement mathématique sur des benchmarks tels que GSM8k et MathQA de plus de 10 points absolus par rapport aux approches naïves.

Auteurs originaux : Mathurin Videau, Alessandro Leite, Marc Schoenauer, Olivier Teytaud

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mathurin Videau, Alessandro Leite, Marc Schoenauer, Olivier Teytaud

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant mais légèrement confus (un grand modèle de langage) comment résoudre des problèmes mathématiques complexes. Vous ne pouvez pas réécrire le cerveau de l'étudiant (vous ne pouvez pas réentraîner le modèle), au lieu de cela, vous devez lui donner une « fiche de révision » ou un ensemble de problèmes d'exemples à regarder avant qu'il ne passe le test. C'est ce qu'on appelle le few-shot prompting (incitation par quelques exemples).

La grande question posée par l'article est la suivante : Quels exemples devraient figurer sur cette fiche de révision ?

La plupart des gens choisissent simplement quelques exemples au hasard ou en choisissent qui semblent « difficiles ». Cet article soutient qu'il existe une manière beaucoup plus intelligente de choisir ces exemples, en utilisant une méthode inspirée de l'évolution.

Voici la décomposition de leur découverte, l'EPPO (Evolutionary Pre-Prompt Optimization), en utilisant des analogies simples :

1. Le problème : La loterie de la « fiche de révision »

Habituellement, lorsque nous voulons qu'une IA résolve des problèmes mathématiques, nous lui donnons d'abord quelques exemples de la façon de résoudre des problèmes similaires.

L'ancienne méthode : Les gens choisissent souvent des exemples de manière aléatoire ou manuellement. C'est comme essayer de gagner à la loterie en choisissant des numéros basés sur votre date de naissance. Cela peut fonctionner parfois, mais ce n'est pas fiable.
L'intuition de l'article : Le choix spécifique des exemples importe plus que le fait d'avoir plus d'exemples. En fait, donner trop d'exemples à l'IA peut en réalité la confondre (un peu comme essayer d'étudier pour un examen en lisant 50 livres différents au lieu de se concentrer sur les 4 meilleurs).

2. La solution : La fiche de révision « de la survie du plus apte »

Les auteurs ont créé un système appelé EPPO. Voyez cela comme un concours de cuisine pour trouver la recette parfaite, mais au lieu de la nourriture, nous mélangeons et assortissons des exemples mathématiques.

Les ingrédients : Ils disposent d'un immense garde-manger de milliers de problèmes mathématiques (l'ensemble de démonstration).
Le concours : L'ordinateur choisit un petit groupe d'exemples (disons, 4 problèmes) pour les mettre sur la « fiche de révision ».
Le test de goût : Il demande à l'IA de résoudre un certain nombre de problèmes mathématiques d'entraînement en utilisant cette fiche de révision spécifique.
L'évolution :
1. Si l'IA réussit bien, l'ordinateur conserve cette fiche de révision.
2. Si l'IA réussit mal, l'ordinateur remplace un ou deux exemples par de nouveaux exemples provenant du garde-manger.
3. Il répète ce processus des milliers de fois, en gardant toujours les fiches de révision les plus « aptes » (les plus performantes) et en écartant les mauvaises.

Au fil du temps, le système « fait évoluer » un ensemble minuscule et parfait d'exemples qui rend l'IA nettement plus performante.

3. La découverte surprenante : Moins, c'est mieux

L'une des découvertes les plus intéressantes de l'article concerne le nombre d'exemples dont vous avez besoin.

Le bon sens dit : « Plus d'exemples = Meilleure compréhension. »
L'EPPO dit : « En fait, 4 exemples est souvent le point idéal. »

L'article a découvert que lorsqu'ils essayaient d'utiliser 8, 12 ou 16 exemples, l'IA devenait en fait moins bonne. C'est comme essayer de mémoriser un discours en le lisant 20 fois ; vous pourriez commencer à être confus ou vous ennuyer. L'IA s'est retrouvée en situation de « surapprentissage » (overfitting), ce qui signifie qu'elle a trop bien mémorisé les exemples spécifiques et n'a pas pu appliquer la logique à de nouveaux problèmes légèrement différents. La méthode « évolutive » a naturellement trouvé qu'une liste concise de 4 exemples de haute qualité fonctionnait le mieux.

4. Pourquoi est-ce important

C'est peu coûteux et rapide : Au lieu de tenter de réentraîner le modèle d'IA géant (ce qui coûte une fortune en électricité et en temps), ils ont simplement optimisé la « fiche de révision ». C'est comme accorder le moteur d'une voiture plutôt que de construire une nouvelle voiture.
Cela fonctionne sur des mathématiques difficiles : Ils ont testé cela sur des ensembles de données mathématiques très difficiles (comme le niveau lycée et université). Le score de l'IA a bondi de plus de 10 points simplement en changeant les exemples sur la fiche de révision.
C'est robuste : Même si les exemples qu'ils ont trouvés ont été générés par l'IA elle-même (et ne sont pas parfaits par rapport aux humains), le système a quand même trouvé un moyen de les faire fonctionner. C'est comme découvrir que les notes de cours désordonnées d'un étudiant sont en fait le meilleur moyen d'étudier pour l'examen.

5. La combinaison « magique »

L'article a également trouvé que cette méthode fonctionne encore mieux lorsqu'elle est combinée avec la Auto-Cohérence (Self-Consistency).

La Self-Consistency est comme demander à l'IA de résoudre le même problème 8 fois et de prendre ensuite la réponse qui apparaît le plus souvent (comme un vote de jury).
Le résultat : Lorsque vous utilisez la « Fiche de révision évoluée » (EPPO) plus le « Vote du jury » (Self-Consistency), l'IA devient un magicien des mathématiques. Les deux méthodes se superposent pour produire des résultats encore meilleurs.

Résumé

L'article montre que nous n'avons pas besoin de changer le cerveau de l'IA pour la rendre plus intelligente en mathématiques. Nous devons juste utiliser un processus évolutif intelligent pour choisir les 4 meilleurs exemples à lui montrer. Cette « Optimisation Pré-Prompt Évolutive » (EPPO) empêche l'IA d'être confondue par trop d'informations et l'aide à raisonner à travers des problèmes complexes de manière beaucoup plus efficace.

En bref : Ne jetez pas des exemples aléatoires à l'IA. Laissez l'évolution choisir les quelques exemples parfaits, et regardez les compétences mathématiques de l'IA monter en flèche.

Résumé Technique : Optimisation Évolutive de Pré-Prompts pour le Raisonnement Mathématique

Énoncé du Problème
Les grands modèles de langage (LLM) ont démontré une remarquable compétence en apprentissage à quelques exemples (few-shot learning), particulièrement lorsqu'ils sont combinés avec le prompting par chaîne de pensée (Chain-of-Thought ou CoT), qui guide les modèles pour articuler des étapes de raisonnement intermédiaires. Cependant, la performance du prompting CoT est très sensible à la sélection et à la structure des exemples de few-shot fournis dans le pré-prompt. Bien que l'ingénierie de prompts manuelle soit courante, elle est souvent sous-optimale et exigeante en main-d'œuvre. De plus, les méthodes automatisées existantes reposent souvent sur une optimisation par exemple ou sur des mises à jour basées sur des gradients fins, ce qui peut être coûteux en termes de calcul et sujet au surapprentissage (overfitting), surtout compte tenu de la taille limitée des benchmarks de raisonnement (par exemple, GSM8k, MathQA) qui sont souvent insuffisants pour un réglage fin (fine-tuning) traditionnel. Le défi central abordé est la manière de sélectionner systématiquement un ensemble fixe et concis d'exemples de CoT de few-shot qui maximise la performance du LLM sur une tâche de raisonnement mathématique spécifique sans surapprendre les données d'entraînement.

Méthodologie : Optimisation Évolutive de Pré-Prompts (EPPO)
Les auteurs proposent l'Optimisation Évolutive de Pré-Prompts (EPPO), un cadre évolutif basé sur la comparaison, conçu pour optimiser des pré-prompts de few-shot fixes au niveau de la tâche.

Formulation : Le problème est formulé comme une tâche d'optimisation combinatoire. Un ensemble de démonstration $D$ (contenant des paires prompt-solution) sert de table de recherche. L'objectif est de trouver un petit sous-ensemble d'indices (un « pré-prompt de few-shot ») à partir de $D$ qui, lorsqu'il est utilisé comme pré-prompt statique pour toutes les requêtes, maximise la précision du modèle sur un ensemble d'entraînement $T$ .
Algorithme d'Optimisation : EPPO utilise des algorithmes évolutifs boîte noire (par exemple, Discrete (1+1)-ES, LogNormal, DoubleFastGA) implémentés via la bibliothèque Nevergrad. Crucialement, l'optimisation est basée sur la comparaison. Au lieu de recevoir des scores de performance absolus (ce qui nécessiterait un retour d'information précis), l'optimiseur ne reçoit que l'indice du candidat le plus performant parmi un lot de $\kappa$ candidats à chaque itération. Ce paradigme « ask-and-tell » (demander et dire) repose sur un retour d'information grossier (classement) plutôt que sur des informations de gradient.
Stratégie de Données : Pour gérer les coûts de calcul, les auteurs emploient une stratégie de sous-échantillonnage pour créer des ensembles de démonstration. Ils utilisent également une méthode de sous-échantillonnage basée sur la confiance (utilisant l'incertitude de réponse de LLaMA2-70B) pour garantir que l'ensemble de démonstration couvre une gamme diversifiée de difficultés d'exemples.
Analyse de la Généralisation : L'article fournit une analyse informationnelle du risque de généralisation. Parce qu'EPPO repose sur un retour d'information limité (comparaisons) et un budget d'optimisation fini, les auteurs dérivent des bornes montrant que le risque de surapprentissage est contrôlé et dépend de la granularité du retour d'information et du budget, plutôt que de la taille de l'espace de prompt ambiant ou de la complexité interne du modèle. Cela contraste avec les méthodes basées sur le gradient qui accèdent à des données plus fines et sont plus susceptibles au surapprentissage dans des régimes de faibles données.

Contributions Clés

Introduction du Cadre : Présentation d'EPPO, une approche d'optimisation combinatoire rigoureuse pour la sélection de pré-prompts de CoT de few-shot statiques.
Supériorité Empirique : Démonstration que la recherche évolutive contrôlée et exploitative surpasse la sélection par force brute, la recherche aléatoire et le réglage fin classique dans les régimes de faibles données, tout en réduisant le surapprentissage.
Gains de Performance : Obtention d'améliorations significatives (dépassant 10 points de pourcentage en scores de correspondance exacte) sur des benchmarks comme GSM8k et MathQA en utilisant des modèles LLaMA2. Ces gains sont robustes à travers différentes stratégies de décodage et sont additifs lorsqu'ils sont combinés avec la Auto-Cohérence (Self-Consistency ou SC).
Aperçus Mécanistes : Analyse révélant que les pré-prompts optimisés induisent des traces de raisonnement plus cohérentes et structurées. L'article constate que la qualité du prompt (spécifiquement la sélection des exemples) est plus critique que la longueur du prompt, et que des tailles de few-shot plus grandes (par exemple, 8-shot) peuvent mener au surapprentissage dans des scénarios de sous-échantillonnage, tandis que des tailles plus petites (par exemple, 4-shot) offrent souvent une meilleure généralisation.
Bornes Théoriques : Dérivation de bornes de généralisation pour l'optimisation de few-shot évolutive qui caractérisent les effets de la taille des données, du parallélisme de la population et du budget d'optimisation, offrant des garanties théoriques indisponibles pour le réglage fin basé sur le gradient.

Résultats Expérimentaux

Benchmarks : La méthode a été évaluée sur GSM8k, SVAMP, MathQA et MATH en utilisant LLaMA2-7B et LLaMA2-70B.
Performance : EPPO a systématiquement surpassé les bases de référence (CoT standard, Long CoT et Resprompt). Sur GSM8k avec LLaMA2-70B, EPPO (4-shot) a atteint une précision de 68,2 % contre 56,8 % pour le CoT standard. Des gains similaires ont été observés sur MathQA et MATH.
Transférabilité :
- Transfert de Tâche : Les pré-prompts optimisés sur GSM8k ont été transférés avec succès à SVAMP (qui manque d'un ensemble d'entraînement), améliorant la performance par rapport aux bases de référence.
- Transfert de Modèle : Les prompts optimisés pour le modèle plus grand 70B se sont transférés efficacement au modèle 7B, mais l'inverse (7B vers 70B) était moins efficace, bien que toujours supérieur aux bases de référence.
Dynamique de Surapprentissage : Les expériences ont montré qu'augmenter le nombre de shots (par exemple, de 4 à 8) dans un contexte de sous-échantillonnage de l'entraînement menait au surapprentissage (précision d'entraînement plus élevée mais précision de test plus faible). Cependant, l'utilisation de l'ensemble complet de l'entraînement atténuait ce problème.
Efficacité : EPPO nécessite nettement moins de ressources de calcul et de mémoire que le réglage fin par rétropropagation, car il n'implique pas de passage arrière (backward pass).

Signification et Revendications
L'article affirme qu'EPPO offre une alternative robuste, efficace et théoriquement fondée tant à l'ingénierie de prompts manuelle qu'au réglage fin basé sur le gradient pour les tâches de raisonnement mathématique. En exploitant une optimisation évolutive basée sur la comparaison, la méthode navigue efficacement dans l'espace de sélection de prompts tout en maintenant de fortes garanties de généralisation dans les environnements de rareté de données. Les auteurs soulignent que le succès d'EPPO ne provient pas simplement de la découverte de « meilleurs » exemples, mais de la découverte d'un ensemble d'exemples concis qui induisent des schémas de raisonnement plus cohérents dans le LLM. Le travail suggère que la clé d'un raisonnement CoT efficace réside dans la sélection stratégique du contenu du prompt plutôt que dans l'augmentation de la longueur du prompt ou le recours à des mécanismes de récupération complexes par exemple. De plus, l'article pose que la compatibilité additive d'EPPO avec la Self-Consistency et d'autres méthodes de bootstrapping en fait un composant polyvalent pour améliorer les capacités de raisonnement des LLM.