💻 computer science

Beyond the Best Guess: Improving LLM Solution Coverage with Evolution Strategies

Cet article démontre que les stratégies d'évolution (ES) surpassent l'apprentissage par renforcement (RL) lors du post-entraînement des grands modèles de langage pour les domaines de la découverte en maintenant une couverture de solutions plus large et des scores pass@k plus élevés, évitant ainsi l'effondrement de la distribution de sortie qui limite l'efficacité du RL pour générer des solutions candidates diversifiées.

Auteurs originaux : Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver un trésor caché sur une île immense et embrumée. Dans le monde de l'intelligence artificielle, les grands modèles de langage (LLM) sont comme des explorateurs incroyablement intelligents capables de lire des cartes et de deviner où le trésor pourrait se trouver. Pendant longtemps, la meilleure façon d'entraîner ces explorateurs consistait à leur présenter un problème, à les laisser deviner, puis à les récompenser uniquement si leur meilleure tentative était parfaite. Cette méthode, connue sous le nom d'apprentissage par renforcement (RL), est comparable à un entraîneur sévère qui crie « Faux ! » à chaque mauvaise réponse et « Parfait ! » à la seule bonne réponse. Le problème est que cet entraîneur devient si obsédé par la recherche de cette réponse unique et parfaite que l'explorateur cesse de chercher ailleurs. Il arrête d'explorer les lisières brumeuses de l'île où d'autres trésors pourraient être cachés, se concentrant uniquement sur l'endroit qu'il pense être le bon.

Mais et si le trésor n'était pas une chose unique ? Et si de nombreuses façons différentes de résoudre un problème mathématique ou de découvrir un nouveau fait scientifique existaient ? Dans ces domaines de « découverte », il ne suffit pas d'avoir une seule réponse parfaite ; il faut un filet large pour capturer n'importe quelle solution correcte. C'est là qu'intervient une nouvelle idée appelée « mise à l'échelle au moment de l'inférence » (test-time scaling). Au lieu de simplement demander au modèle une seule réponse, nous lui demandons de générer des dizaines, voire des centaines de tentatives différentes et de voir si l'une d'entre elles est correcte. Cette étude examine si notre entraîneur sévère (RL) ou un autre type de méthode d'entraînement est plus apte à aider l'explorateur à jeter un large filet. Les chercheurs ont découvert que, tandis que le strict entraîneur RL rend l'explorateur très confiant en un point précis, une méthode différente appelée stratégies d'évolution (ES) maintient l'explorateur curieux et errant, garantissant que si une solution existe quelque part dans la brume, l'explorateur est beaucoup plus susceptible de la trouver.

L'article : Au-delà de la meilleure supposition

Cet article traite d'un problème complexe de l'entraînement de l'IA : comment s'assurer qu'un modèle d'IA ne se contente pas de devenir très bon pour deviner l'unique bonne réponse, mais qu'il garde réellement ses options ouvertes pour trouver n'importe quelle bonne réponse ? Les auteurs, des chercheurs du Cognizant AI Lab et de l'Université du Texas à Austin, ont comparé deux méthodes d'entraînement : l'apprentissage par renforcement (RL) standard et une approche plus récente appelée stratégies d'évolution (ES).

Considérez l'apprentissage par renforcement comme un étudiant qui révise intensément pour un examen en mémorisant exactement le corrigé. Si l'étudiant répond correctement, il reçoit une récompense ; s'il se trompe, il n'obtient rien. Avec le temps, l'étudiant devient un maître sur cette question spécifique mais cesse de comprendre les concepts sous-jacents. Dans le monde de l'IA, cela provoque ce qu'on appelle un « effondrement de la distribution » (distribution collapse). Le modèle devient tellement focalisé sur sa « meilleure supposition » qu'il cesse de générer des réponses diverses. C'est comme un musicien qui ne joue qu'une seule note parce que c'est la seule qui lui vaut des applaudissements, oubliant ainsi comment jouer une chanson entière.

Les stratégies d'évolution (ES), en revanche, fonctionnent davantage comme un écosystème naturel. Au lieu d'entraîner un seul modèle, l'ES crée une « population » entière de versions légèrement différentes du modèle. Elle modifie leurs « cerveaux » (poids) de manière aléatoire, comme la nature fait muter les gènes, et observe quelles versions sont les plus performantes. Crucialement, elle ne se contente pas de choisir le vainqueur unique et de rejeter les autres ; elle apprend de l'ensemble du groupe. Cela permet de garder le « cerveau » de l'IA flexible et diversifié, lui permettant d'explorer de nombreux chemins vers une solution.

Les chercheurs ont testé ces méthodes sur des problèmes mathématiques, allant de l'arithmétique simple à des défis complexes de niveau Olympiades, en utilisant des modèles de différentes tailles (de 1,5 à 32 milliards de paramètres). Ils ont mesuré le succès à l'aide d'une métrique appelée pass@k. Imaginez que vous demandiez à l'IA de générer 100 réponses différentes à un problème. Pass@1 demande : « La toute première réponse est-elle correcte ? ». Pass@k demande : « Au moins une des 100 réponses est-elle correcte ? ».

Voici ce qu'ils ont découvert :

1. Le piège de la « meilleure supposition »
Lorsque les chercheurs ont examiné le pass@1 (la meilleure supposition unique), les modèles entraînés par RL étaient souvent très bons. Ils étaient percutants et confiants. Cependant, à mesure que les chercheurs augmentaient le nombre de tentatives (k) à 2, 8, 16 ou même 128, les modèles RL heurtaient un mur. Leurs performances cessaient de s'améliorer. En fait, pour certains problèmes difficiles, les modèles RL devenaient moins bons que le modèle original non entraîné lorsqu'on leur donnait de nombreuses chances de deviner. Le modèle RL était devenu si étroit dans sa pensée qu'il cessait de trouver des réponses correctes qui étaient légèrement différentes de sa « préférée ».

2. Le pouvoir de la diversité
En revanche, les modèles entraînés par ES présentaient un schéma différent. Bien qu'ils soient également doués pour obtenir la première réponse correcte, leur véritable super-pouvoir apparaissait à mesure que le nombre de tentatives augmentait. À mesure que les chercheurs demandaient de plus en plus d'échantillons (jusqu'à 128), les modèles ES continuaient de trouver de nouvelles solutions correctes. L'article montre que l'ES obtient systématiquement des scores pass@k plus élevés que le RL pour toutes les tailles de modèles et tous les tests mathématiques qu'ils ont testés.

3. Pourquoi cela se produit-il ?
Les auteurs ont cherché à comprendre pourquoi cela se produisait. Ils ont découvert que l'entraînement par RL a tendance à « élaguer » les connaissances de l'IA. Il supprime les chemins qui mènent à des réponses correctes mais moins communes, rendant certains problèmes impossibles à résoudre même si l'IA essaie 100 fois. La méthode ES, quant à elle, préserve la « largeur » des connaissances de l'IA. Elle ne se contente pas d'apprendre la bonne réponse ; elle apprend à garder de nombreuses portes ouvertes. Lorsque les chercheurs ont examiné l'« entropie » de l'IA (une mesure de la diversité de ses réponses), ils ont constaté que lorsque les modèles RL échouaient, ils étaient sûrs d'eux mais dans l'erreur (faible diversité). Lorsque les modèles ES échouaient, ils étaient toujours diversifiés et incertains, ce qui signifie qu'ils exploraient encore et avaient une meilleure chance de trouver la bonne réponse s'ils disposaient de plus de temps ou de puissance de calcul.

4. L'impact dans le monde réel
L'article suggère que pour les problèmes où nous devons découvrir de nouvelles choses — comme résoudre une preuve mathématique difficile, écrire du code ou découvrir un nouveau fait scientifique — avoir un modèle capable de générer une grande variété de solutions correctes est plus précieux qu'avoir un modèle qui est simplement très bon pour une seule supposition spécifique. En utilisant l'ES, nous pouvons obtenir de meilleurs résultats dans ces domaines de découverte car le modèle est moins susceptible de rester bloqué dans un « piège local » et plus susceptible de trouver la solution globale.

En résumé, l'article soutient que si vous voulez qu'une IA soit un grand explorateur de l'inconnu, vous ne devez pas seulement l'entraîner pour être le meilleur devineur du jour. Vous devez l'entraîner à garder ses options ouvertes, à errer un peu et à être prête à trouver le trésor, peu importe où il se cache. Les stratégies d'évolution, s'avèrent-elles, sont le meilleur entraîneur pour ce genre d'aventure.

Résumé Technique : Au-delà de la meilleure supposition : Améliorer la couverture des solutions des LLM avec les stratégies d'évolution

Problématique

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines de découverte tels que les mathématiques et les sciences, où l'objectif n'est pas simplement de fournir une seule « meilleure supposition », mais d'explorer un espace de solutions pour trouver des réponses correctes parmi de nombreux candidats. Le paradigme standard pour améliorer le raisonnement des LLM implique l'apprentissage post-entraînement par renforcement (RL), spécifiquement l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Bien que le RLVR maximise efficacement l'exactitude d'un échantillon unique (pass@1), cet article identifie une limitation critique : l'effondrement de la distribution.

Les mises à jour par RL, typiquement via des méthodes de gradient de politique comme PPO ou GRPO, aiguisent la distribution de sortie du modèle pour concentrer la masse de probabilité sur les sorties à haute récompense. Ce processus rétrécit le support de la distribution, élaguant de fait les solutions de faible probabilité mais correctes. Par conséquent, lorsque le nombre d'échantillons ( $k$ ) augmente lors de la mise à l'échelle au moment du test (TTS), la couverture des solutions (pass@k) des modèles entraînés par RL stagne souvent ou même dégrade, dépassant parfois les performances du modèle de base non entraîné. Ce phénomène limite l'efficacité des stratégies de TTS comme l'échantillonnage de multiples candidats, qui reposent sur une distribution large de solutions viables.

Méthodologie

L'article propose les Stratégies d'Évolution (ES) comme une alternative sans gradient et basée sur une population au RL pour le post-entraînement des LLM. Contrairement au RL, qui opère dans l'espace d'action en mettant à jour les paramètres d'un seul modèle basés sur des gradients au niveau du jeton, l'ES opère directement dans l'espace des poids.

L'approche ES :

Génération de la population : Une population de modèles est générée en appliquant des perturbations gaussiennes aléatoires ( $\epsilon$ ) aux poids du modèle de base ( $\theta$ ).
Évaluation : Chaque modèle perturbé est évalué sur une tâche, et une récompense est attribuée en fonction de la performance (par exemple, l'exactitude de la réponse).
Mise à jour des poids : Les poids sont mis à jour en agrégeant les perturbations pondérées par leurs récompenses normalisées, déplaçant ainsi les paramètres vers des régions de l'espace des poids qui sont robustes aux perturbations et englobent un ensemble plus large de solutions.

Configuration expérimentale :
L'étude compare empiriquement l'ES au RL de pointe (spécifiquement GRPO et OatZero) à travers plusieurs familles de modèles et échelles (de 1,5B à 32B de paramètres).

Jeux de données : L'entraînement et l'évaluation ont été menés sur GSM8K, MATH (niveaux 3-5), MATH500, Olympiad Bench et Minerva.
Métriques : La métrique principale est le pass@k, défini comme la probabilité qu'au moins une solution correcte existe parmi $k$ échantillons. L'étude analyse également les distributions d'exactitude, les progressions/régressions de modèles, et l'entropie des réponses.
Mise à l'échelle au moment du test (TTS) : L'article évalue la performance à mesure que $k$ augmente (jusqu'à 128 ou 256 échantillons) et applique la cohérence de soi (vote) comme méthode de TTS en aval.

Contributions clés

Évaluation exhaustive : L'article fournit l'évaluation la plus étendue de l'ES en tant que technique de post-entraînement de LLM à ce jour, couvrant des tailles de modèles de 1,5B à 32B et de multiples familles de modèles (Qwen2.5, Qwen3).
Supériorité de la diversité des solutions : Il établit que l'ES améliore systématiquement le pass@k par rapport aux modèles entraînés par RL sur tous les échelles et benchmarks. Contrairement au RL, l'ES ne souffre pas d'effondrement de la distribution.
Analyse mécaniste : À travers une analyse systématique, l'article identifie les origines du succès de l'ES :
- Progressions vs Régressions : L'ES ajoute de nouvelles solutions correctes (progressions) tout en préservant les connaissances existantes (minimisant les régressions), tandis que le RL écrase souvent les connaissances du modèle de base pour maximiser la récompense.
- Préservation de l'entropie : En cas d'échec, l'ES maintient une entropie de réponse plus élevée (incertitude), tandis que le RL s'effondre vers des réponses incorrectes à faible entropie (confiance excessive).
Validation en aval : L'article démontre que les distributions de haute qualité générées par l'ES mènent à une performance supérieure dans la cohérence de soi (voting), une méthode de TTS non vérifiable.

Résultats

Performance Pass@k : Sur tous les benchmarks (GSM8K, MATH500, Olympiad Bench, Minerva) et tailles de modèles, les modèles ES surpassent systématiquement les modèles RL à mesure que $k$ augmente. Alors que les courbes de RL plafonnent souvent tôt, les courbes d'ES continuent de monter. Notamment, pour un $k$ suffisamment grand, le modèle de base surpasse souvent le modèle affiné par RL, mais le modèle affiné par ES surpasse systématiquement le modèle de base.
Analyse de la distribution :
- Bacs d'exactitude : Le RL augmente la fréquence des prompts où aucune solution n'est trouvée (bac 0.0) par rapport au modèle de base, indiquant une perte de solvabilité. L'ES réduit cette fréquence.
- Régressions : Le RL présente des taux de « régressions » (problèmes résolus par le modèle de base mais échoués par le modèle affiné) nettement plus élevés que l'ES. Par exemple, sur l'Olympiad Bench, le RL a eu 49 régressions contre 15 pour l'ES.
- Entropie : Lorsqu'ils échouent, les modèles RL échouent avec une faible entropie (incorrects mais confiants), tandis que l'ES échoue avec une entropie plus élevée (préservant la diversité), rendant les échecs de l'ES plus propices à une correction via l'augmentation de l'échantillonnage.
Cohérence de soi (Self-Consistency) : Dans les scénarios de vote, les distributions générées par l'ES produisent une exactitude plus élevée que les modèles RL et le modèle de base à mesure que le nombre d'échantillons augmente.

Signification et affirmations

L'article soutient que les stratégies d'évolution fournissent une meilleure base pour le post-entraînement dans les problèmes de découverte où une couverture de solutions diversifiées est critique. Bien que le RL soit efficace pour maximiser l'exactitude en un seul coup (pass@1), il entre fondamentalement en conflit avec les exigences de la mise à l'échelle au moment du test (TTS) en provoquant l'effondrement de l'espace des solutions.

Les auteurs affirment que l'ES résout cette tension en optimisant pour une distribution de solutions robuste plutôt que pour un mode unique à haute récompense. En préservant le large support de la distribution de sortie du modèle de base tout en améliorant simultanément le pass@1, l'ES permet aux LLM de tirer parti efficacement de l'augmentation du calcul au moment du test. L'article conclut que l'ES est l'approche de pointe pour le post-entraînement dans des domaines comme la science, les mathématiques et le codage, particulièrement là où la capacité d'explorer des solutions alternatives viables est essentielle à la performance.