🤖 machine learning

On the Effect of Sampling Diversity in Scaling LLM Inference

Cet article fournit une analyse théorique et empirique systématique démontrant que l'introduction d'une diversité de prompts significative lors de l'inférence des LLM améliore considérablement la performance de mise à l'échelle du Best-of- $N$ en réduisant les taux d'erreur, tout en établissant un principe de compromis entre diversité et fidélité pour guider les stratégies d'échantillonnage efficaces.

Auteurs originaux : Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Publié 2026-08-11

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre une énigme vraiment difficile, comme un problème de mathématiques complexe ou l'écriture d'un morceau de code. Vous avez un ami robot super intelligent (un grand modèle de langage) qui peut vous aider. Mais voici le piège : si vous posez exactement la même question de la même manière dix fois, il se peut qu'il donne dix réponses qui se ressemblent presque toutes. Elles pourraient toutes être fausses de la même manière, ou elles pourraient toutes rester coincées dans le même petit recoin de l'espace des solutions. C'est comme demander à un ami de vous donner des indications dix fois et recevoir dix fois le même mauvais tour parce qu'il tourne en boucle dans sa pensée.

Pour corriger cela, des scientifiques ont découvert une astuce appelée « mise à l'échelle de l'inférence » (scaling inference). Au lieu de simplement poser la question au robot une seule fois, vous la posez de nombreuses fois et vous choisissez la meilleure réponse. Mais pour que cela fonctionne, vous avez besoin que le robot explore différents chemins, et non pas juste le même chemin encore et encore. Cette publication examine une question spécifique : comment faire pour que les réponses du robot soient plus différentes les unes des autres sans pour autant les rendre moins bonnes ? Les chercheurs ont découvert que si l'on pousse la réflexion du robot avec des indices légèrement différents, mais toujours pertinents, il explore un monde de possibilités beaucoup plus large et trouve la bonne réponse beaucoup plus souvent. Cependant, ils ont également découvert un pièque : si vous essayez de choisir la réponse la plus « populaire » parmi tous les essais, tout votre dur labeur d'exploration de nouveaux chemins pourrait en fait s'évanouir, et vous n'obtiendrez aucun résultat meilleur.

La quête de la grande idée : Pourquoi varier les plaisirs aide les robots à mieux réfléchir

Alors, vous avez ce robot IA super intelligent. Il est excellent pour écrire des histoires, résoudre des problèmes de maths et coder. Mais parfois, quand vous lui posez une question difficile, il s'enferme dans une routine. C'est comme un chien qui court après sa propre queue ; il tourne en rond, générant le même genre de réponse encore et encore. Dans le monde de l'IA, on appelle cela un manque de « diversité ».

Les chercheurs derrière cet article voulaient savoir : que se passe-t-il si nous forçons le robot à sortir de ce cercle ? Et si nous modifions légèrement la façon dont nous posons la question ? Peut-être lui disons-nous : « Imagine que tu es un professeur de mathématiques sévère », ou « Réfléchis comme un écrivain créatif », ou même simplement lui donnons une façon légèrement différente de formuler le problème. C'est ce qu'on appelle l'« échantillonnage de la diversité » (sampling diversity).

La grande idée est simple : si vous demandez au robot d'essayer 100 manières différentes de résoudre un problème, et que ces 100 manières sont toutes très différentes les unes des autres, vous avez beaucoup plus de chances qu'au moins l'une d'entre elles soit la bonne réponse. C'est la stratégie du « Best-of-N » : essayer beaucoup de choses, puis choisir la meilleure. Mais la question à un million de dollars est la suivante : Comment rendre ces 100 choses différentes sans les rendre stupides ou erronées ?

Le point d'équilibre : Ni trop ennuyeux, ni trop bizarre

Les auteurs sont partis à la recherche du « coup de pouce » parfait. Ils ont testé différentes façons de secouer la pensée du robot.

D'abord, ils ont essayé les idées non pertinentes. Imaginez demander à un robot de résoudre un problème de mathématiques, mais vous lui dites de penser d'abord à la cuisson d'un gâteau. C'est juste du bruit. Cela n'aide pas. Le robot est confus, et ses réponses empirent.

Ensuite, ils ont essayé les répétitions exactes. Imaginez poser la même question au robot dix fois avec exactement les mêmes mots. Il vous donnera la même réponse dix fois. Pas de nouvelles idées, pas de meilleurs résultats.

Mais ensuite, ils ont trouvé le Point d'Équilibre. Ils ont essayé de donner au robot des idées « alignées sur la tâche ». Pour un problème de mathématiques, ils pourraient dire : « Pense à diviser le problème en étapes plus petites », ou « Considère l'utilisation d'un théorème spécifique ». Ces indices étaient assez différents pour pousser le robot à explorer de nouveaux chemins, mais ils concernaient toujours le problème de mathématiques lui-même.

Les résultats étaient incroyables. Lorsqu'ils ont utilisé ces indices « juste ce qu'il faut », le taux de réussite du robot a augmenté de manière significative. Par exemple, sur un test de codage appelé HumanEval, l'utilisation d'une stratégie appelée « Dual » (où un second robot aide à générer des idées) a amélioré le taux de réussite de 4,7 % par rapport à une demande normale. Sur un test de mathématiques appelé MATH, l'amélioration était de 8,2 %. Sur un test de raisonnement appelé MMLU-Pro, il a bondi de 10,8 %.

L'article suggère qu'il existe un « compromis diversité-fidélité » (diversity-fidelity trade-off). Vous voulez que les indices soient assez différents pour créer de nouveaux chemins (diversité), mais pas trop différents pour ne pas gâcher la qualité de la réponse (fidélité). C'est comme ajouter des épices à une soupe : un peu rend la chose délicieuse, mais trop la rend immangeable, et sans aucune épice, elle est ennuyeuse.

Le Piège : Pourquoi le « Vote » peut tuer votre succès

C'est ici que l'histoire prend un tournant. Les chercheurs ont également examiné comment nous choisissons la réponse finale. Habituellement, quand vous avez 100 réponses différentes, vous pourriez vous dire : « Voyons quelle réponse est la plus partagée ! » C'est ce qu'on appelle le vote majoritaire. Si 51 robots sur 100 disent « La réponse est 42 », alors 42 doit être la bonne, n'est-ce pas ?

L'article dit : Pas si vite.

Ils ont prouvé mathématiquement que si vous utilisez le vote majoritaire, tout le travail acharné que vous avez accompli pour rendre les réponses différentes pourrait être gaspillé. Pourquoi ? Parce que le vote majoritaire ne fonctionne que si la réponse la plus commune est la bonne. Or, si vous rendez les réponses diverses, vous risquez de disperser les votes. La bonne réponse peut être unique et brillante, mais si elle n'apparaît que 5 fois sur 100, et qu'une mauvaise réponse apparaît 20 fois, le vote majoritaire choisira la mauvaise.

Dans leurs expériences sur le jeu de données MATH, ils ont constaté que lorsqu'ils utilisaient le vote majoritaire, les techniques de diversité sophistiquées n'aidaient pas et rendaient même parfois les choses pires. L'article exclut explicitement le vote majoritaire comme une bonne stratégie lorsque vous essayez d'utiliser la diversité pour trouver une réponse unique et correcte. C'est comme un jury où tout le monde essaie d'être unique ; si tout le monde vote pour des choses différentes, on ne parvient jamais à un verdict.

Quand cette magie fonctionne-t-elle ?

Les chercheurs ne se sont pas contentés de trouver l'astuce ; ils l'ont testée partout pour voir si elle tenait la route.

Température : Ils ont testé le robot lorsqu'il était « chaud » (très aléatoire) et « froid » (très strict). Les techniques de diversité ont fonctionné dans les deux cas, apportant des bonus supplémentaires en plus de ce que la température faisait déjà.
Étapes de réflexion : Ils l'ont testé avec le « Chain-of-Thought » (chaîne de pensée), où le robot détaille ses étapes. Les astuces ont toujours fonctionné, offrant un boost de 7,4 % sur un test de codage difficile.
Qui est le « Penseur » ? Ils ont utilisé différents robots pour générer les idées. Ils ont découvert qu'un robot « penseur » plus intelligent rendait l'ensemble du système meilleur.
Combien d'idées ? Plus on injectait d'idées uniques, meilleurs étaient les résultats. Utiliser 100 idées différentes était préférable à n'en utiliser qu'une seule.

Cependant, ils ont également remarqué que cette astuce fonctionne mieux pour les robots plus faibles. Si le robot est déjà super intelligent (comme les modèles les plus gros et les plus puissants), le bonus supplémentaire est plus faible. C'est comme donner une carte à un génie ; il connaissait probablement déjà le chemin. Mais pour un robot intelligent mais pas génial, la carte aide énormément.

L'essentiel à retenir

Cet article est un guide pour quiconque cherche à tirer le meilleur parti des robots IA. Il nous dit que :

La diversité est une bonne chose : Forcer le robot à essayer différentes approches l'aide à trouver la bonne réponse.
Attention au coup de pouce : Les indices que vous donnez doivent être pertinents. Trop bizarres, et cela échoue. Trop ennuyeux, et cela n'aide pas.
Ne vous contentez pas de voter : Si vous voulez trouver une seule réponse correcte, ne choisissez pas simplement la plus populaire. Choisissez la meilleure réponse unique parmi tous les essais diversifiés.
C'est un outil, pas une baguette magique : Cela fonctionne mieux lorsque vous avez un budget de puissance de calcul et que vous l'utilisez sur des modèles qui ne sont pas déjà parfaits.

Les auteurs n'ont pas seulement deviné ; ils ont mené des centaines d'expériences et construit une théorie mathématique pour l'appuyer. Ils ont montré qu'en mélangeant soigneusement la façon dont nous posons les questions, nous pouvons rendre l'IA plus intelligente, plus rapide et plus fiable, sans avoir besoin de construire un robot plus gros et plus coûteux. C'est un rappel que, parfois, la meilleure façon de trouver la bonne réponse est de poser la question de cent manières différentes.

Résumé Technique : Sur l'effet de la diversité de l'échantillonnage dans le passage à l'échelle de l'inférence des LLM

Énoncé du Problème

Le passage à l'échelle de l'inférence des grands modèles de langage (LLM) vise à améliorer les performances en augmentant les ressources de calcul au moment du test (par exemple, en générant plusieurs solutions candidates et en sélectionnant la meilleure) plutôt qu'en augmentant les paramètres du modèle. Bien que le non-déterminisme des LLM (issu du décodage stochastique, des limites de précision et de la concurrence) soit souvent considéré comme un désagrément à éliminer, cet article pose que cette variabilité est un atout critique pour le passage à l'échelle au moment du test.

Le problème central abordé est le piège du « cluster local » dans l'échantillonnage standard Best-of-N. Lorsqu'un LLM est échantillonné de manière répétée avec le même prompt, les sorties convergent souvent vers un ensemble étroit de solutions similaires en raison des objectifs de post-entraînement qui privilégient une réponse unique et correcte. Cette concentration limite l'exploration de l'espace des solutions, empêchant le modèle de découvrir des réponses correctes qui se situent en dehors du cluster local immédiat. L'article étudie comment introduire systématiquement une diversité d'échantillonnage pour briser ces clusters et améliorer la probabilité de trouver une solution correcte, tout en évitant la dégradation de la qualité de la solution (fidélité).

Méthodologie

Cadre Théorique

Les auteurs établissent une perspective théorique pour expliquer pourquoi la diversité des solutions améliore la performance du Best-of-N. Ils formalisent le processus d'échantillonnage à l'aide d'une politique de diversité hybride où chaque tentative est configurée par un mode de décodage de base $\eta$ (ex: température, graine/seed) et une source de diversité auxiliaire $\xi$ (ex: perturbation de prompt).

Deux hypothèses clés sont posées :

Dispersion (Variation) : La diversité auxiliaire (comme la perturbation de prompt) induit une variation dans la probabilité de succès des solutions. Si la source auxiliaire est variée, la log-probabilité d'échec des tentatives devrait présenter une variation significative (mesurée par le premier moment absolu central).
Fidélité : La source de diversité auxiliaire ne doit pas dégrader globalement la qualité de la génération. Un prompt perturbé doit être presque aussi performant que le prompt de base en termes de taux de succès par tentative unique.

Sur la base de ces hypothèses, les auteurs dérivent le Théorème 3.5, qui démontre que l'introduction d'une diversité auxiliaire conduit à :

Une erreur asymptotique plus faible : L'ensemble des instances insolubles (angles morts) rétrécit à mesure que $N \to \infty$ .
Une convergence plus rapide : Le facteur de réduction de l'erreur s'améliore avec une diversité plus riche, entraînant des gains plus marqués dans la performance du Best-of-N.

Principe de Compromis Diversité-Fidélité

La théorie mène à un principe de conception : les perturbations efficaces doivent trouver un équilibre. Elles doivent être assez différentes pour créer de l'exploration (boostant la métrique de dispersion $\hat{\mu}_1$ ) mais assez fidèles pour ne pas nuire à la qualité des tentatives individuelles (maintenant la perte de fidélité $\epsilon$ basse).

Trop non pertinentes : Les perturbations totalement hors sujet dégradent la fidélité ( $\epsilon$ augmente), annulant les gains de diversité.
Trop similaires : Les perturbations qui ne sont que des reformulations ou des répétitions textuelles échouent à induire une dispersion suffisante ( $\hat{\mu}_1$ est faible), ce qui n'entraîne aucun gain de performance.
Le point idéal (Sweet Spot) : Les perturbations modérément pertinentes (ex: idées alignées sur la tâche) maximisent le gain effectif.

Stratégies de Perturbation

Guidés par le principe de compromis, l'article instancie deux catégories de perturbations :

Perturbations au niveau de la tâche : Indépendantes du contenu spécifique de la question.
- Injection de rôle : Assigner des personas spécifiques (ex: « mentor », « optimiseur ») au modèle.
- Instruction stratégique : Fournir des guides étape par étape ou des heuristiques.
Perturbations au niveau de la requête : Directement liées à la question spécifique.
- Injection d'idée aléatoire (RandIdeaInj) : Utiliser un modèle « penseur » pour générer des idées liées à la tâche injectées dans le prompt. Les variantes incluent Single (un seul modèle), Dual (penseur distinct) et Diverse (pool de modèles).
- Reformulateur de requête aléatoire (RandQReph) : Reformuler la question via une paraphrase ou une traduction inverse.

Évaluation Expérimentale

Les auteurs évaluent ces stratégies à travers des tâches de raisonnement (MMLU-Pro), de mathématiques (GSM-Hard, MATH) et de génération de code (HumanEval, MBPP, APPS). Ils mesurent la performance en utilisant Pass@k (code) et EM@k (raisonnement/maths) et analysent la diversité des solutions via des métriques telles que TF-IDF, la similitude BERT et la distance de Levenshtein.

Les conditions expérimentales clés incluent :

La variation des températures d'échantillonnage.
L'utilisation de différents modèles « penseurs » pour les perturbations de niveau requête.
La variation de la cardinalité (nombre) des perturbations.
Le test avec le raisonnement par chaîne de pensée (Chain-of-Thought, CoT).
La comparaison avec différentes méthodes de vérification : Oracle (vérité terrain), LLM-as-a-Judge (modèles de récompense de résultat/ORM) et Vote Majoritaire.

Résultats Clés

La diversité améliore le Best-of-N : Les résultats empiriques confirment la prédiction théorique. Les stratégies qui augmentent la diversité des solutions (ex: RandIdeaInj, injection d'instructions) surpassent systématiquement l'échantillonnage direct. Par exemple, sur MMLU-Pro, RandIdeaInj a obtenu une amélioration de 10,8 % de l'EM@100 par rapport à l'échantillonnage direct.
Pertinence Non-Linéaire : La performance suit un schéma de montée puis de descente par rapport à la pertinence de la perturbation. Les perturbations modérément pertinentes produisent les gains les plus élevés, tandis que les perturbations non pertinentes ou trop similaires ne parviennent pas à améliorer les performances ou les dégradent.
Robustesse : L'échantillonnage diversifié reste efficace à travers :
- Différentes températures d'échantillonnage.
- La présence du raisonnement par chaîne de pensée (CoT).
- La vérification via LLM-as-a-Judge (modèles de récompense de résultat).
Dépendance aux Ressources : Les gains de performance augmentent avec la force du modèle « penseur » (utilisé pour les perturbations de niveau requête) et la cardinalité de l'ensemble de perturbation.
Mode de Défaillance du Vote Majoritaire : L'article identifie un mode de défaillance critique : le Vote Majoritaire. Bien que le Best-of-N bénéficie de la diversité (tant qu'au moins une réponse correcte existe), le vote majoritaire nécessite que la réponse correcte soit le résultat le plus fréquent. L'analyse théorique (Proposition 5.1) et les résultats empiriques sur MATH montrent que l'introduction de la diversité peut en réalité réduire la fréquence de la réponse correcte si elle répartit la masse de probabilité sur des alternatives incorrectes, entraînant une absence de gain ou même une dégradation des performances sous le régime du vote majoritaire.
Force du Modèle : L'échantillonnage diversifié produit des gains relatifs plus importants pour les modèles plus faibles par rapport aux modèles déjà très performants, suggérant des rendements décroissants pour ces derniers.

Signification et Revendications

L'article affirme fournir la première analyse systématique, théorique et empirique de la manière dont la diversité de l'échantillonnage affecte le passage à l'échelle de l'inférence des LLM. Sa signification réside dans :

Fondation Théorique : Il dépasse les observations heuristiques pour fournir une justification mathématique de pourquoi la diversité améliore le passage à l'échelle du Best-of-N, définissant les conditions (dispersion et fidélité) sous lesquelles cela fonctionne.
Principes de Conception : Il établit le compromis diversité-fidélité, offrant une ligne directrice concrète pour les praticiens afin de concevoir des stratégies de perturbation qui maximisent l'exploration sans sacrifier la qualité.
Identification des Limites : Il identifie explicitement le vote majoritaire comme un mode de défaillance pour le passage à l'échelle basé sur la diversité, mettant en garde contre l'application indiscriminée des stratégies de diversité sans considérer le protocole de vérification.
Protocoles Pratiques : Le travail propose des directives exploitables, telles que la priorité donnée aux perturbations de niveau tâche pour l'efficacité des coûts, l'utilisation de modèles « penseurs » plus forts lorsque les budgets le permettent, et l'évitement des stratégies de diversité pour les modèles qui performent déjà près de la saturation.

En résumé, l'article soutient que bien que le non-déterminisme soit souvent supprimé, il est une ressource vitale pour le passage à l'échelle de l'inférence. En gérant soigneusement le compromis entre l'exploration d'espaces de solutions diversifiés et le maintien de la fidélité des solutions, les praticiens peuvent considérablement améliorer les performances des LLM dans les tâches de raisonnement, de mathématiques et de codage, à condition que la méthode de vérification (ex: Best-of-N vs Vote Majoritaire) soit alignée avec la stratégie de diversité.