🤖 machine learning

Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks

Cet article démontre que les mesures de précision par exécution standard surestiment considérablement la fiabilité des grands modèles de langage sur les tâches de programmation déterministes en ignorant l'écart substantiel entre le succès lors d'une exécution unique et une performance constante sans tentative de nouvel essai, particulièrement pour les modèles de niveau intermédiaire, établissant ainsi la nécessité d'une analyse de stabilité sur des exécutions répétées pour une évaluation précise.

Auteurs originaux : Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez une équipe de chefs pour cuisiner un plat spécifique selon une recette que vous leur donnez. Vous demandez à chaque chef d'essayer de cuisiner le plat cinq fois de suite, en utilisant exactement les mêmes ingrédients et les mêmes instructions.

La plupart des gens regarderaient les résultats et diraient : « Waouh, le Chef A a réussi 4 fois sur 5 ! C'est un taux de réussite de 80 %. Il est excellent. »

Mais ce document pose une question différente, plus pratique : « Si je demande au Chef A de cuisiner ce plat tout de suite, puis-je avoir la certitude qu'il sera parfait à chaque fois, ou dois-je continuer à lui demander d'essayer jusqu'à ce qu'il réussisse ? »

Les chercheurs ont découvert que la manière standard de mesurer le succès (le « taux de réussite de 80 % ») nous ment souvent. Elle fait paraître les chefs plus fiables qu'ils ne le sont réellement.

Voici une décomposition de leurs découvertes en utilisant des analogies simples :

1. La « Moyenne » vs la « Série Parfaite »

Le document introduit deux façons de mesurer un chef (ou un modèle d'IA) :

Taux de réussite par exécution (La Moyenne) : C'est comme compter combien d'assiettes parfaites sont sorties de la cuisine au total. Si un chef prépare 100 assiettes et que 80 sont parfaites, il a un score de 80 %. C'est ce que la plupart des gens regardent.
Taux de Stabilité Parfaite (Le score « Sans Tentative Supplémentaire ») : Cela demande : « Combien de commandes le chef a-t-il réussies du premier coup, sans jamais se tromper ? »

La Grande Découverte : Le score de la « Moyenne » est presque toujours plus élevé que le score du « Sans Tentative Supplémentaire ».

L'Analogie : Imaginez un chef qui lance une pièce pour décider s'il ajoute du sel ou non.
- Scénario A : Il réussit le plat 50 % du temps, mais quand il se trompe, il se trompe vraiment mal. Il est incohérent.
- Scénario B : Il réussit le plat 50 % du temps, mais il est soit toujours parfait, soit toujours mauvais.
- Le document a découvert que pour les chefs de « niveau intermédiaire » (ceux qui sont bons mais pas parfaits), l'écart entre leur score de « Moyenne » et leur score de « Sans Tentative Supplémentaire » est énorme. Un modèle peut sembler précis à 86 % en moyenne, mais si vous avez besoin qu'il fonctionne parfaitement sans un second essai, il n'est en réalité fiable qu'à 75 %. C'est une différence de 17,8 % — un écart massif qui change la façon dont vous l'embaucheriez.

2. Le Piège du « Milieu de Gamme »

Les chercheurs ont découvert que les plus gros mensonges proviennent des modèles de « milieu de gamme ».

Les modèles de haut niveau sont si bons qu'ils font rarement des erreurs, donc leurs scores de « Moyenne » et de « Stabilité » sont proches.
Les modèles de bas niveau sont si mauvais qu'ils échouent presque toujours, donc leurs scores sont également proches (tous deux bas).
Les Modèles du Milieu : Ce sont les plus piégeux. Ils réussissent assez souvent pour paraître bons, mais ils échouent assez souvent pour être agaçants. Parce qu'ils sont « sur la corde raide », leurs résultats oscillent de manière erratique. Le document a découvert que pour ces modèles, le score de « Moyenne » surestime leur fiabilité de près de 18 points de pourcentage.

3. Le « Prompt » (La fiche de recette)

L'équipe a testé si donner une fiche de recette plus détaillée (un « Prompt Détaillé ») plutôt qu'une courte (un « Prompt Minimal ») rendait les chefs plus cohérents.

Le Résultat : Cela dépend entièrement du chef.
Pour certains modèles, une recette détaillée a aidé. Pour d'autres, une recette courte était meilleure. Pour certains, cela n'avait aucune importance.
La Leçon : Il n'existe pas de « prompt magique » pour tout le monde. Vous ne pouvez pas simplement donner une meilleure instruction à un modèle de niveau intermédiaire et vous attendre à ce qu'il devienne soudainement parfaitement stable.

4. Les Modèles de « Réflexion » (Raisonnement vs Standard)

Certains chefs modernes sont entraînés à « réfléchir étape par étape » avant de cuisiner (Modèles de Raisonnement). Les chercheurs se sont demandé si cette « réflexion » les rendait plus cohérents.

Le Résultat : Pas nécessairement.
Bien que certains modèles de « réflexion » aient été étonnamment stables, d'autres étaient en fait moins stables que leurs homologues sans réflexion. L'acte de « réfléchir » n'a pas garanti une série parfaite. En fait, pour certains, les étapes de réflexion supplémentaires ont introduit plus de chances de faire des erreurs.

5. Pourquoi cela compte

Le document soutient que nous devons cesser de regarder uniquement le score de la « Moyenne ».

Le Monde Réel : Si vous construisez un système logiciel qui doit fonctionner automatiquement (comme une voiture autonome ou un script bancaire), vous ne voulez pas un système qui fonctionne « la plupart du temps ». Vous voulez un système qui fonctionne chaque fois sans que vous ayez à appuyer sur le bouton « réessayer ».
La Conclusion : Pour savoir si une IA est vraiment prête pour le monde réel, il faut la tester de manière répétée. Vous devez savoir non seulement si elle peut résoudre le problème, mais aussi à quel point elle le résout avec fiabilité dès le premier essai.

En bref : Un score élevé à un examen ne signifie pas qu'un étudiant est constant. Ce document nous montre comment mesurer la différence entre « réussir éventuellement » et « réussir à chaque fois ».

Résumé technique : Précision, stabilité et fiabilité des exécutions répétées des grands modèles de langage sur des tâches de programmation déterministes

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés pour des tâches conditionnées par du texte avec des spécifications déterministes, telles que la synthèse de programmes, où la correction est binaire et vérifiée par des suites de tests exécutables. Les benchmarks d'évaluation conventionnels (par exemple, HumanEval, MBPP) rapportent généralement une précision sur une exécution unique ou des métriques de « succès éventuel » comme le pass@k, qui mesurent la capacité d'un modèle à produire au moins une solution correcte parmi $k$ tentatives.

Cependant, de nombreux scénarios de déploiement pratique exigent de la stabilité : la capacité d'un modèle à produire des résultats corrects et cohérents lors d'invocations répétées sous des descriptions de tâches identiques. Bien que des travaux récents aient formulé l'échantillonnage répété comme une forme de calcul au moment de l'inférence, la relation systématique entre la correction et la stabilité — spécifiquement, l'écart entre le succès moyen d'un modèle au niveau de l'exécution et sa fiabilité sans tentatives de nouvel essai — reste sous-explorée. Cet article aborde la question de savoir dans quelle mesure l'exactitude observée se traduit par un comportement fiable et sans nouvel essai, particulièrement pour les systèmes de performance intermédiaire où la variabilité est la plus élevée.

Méthodologie

Configuration expérimentale

L'étude utilise un ensemble de données organisé de 100 problèmes de programmation déterministes (de type LeetCode), sélectionnés sur la base de leur récence afin de minimiser la contamination par les données d'entraînement historiques. L'ensemble de données comprend 20 problèmes Faciles, 50 Moyens et 30 Difficiles, couvrant diverses thématiques algorithmiques. Tous les problèmes sont autonomes, ne nécessitent aucun accès réseau externe et sont évalués via un banc de test déterministe fixe.

Modèles et configuration

L'évaluation couvre 16 modèles issus de cinq familles de fournisseurs (OpenAI, Anthropic, Google, Qwen, DeepSeek), incluant des architectures standards et spécialisées dans le raisonnement (ex. : o4-mini, DeepSeek-R1).

Protocole : Chaque modèle est évalué sous deux modèles de prompts (DÉTAILLÉ et MINIMAL) avec 5 exécutions répétées ( $R=5$ ) par problème.
Paramètres : La plupart des modèles utilisent $T=0.3$ et $top\_p=0.9$ pour simuler un décodage stochastique réaliste. Les modèles spécialisés dans le raisonnement et certaines contraintes d'API (ex. : o4-mini) impliquent des budgets de jetons ajustés ou des régimes de décodage internes fixes.
Instances totales : L'expérience produit 16 000 instances d'évaluation.

Métriques

L'article introduit un protocole d'évaluation par exécutions répétées avec trois métriques principales :

Taux de réussite au niveau de l'exécution (RLPR - Run-Level Pass Rate) : La probabilité qu'une invocation unique aléatoire réussisse.
$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$
Taux de stabilité parfaite (PSR - Perfect Stability Rate) : La fraction des tâches pour lesquelles le système réussit sur toutes les $R$ exécutions sans nécessiter de nouvel essai.
$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$
Note : Le PSR est mathématiquement équivalent au pass@k pour $k=R$ avec un seuil de « tous les succès », mais il est interprété ici comme une mesure de fiabilité de déploiement plutôt que comme une mesure de capacité.
Variance moyenne (AV - Average Variance) : Une mesure de l'instabilité par problème, capturant la variance des probabilités de succès à travers les tâches.

Résultats clés

L'écart Précision–Stabilité

L'étude trouve une forte corrélation entre le RLPR et le PSR ( $r = 0,985$ ), pourtant le RLPR surestime systématiquement la fiabilité en production.

Magnitude de l'écart : La différence $\Delta = RLPR - PSR$ n'est pas uniforme entre les modèles, atteignant un maximum de 17,8 points de pourcentage (observé sur Gemini 2.5 Flash avec le prompt DÉTAILLÉ).
Pic de précision intermédiaire : L'écart est le plus important pour les systèmes de performance intermédiaire. Les modèles présentant des probabilités de succès intermédiaires affichent la variance la plus élevée (la variance de Bernoulli est maximisée à $p \approx 0,5$ ), entraînant des écarts significatifs entre le succès moyen et la stabilité parfaite.
Renversements de classement : Le RLPR et le PSR peuvent produire des classements de modèles divergents. Par exemple, GPT-4.1 surpasse GPT-4.1-mini en RLPR (59,6 % contre 58,4 %) mais est en retrait en PSR (47,5 % contre 50,0 %), en raison d'un écart précision–stabilité plus important pour le premier.

Variabilité au niveau du problème

Polarisation vs Instabilité : Des modèles comme Qwen-Turbo présentent une faible AV car leurs résultats sont polarisés (soit un échec systématique, soit une réussite sur toutes les exécutions), ce qui entraîne un petit écart malgré une faible précision globale. À l'inverse, des modèles comme Gemini 2.5 Flash montrent une AV élevée, indiquant une variabilité substantielle d'un essai à l'autre.
Modes d'échec : Le mode de défaillance dominant est « Mauvaise réponse » (~~58 %), suivi de « Temps limite dépassé » (~~27 %). L'instabilité est liée non seulement à l'incohérence algorithmique mais aussi à la fragilité de l'implémentation (délais d'attente/erreurs d'exécution), qui augmente avec la difficulté du problème.

Sensibilité au prompt et architecture

Effets du prompt : La sensibilité au prompt dépend du modèle plutôt que d'être uniforme. Bien que la plupart des modèles montrent des différences mineures (< 3 pp) entre les prompts DÉTAILLÉ et MINIMAL, certains (ex. : Claude Sonnet 4.5) présentent des inversions. Aucun modèle de template ne domine uniformément, et la signification statistique des effets de prompt était généralement faible compte tenu de la taille de l'échantillon.
Architectures de raisonnement : L'étude examine si les modèles spécialisés dans le raisonnement (ex. : Chaîne de pensée / Chain-of-Thought) présentent systématiquement des écarts précision–stabilité plus faibles. Les résultats sont hétérogènes : DeepSeek-R1 montre une meilleure stabilité que prévu, tandis que d'autres (QwQ-Plus, Gemini 2.5 Flash+Think) présentent des écarts plus importants. Un test de permutation ( $p=0,97$ ) n'a trouvé aucun avantage systématique pour les architectures de raisonnement dans cet échantillon, bien que l'analyse soit notée comme manquant de puissance en raison du faible nombre de modèles de raisonnement.

Signification et affirmations

L'article soutient que l'analyse de la stabilité par exécutions répétées est un complément nécessaire au rapport de précision conventionnel pour la génération de code déterministe conditionnée par du texte.

Au-delà de la mesure de capacité : Alors que le pass@k mesure la capacité d'un modèle à trouver une solution éventuellement, le PSR mesure la fiabilité de déploiement (la cohérence). Ces deux métriques visent des préoccupations opérationnelles différentes et peuvent diverger considérablement, particulièrement pour les systèmes de précision moyenne.
Révéler les risques cachés : Se fier uniquement au RLPR peut masquer une instabilité substantielle. Un modèle avec un taux de réussite au niveau de l'exécution de 60 % mais seulement 47 % de stabilité parfaite laisse une fraction significative de tâches dans un régime nécessitant un nouvel essai, ce qui peut être inacceptable dans des flux de travail automatisés exigeant un comportement reproductible.
Contribution méthodologique : L'article établit le PSR et la Variance Moyenne (AV) comme des cibles d'évaluation de premier rang. Il démontre que l'écart précision–stabilité est un phénomène observable, spécifique aux modèles et pratiquement significatif, qui ne peut être déduit uniquement de la performance moyenne.

Les auteurs concluent que, bien que leurs conclusions soient spécifiques à la génération de code Python en un seul tour, le cadre fournit un prisme critique pour comprendre la fiabilité dans les flux de travail sensibles à la reproductibilité. Ils précisent que leurs résultats sont spécifiques à l'instant T des versions d'API évaluées et ne tiennent pas compte d'une orchestration plus large ou de dépendances multi-tours.