💻 computer science

What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks

Cet article présente une étude empirique démontrant que la difficulté des problèmes dans les benchmarks de génération de code est une métrique stable et transférable, pilotée par des caractéristiques de spécification (telles que les exemples et la longueur du prompt) sur HumanEval et par la complexité des solutions sur MBPP, offrant ainsi des perspectives critiques pour l'amélioration des benchmarks, de l'auto-évaluation et de la conception d'outils éducatifs à mesure que les scores agrégés des modèles saturent.

Auteurs originaux : TANZIM ISLAM KHAN

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : TANZIM ISLAM KHAN

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une gigantesque bibliothèque magique de devinettes, et que vous avez invité toute une ménagerie de différents "solveurs" d'IA pour tenter de les résoudre. Certains solveurs sont de minuscules hamsters au gros cerveau (petits modèles), et d'autres sont des éléphants géants et super-intelligents (comme GPT-4). Habituellement, quand nous vérifions l'intelligence de ces IA, nous leur donnons simplement un score unique, comme une note finale à l'école. Mais cet article soutient qu'une note unique est ennuyeuse et trompeuse. C'est comme dire qu'un test de mathématiques est "difficile" simplement parce que vous avez eu un C, sans demander : Quelles questions étaient les plus délicates ? Était-ce les problèmes avec de longs énoncés, ou ceux sans aucun exemple ?

L'auteur, Tanzim Islam Khan, a décidé de ne plus regarder la note finale, mais de commencer à regarder les devinettes elles-mêmes. Il a pris deux ensembles célèbres de devinettes de codage (appelés HumanEval et MBPP) et les a soumis à une expérience massive. Il a récupéré les réponses de 31 modèles d'IA différents (allant de minuscules modèles de 1 milliard de paramètres au géant GPT-4) et a réexécuté chaque réponse dans un bac à sable (sandbox) sûr et isolé pour voir si elle fonctionnait réellement. Cela représente bien 13 400 exécutions !

La Grande Découverte : Qu'est-ce qui rend une devinette difficile ?

L'article a découvert quelque chose de surprenant qui change notre façon de concevoir la "difficulté".

Sur l'ensemble HumanEval (les devinettes avec de longues descriptions et beaucoup d'exemples de réponses), la difficulté ne dépendait pas de la complexité du code de la solution. Elle dépendait entièrement de la façon dont la devinette était écrite.

L'indice magique : Si la devinette incluait des exemples concrets (comme montrer à l'IA : "Voici l'entrée A, voici la sortie B"), l'IA la résolvait facilement. Plus il y avait d'exemples, plus c'était facile.
Le piège : Si la devinette était longue et verbeuse, ou si elle manquait de ces exemples utiles, l'IA peinait, même si le code nécessaire pour la résoudre était simple.
La preuve : Les auteurs ont construit une machine de prédiction. Lorsqu'ils lui ont injecté uniquement le texte de la devinette (le prompt), elle pouvait prédire la difficulté de la devinette avec un $R^2$ de 0,45 par validation croisée, ce qui correspondait aux performances du modèle complet. Mais lorsqu'ils ne lui ont donné que la complexité du code de la solution (comme compter les boucles ou les variables), elle n'en savait presque rien ( $R^2$ de 0,11).

Le Revers de la Médaille : L'Autre Livre de Devinettes

Ensuite, ils ont examiné l'ensemble MBPP. Ces devinettes sont différentes ; elles sont super courtes, comme des chuchotements d'une seule phrase, avec aucun exemple du tout.

Ici, les règles s'inversent ! Puisque chaque devinette se ressemblait (courte et vague), le texte ne disait pas à l'IA quoi faire. Au lieu de cela, la difficulté dépendait de la difficulté réelle de la solution.
Si le code nécessitait une logique complexe, l'IA échouait. Si le code était simple, l'IA réussissait.
La leçon : Un problème est difficile pour une IA en fonction de la partie des instructions qui est la plus variable. Si les instructions varient beaucoup (comme dans HumanEval), les instructions règnent. Si les instructions sont toutes identiques (comme dans MBPP), la complexité de la réponse règne.

Ce que l'article clarifie

L'article argumente explicitement contre l'idée que "un code plus difficile égale toujours un problème plus difficile".

Ils ont mesuré la complexité des solutions de référence (en utilisant des mesures telles que la "complexité cyclomatique" et le "volume de Halstead") et ont constaté que sur HumanEval, ces chiffres étaient des prédicteurs bien plus faibles de la difficulté que les caractéristiques du prompt. Une solution complexe n'était pas nécessairement plus difficile à générer si les instructions étaient claires et riches en exemples.
Ils ont également écarté l'idée que la difficulté soit un simple coup de chance lié aux modèles d'IA testés. Ils ont prouvé que la difficulté est une propriété stable du problème lui-même. Que vous testiez une IA de la taille d'un hamster ou un éléphant, les mêmes devinettes restent les plus difficiles et les plus faciles. Ils ont même vérifié cela en retirant un modèle à la fois, et le classement n'a pas changé (corrélation $\rho \ge 0,99$ ).

À quel point sommes-nous sûrs ?

Les auteurs sont très confiants, mais ils restent prudents dans leurs termes.

Ils ont mesuré cela directement en exécutant le code 13 400 fois dans un bac à sable.
Ils ont prouvé la stabilité en testant cela contre une version "durcie" des tests (qui possède 80 fois plus de vérifications pour HumanEval et 35 fois plus pour MBPP). Même avec ces tests plus rigoureux, le classement des problèmes faciles et difficiles est resté presque le même (corrélation $\rho = 0,88$ ).
Ils ont simulé (ou plutôt, réexécuté) les résultats avec différents réglages (comme changer la "température" pour rendre l'IA plus aléatoire) et ont constaté que le classement de difficulté restait cohérent ( $\rho = 0,87$ ).
Ils ont suggéré qu'à mesure que l'IA devient plus intelligente et commence à résoudre presque tout sur ces anciens tests (saturation), regarder quels problèmes spécifiques restent difficiles deviendra encore plus important.

Le Contexte Futur

L'article jette également un regard sur le "futur" (tel que défini par la chronologie de l'article en juin 2026). Il note que les IA les plus récentes et les plus puissantes (comme GPT-5.x et Claude Opus 4.8) ont pratiquement cessé d'utiliser ces vieilles devinettes car elles sont trop faciles pour elles maintenant. La frontière s'est déplacée vers des tâches de codage réelles beaucoup plus difficiles. Mais la leçon reste la même : à mesure que les problèmes faciles disparaissent, comprendre pourquoi les problèmes restants sont difficiles devient la clé pour construire de meilleurs outils.

En Résumé

Si vous voulez savoir si un problème de codage est difficile pour une IA, ne regardez pas seulement le code qu'elle doit écrire. Regardez les instructions !

Instructions riches avec des exemples ? L'IA passera sans effort, peu importe la complexité du code.
Instructions vagues ou sans exemples ? L'IA aura du mal, même si le code est simple.
Instructions courtes, d'une seule phrase ? Alors la complexité du code lui-même est ce qui rend la tâche difficile.

L'article nous donne une carte pour prédire ces difficultés sans même avoir besoin de faire tourner l'IA, simplement en lisant l'énoncé du problème. C'est un outil pour les enseignants afin de construire de meilleurs exercices et pour les ingénieurs afin de construire de meilleurs benchmarks, garantissant que nous ne testons pas seulement si une IA peut deviner la réponse, mais si elle peut réellement comprendre la devinette.

Résumé Technique : Qu'est-ce qui rend un problème de programmation difficile pour un modèle de langage ?

Énoncé du Problème

Les pratiques d'évaluation actuelles pour les modèles de langage (LLM) générateurs de code reposent largement sur des métriques agrégées comme le pass@k sur des benchmarks tels que HumanEval et MBPP. Cette approche traite tous les problèmes comme interchangeables, occultant la difficulté de problèmes spécifiques et les raisons de celle-ci. Par conséquent, elle ne parvient pas à distinguer la capacité générale d'un modèle des caractéristiques spécifiques des éléments qu'il résout. L'article répond à la nécessité de traiter le problème (l'item) comme l'unité d'analyse, en séparant la difficulté de l'item de la capacité du modèle afin de comprendre les déterminants de la difficulté dans les tâches de génération de code.

Méthodologie

L'étude emploie une approche empirique basée sur les données, ancrée dans la Théorie de la Réponse aux Items (IRT) et la modélisation prédictive.

Source de Données : Les auteurs ont utilisé des complétions gourmandes (greedy completions) publiées dans le cadre du projet EvalPlus. L'étude couvre 31 modèles distincts (allant de ~1B à l'échelle de GPT-4) sur HumanEval (164 problèmes) et 22 modèles sur MBPP (378 problèmes).
Harnais d'Exécution : Plutôt que de se fier aux scores pré-calculés, les auteurs ont ré-exécuté les 13 400 complétions dans un environnement Python sécurisé avec un délai d'attente de 12 secondes. Cela a généré des matrices de réponse binaire (31×164 pour HumanEval ; 22×378 pour MBPP).
Opérationnalisation de la Difficulté :
- Difficulté Empirique : Définie comme $1 - \text{taux de résolution}$ (la fraction de modèles échouant à un problème spécifique).
- Validation par l'IRT : Un modèle logistique à un paramètre (Rasch) a été ajusté pour séparer la capacité du modèle ( $\theta$ ) de la difficulté de l'item ( $b$ ). Les auteurs ont confirmé que le taux d'échec brut entre les modèles est presque parfaitement corrélé ( $\rho \approx 1,00$ ) avec la difficulté dérivée de Rasch, validant ainsi l'utilisation de la métrique plus simple.
Extraction de Caractéristiques : 36 caractéristiques statiques ont été extraites par problème, classées en :
- Caractéristiques du Prompt : Longueur, lisibilité, nombre d'exemples résolus, présence d'indices de type, etc.
- Caractéristiques de la Solution de Référence : Métriques de complexité du code (complexité cyclomatique de McCabe, volume de Halstead, nombres de nœuds AST, profondeur d'imbrication, etc.).
- Caractéristiques de la Suite de Tests : Nombre d'assertions, nombre de caractères.
Analyse : L'étude a utilisé l'analyse de corrélation (Spearman/Pearson avec correction de Benjamini-Hochberg) et l'apprentissage automatique (régression Ridge, Forêts Aléatoires, Gradient Boosting) avec une validation croisée à 10 plis pour prédire la difficulté. La robustesse a été testée via la méthode "leave-one-model-out", le ré-échantillonnage par bootstrap, le transfert entre paliers de capacité, et la ré-évaluation par rapport à des suites de tests durcies (HumanEval+ / MBPP+) et l'échantillonnage par température.

Résultats Clés

1. La Difficulté est une Propriété Stable et Mesurable

Distribution : La difficulté est largement distribuée, non concentrée. Sur HumanEval, le taux de résolution moyen du panel de 31 modèles était de 0,29, certains problèmes étant résolus par 0 % des modèles et d'autres par 100 %.
Stabilité : Le classement de la difficulté est hautement robuste. Supprimer un seul modèle laisse le classement pratiquement inchangé ( $\rho \ge 0,99$ ). Le classement est également transférable entre les paliers de capacité (modèles faibles vs forts), avec des corrélations de Spearman de 0,78 (HumanEval) et 0,79 (MBPP).
Alignement Rasch : Le modèle de Rasch confirme que la difficulté est une propriété latente de l'item, indépendante du panel de solveurs spécifique utilisé.

2. Le Signal Prédictif Dépend du Style de Spécification

L'étude identifie une divergence critique dans ce qui prédit la difficulté entre les deux benchmarks :

HumanEval (Prompts Riches) : La difficulté est principalement prédite par les caractéristiques du prompt ( $R^2 = 0,45$ $R^{2} = 0, 45$ ), ce qui correspond à la performance de l'ensemble des caractéristiques ( $R^2 = 0,46$ $R^{2} = 0, 46$ ).
- Principaux Prédicteurs : Le nombre d'exemples d'entrée-sortie (corrélation négative avec la difficulté) et la présence d'indices de type rendent les problèmes plus faciles. Les prompts et docstrings plus longs sont corrélés à une difficulté plus élevée.
- Complexité de la Solution : Les caractéristiques de complexité de la solution de référence expliquent très peu la variance ( $R^2 = 0,11$ ).
MBPP (Prompts Concis) : La difficulté est principalement prédite par les caractéristiques de complexité de la solution ( $R^2 = 0,13$ $R^{2} = 0, 13$ ).
- Contexte : Les prompts de MBPP sont uniformément courts, des descriptions d'une seule phrase sans exemples résolus. Par conséquent, les caractéristiques du prompt ont peu de variance pour contribuer.
- Principaux Prédicteurs : Le nombre de nœuds AST et le volume de Halstead sont les principaux corrélats. Les caractéristiques du prompt seul produisent un $R^2$ négatif.
Synthèse : Ce qui rend un problème difficile dépend de ce qui varie le plus dans sa spécification. Si le prompt varie (HumanEval), le prompt conduit la difficulté ; si le prompt est statique (MBPP), la complexité algorithmique conduit la difficulté.

3. Robustesse et Généralisation

Tests Durcis : La ré-évaluation contre HumanEval+ et MBPP+ (respectivement 80x et 35x plus de tests) a réduit les taux de réussite globaux mais a préservé le classement de la difficulté ( $\rho = 0,88$ et $0,82$) ainsi que la répartition prédictive prompt-vs-solution.
Régime de Décodage : Passer d'un décodage gourmand à un échantillonnage à température de 0,8 a préservé le classement de la difficulté ( $\rho = 0,87$ ) et la distribution du signal prédictif.
Contexte 2026 : L'analyse du classement EvalPlus de juin 2026 (125 modèles) montre que HumanEval sature (modèles de pointe > 96 %). Les modèles de pointe (ex: GPT-5.x, Claude Opus 4.8) ont largement abandonné HumanEval pour des benchmarks de niveau dépôt (SWE-bench), où la modélisation de la difficulté par instance reste critique à mesure que les scores agrégés se compressent.

Principales Contributions

Étude d'Exécution Reproductible : Un ensemble de données validé de ~68 000 exécutions à travers deux benchmarks, convertissant les complétions publiques en matrices de réponse binaire et en échelles de difficulté.
Preuve de Stabilité : Preuve empirique que la difficulté de l'item est une propriété indépendante du modèle qui survit au retrait de modèles, au ré-échantillonnage et au transfert de palier de capacité.
Analyse Prédictive : Démonstration que la difficulté est prédictible à partir de caractéristiques statiques, avec une conclusion cruciale entre les benchmarks : le signal prédictif passe de la spécification en langage naturel (HumanEval) à la complexité de la solution (MBPP) en fonction de la variabilité du prompt.
Contextualisation : Mise en relation de ces résultats avec le paysage des modèles de 2026, montrant qu'à mesure que les benchmarks saturent, l'analyse tenant compte de la difficulté devient plus, et non moins, importante.

Signification et Implications

L'article soutient qu'une évaluation tenant compte de la difficulté est essentielle à mesure que les scores agrégés se compressent.

Pour la Conception de Benchmarks : Les rapports devraient aller au-delà des scores agrégés uniques pour inclure des profils de difficulté (ex: distribution d'items faciles/moyens/difficiles) afin de détecter la saturation et de garantir que les benchmarks restent discriminants. Les prédicteurs de difficulté statiques offrent une méthode à faible coût pour constituer des benchmarks équilibrés sans faire tourner des flottes de modèles.
Pour l'Autogradage et l'Éducation : Les estimations de difficulté statiques peuvent servir de signaux de confiance pour le tutorat assisté par LLM. Si une spécification est signalée comme "difficile" (ex: manque d'exemples ou haute complexité), un assistant peut s'en remettre à une revue humaine ou demander des clarifications.
Alignement Éducatif : La conclusion selon laquelle les exemples résolus et les indices de type facilitent la tâche des LLM s'aligne sur l'effet de l'exemple résolu dans la théorie de la charge cognitive. Cela suggère que l'étayage bénéfique pour les programmeurs novices est également bénéfique pour les LLM, bien que cela crée un compromis : les exercices conçus pour être faciles pour les assistants (riches en exemples) peuvent être trop faciles pour l'apprentissage des étudiants, tandis que les exercices concis peuvent défier les deux.

L'étude conclut que la difficulté n'est pas une propriété inhérente de l'algorithme seul, mais qu'elle est déterminée par la dimension de la spécification qui reste la plus variable. Cette intuition fournit un cadre pour comprendre et prédire les performances des LLM à travers différents contextes de problèmes.