💻 computer science

The Impact of LLM Self-Consistency and Reasoning Effort on Automated Scoring Accuracy and Cost

Cette étude démontre que, si la sélection stratégique de modèles et l'augmentation de l'effort de raisonnement améliorent considérablement la précision du notation automatique des conversations de mathématiques au lycée, l'ensemblage par auto-cohérence ne procure aucun gain substantiel, des modèles spécifiques à faible coût offrant le meilleur équilibre entre performance et coût.

Auteurs originaux : Scott Frohn

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Scott Frohn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant notant des centaines de brèves conversations mathématiques où les élèves expliquent leur raisonnement. Vous souhaitez utiliser un robot d'intelligence artificielle pour effectuer cette notation à votre place, mais vous avez deux grandes inquiétudes : le robot sera-t-il précis ? et coûtera-t-il trop cher ?

Ce papier est comparable à une expérience de laboratoire où des chercheurs ont testé différents « réglages » sur divers robots d'IA afin de déterminer lesquels étaient les meilleurs pour noter ces conversations mathématiques. Ils ont comparé des robots de deux grandes entreprises (OpenAI et Google) et ont testé deux stratégies principales :

La stratégie du « Comité » (cohérence interne) : Demander au même robot de noter la même réponse plusieurs fois et de procéder à un vote.
La stratégie du « Penseur profond » (effort de raisonnement) : Demander au robot de « réfléchir plus intensément » avant de donner une note.

Voici ce qu'ils ont découvert, expliqué simplement :

1. La stratégie du « Comité » n'a pas beaucoup aidé

L'idée : Si un robot est un peu confus, peut-être que lui demander de noter la même réponse cinq fois et de procéder au vote majoritaire lissera les erreurs. C'est comme demander à cinq amis de deviner la réponse à une énigme ; s'ils sont tous d'accord, vous vous sentez plus confiant.

La réalité : Les chercheurs ont constaté que ces robots d'IA sont en fait très obstinés. Une fois qu'ils ont décidé d'une réponse, ils s'y tiennent, même s'ils ont tort.

L'analogie : Imaginez un robot convaincu que le ciel est vert. Si vous lui posez la question 10 fois, il répondra « vert » 10 fois. Lui demander davantage de fois ne le fait pas réaliser que le ciel est en fait bleu ; cela vous coûte simplement 10 réponses au lieu d'une seule.
Le résultat : Demander au robot de voter sur lui-même (de 1 à 7 fois) n'a pas amélioré la précision. Cela a simplement augmenté le coût. La seule chose qui a légèrement aidé était de rendre le robot un peu plus « aléatoire » (en modifiant un réglage appelé température), mais simplement lui demander de voter davantage n'a pas corrigé les erreurs.

2. La stratégie du « Penseur profond » a donné des résultats mitigés

L'idée : Les nouveaux modèles d'IA peuvent être invités à « réfléchir étape par étape » avant de répondre, de manière similaire à la façon dont un humain pourrait griffonner un problème mathématique sur papier avant d'écrire la réponse finale.

La réalité : Cela a fonctionné, mais cela dépendait entièrement du robot que vous utilisiez.

Les « Sur-réfléchisseurs » : Pour certains robots moins chers et plus petits, leur demander de « réfléchir plus intensément » les a en fait rendus moins bons pour la notation. Ils ont commencé à suranalyser des réponses simples et à se perdre.
Le robot le plus « intelligent » : Le robot le plus puissant (Gemini 3.1 Pro Preview) était déjà si performant que lui demander de réfléchir plus intensément n'a pas vraiment changé sa note. Il était précis qu'il réfléchisse une seconde ou une minute.
La tendance générale : Globalement, laisser les modèles réfléchir un peu plus a aidé la précision, mais l'amélioration n'était pas une ligne droite. Parfois, réfléchir davantage aidait, parfois non.

3. Le point idéal « Prix vs Performance »

Les chercheurs ont tracé une carte (appelée « frontière d'efficacité ») pour montrer le meilleur équilibre entre la qualité de la note et son coût.

Les gagnants bon marché : Les robots les plus petits et les moins chers (GPT-5.4 Nano et Mini) avec zéro « réflexion profonde » se sont révélés offrir le meilleur rapport qualité-prix. Ils étaient étonnamment précis et coûtaient quelques centimes par tâche de notation.
Le champion coûteux : Le robot le plus puissant (Gemini 3.1 Pro Preview) a offert la précision absolue la plus élevée, mais il a coûté environ 4 à 15 fois plus cher que les robots bon marché.
Le juste milieu : Demander aux robots moins chers de « réfléchir plus intensément » les a généralement rendus plus chers sans les rendre beaucoup plus précis.

La conclusion

Si vous souhaitez noter automatiquement des conversations mathématiques d'élèves :

Ne demandez pas à l'IA de voter sur ses propres réponses à plusieurs reprises ; cela gaspille de l'argent sans corriger les erreurs.
Choisissez le bon robot pour votre budget. Si vous avez besoin de la précision absolue et que l'argent n'est pas un problème, utilisez le modèle le plus puissant. Mais si vous devez noter des milliers de copies à moindre coût, un robot plus petit et « paresseux » (sans réflexion) est souvent tout aussi bon et beaucoup moins cher.

Note importante : Cette étude ne portait que sur des conversations mathématiques de niveau lycée avec de simples listes de contrôle « oui/non ». Les résultats pourraient être différents pour des dissertations, des questions d'histoire ou des échelles de notation plus complexes. De plus, les prix mentionnés sont basés sur les tarifs actuels des API, qui peuvent changer.

1. Énoncé du problème

La notation automatisée des questions à réponse construite (par exemple, réponses courtes, conversations) est cruciale pour l'évaluation éducative évolutive, mais elle fait face à des défis concernant la cohérence, le coût et la précision. Bien que les modèles de langage de grande taille (LLM) aient montré des promesses dans la notation en zéro ou quelques exemples, deux stratégies d'optimisation spécifiques restent sous-explorées dans les contextes éducatifs :

Cohérence interne (Ensemble) : L'hypothèse selon laquelle l'agrégation de multiples sorties de modèle (vote majoritaire) améliore la précision en lissant le bruit.
Effort de raisonnement : L'utilisation de modèles de « réflexion » qui génèrent des traces internes de chaîne de pensée (CoT) avant de répondre, avec l'hypothèse qu'une délibération plus profonde produit une précision supérieure.

Des recherches antérieures suggèrent que ces méthodes fonctionnent bien pour les tâches de raisonnement objectives (comme les problèmes de mathématiques avec une seule réponse correcte) mais peuvent ne pas se traduire par une notation basée sur des grilles d'évaluation, où la justesse implique un jugement subjectif. De plus, le compromis coût-bénéfice de ces stratégies dans les déploiements éducatifs à grande échelle reste flou.

2. Méthodologie

Données et contexte

Jeu de données : 900 conversations d'élèves provenant des éléments « Expliquez votre réflexion » (EYT) de Khan Academy en mathématiques du secondaire (Algèbre I et Géométrie).
Structure : Chaque élément comprend une question à choix suivi d'une conversation guidée par l'IA.
Grille de notation : Listes de contrôle dichotomiques (binaires) avec 2 à 3 critères par conversation.
Vérité terrain : Scores générés par trois évaluateurs humains formés, le vote majoritaire servant de vérité terrain (2 100 scores de critères au total).

Modèles évalués

L'étude a comparé des modèles de pointe et à faible coût de deux fournisseurs (OpenAI et Google) :

OpenAI : GPT-5.4 (Pointe), GPT-5.4 Mini, GPT-5.4 Nano.
Google : Gemini 3.1 Pro Preview (Pointe), Gemini 3 Flash Preview.

Conception expérimentale

L'étude a manipulé deux variables :

Cohérence interne (Taille de l'ensemble, $j$ ) : Tailles d'ensemble testées de $j=1, 3, 5, 7$ $j = 1, 3, 5, 7$ .
- Contrainte : L'échantillonnage par température ($temp=1$) a été utilisé pour l'ensemble afin d'induire de la variance. Les appels déterministes ($temp=0$) servaient de référence.
- Note : Les modèles de raisonnement (reasoning_effort d'OpenAI et thinking_level de Google) ont été restreints à « aucun » ou « minimal » pour l'analyse de cohérence interne afin d'éviter des coûts prohibitifs.
Effort de raisonnement : Niveaux testés allant de « aucun/minimal » à « faible », « moyen » et « élevé ».
- Contrainte : Analysé comme des appels uniques ( $j=1$ ) à $temp=1$.

Métriques

Précision : Mesurée à l'aide du $\kappa$ de Cohen (accord avec la vérité terrain humaine) et de modèles linéaires mixtes généralisés (GLMM) pour la signification statistique.
Coût : Estimé sur la base des tarifs de l'API (taux de mars 2026), calculant les jetons d'entrée/sortie et les jetons de raisonnement par 1 000 appels.
Frontière d'efficacité : Une analyse de Pareto-optimalité traçant la Précision ( $\kappa$ ) par rapport au Coût pour identifier les configurations optimales.

3. Résultats clés

R1 : Cohérence interne (Ensemble)

Haute cohérence intra-modèle : Les modèles étaient très cohérents avec eux-mêmes ( $\kappa$ de Fleiss entre 0,88 et 0,97) même à $temp=1$. Cela indique que les modèles produisent des schémas de notation stables indépendamment du hasard, plutôt que des chemins de raisonnement variables.
Aucun gain de précision : L'augmentation de la taille de l'ensemble de $j=1$ à $j=7$ n'a produit aucune amélioration significative de la précision de notation ( $p = .379$ ).
Effet de la température : Les appels stochastiques ($temp=1$) étaient significativement plus précis que les appels déterministes ($temp=0$) pour des modèles spécifiques (GPT-5.4 Mini/Nano), mais l'ensemble n'ajoutait aucune valeur au-delà d'un seul appel stochastique.

R2 : Effort de raisonnement

Tendance linéaire positive : Globalement, un effort de raisonnement plus élevé était corrélé à une précision plus élevée ( $b=0.145, p < .001$ ).
Hétérogénéité des modèles : Le bénéfice variait considérablement selon la famille de modèles :
- Gemini 3.1 Pro Preview : A maintenu la précision la plus élevée ( $\kappa \approx 0.794$ ) à tous les niveaux de raisonnement, montrant peu de sensibilité au paramètre.
- GPT-5.4 Nano/Mini : Ont performé mieux avec aucun raisonnement qu'avec un raisonnement faible. La précision a chuté à un effort « faible » avant de se rétablir à « moyen/élevé ».
- Gemini 3 Flash : A montré une tendance claire à l'amélioration du raisonnement minimal au moyen, puis a plafonné.
Conclusion : Un effort de raisonnement plus élevé n'est pas une solution universelle ; il peut dégrader les performances dans les modèles plus petits ou des configurations spécifiques.

R3 : Analyse coût-efficacité

Variation des coûts : Les coûts variaient considérablement en fonction de la taille du modèle et des jetons de raisonnement.
- Coût le plus bas : GPT-5.4 Nano (Aucun raisonnement) à 0,27 $ par 1 000 appels.
- Coût le plus élevé : GPT-5.4 (Raisonnement élevé) à 6,12 $ par 1 000 appels.
Anomalies : Gemini 3 Flash Preview a montré un pic de coût contre-intuitif à un raisonnement « moyen » en raison d'une génération excessive de jetons de réflexion (716 jetons) par rapport au raisonnement « élevé » (417 jetons).
Frontière d'efficacité :
- Meilleure valeur : GPT-5.4 Nano et Mini (Aucun raisonnement) offraient une précision proche de la frontière ( $\kappa \approx 0.75$ ) à une fraction du coût.
- Meilleure précision : Gemini 3.1 Pro Preview (Raisonnement faible) offrait la précision la plus élevée ( $\kappa \approx 0.794$ ) mais à 4 à 15 fois le coût des options les plus efficaces.
- Inefficacité : L'augmentation de l'effort de raisonnement pour GPT-5.4 et les modèles de milieu de gamme ajoutait généralement du coût sans gains de précision proportionnels, les éloignant de la frontière de Pareto.

4. Contributions clés

Démystification de la cohérence interne pour la notation : L'étude fournit des preuves empiriques que la cohérence interne (vote majoritaire) n'améliore pas la précision de la notation automatisée pour les tâches basées sur des grilles, car les modèles présentent une haute cohérence interne même lorsqu'ils se trompent.
Nuance de l'effort de raisonnement : Il démontre que « plus de raisonnement » n'est pas toujours mieux. Pour certains modèles (par exemple, GPT-5.4 Mini/Nano), désactiver les fonctionnalités de raisonnement donne des résultats supérieurs par rapport aux modes de raisonnement à faible effort.
Cartographie du compromis coût-précision : L'article établit une frontière d'efficacité claire, identifiant que les modèles à faible coût sans raisonnement offrent souvent le meilleur équilibre pour un déploiement à grande échelle, tandis que les modèles de pointe à haut coût ne sont justifiés que pour des exigences de précision à haut risque spécifiques.
Lignes directrices pratiques de déploiement : Il offre des conseils exploitables pour les techniciens éducatifs : privilégier l'échantillonnage par température ($temp=1$) plutôt que l'ensemble, et sélectionner soigneusement les niveaux de raisonnement en fonction de la famille de modèle spécifique plutôt que de supposer que les paramètres par défaut sont optimaux.

5. Importance et limites

Importance : Les résultats remettent en question l'hypothèse prédominante selon laquelle les « méthodes d'ensemble » et le « raisonnement profond » sont universellement supérieurs pour les applications LLM dans l'éducation. Il déplace l'accent vers la sélection stratégique des modèles et le réglage des paramètres comme leviers principaux pour optimiser le coût et la précision.
Limites :
- Portée : Limitée à la notation dichotomique en mathématiques du secondaire ; les résultats peuvent ne pas se généraliser à la notation d'essais polytomiques ou à d'autres matières.
- Validité temporelle : Les chiffres de coût et de performance sont spécifiques aux versions de modèles et aux tarifs d'API disponibles en mars 2026 ; une itération rapide des modèles peut modifier ces chiffres.
- Portée de l'ensemble : Seul l'ensemble intra-modèle a été testé ; l'ensemble inter-modèle (combinaison d'architectures différentes) n'a pas été exploré.

Conclusion : Pour la notation automatisée de réponses courtes, la stratégie optimale est souvent un appel unique utilisant un modèle à faible coût (par exemple, GPT-5.4 Nano) avec un échantillonnage par température et aucun/faible effort de raisonnement, plutôt que des configurations d'ensemble coûteuses ou de raisonnement à haut effort.