💻 computer science

Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

Cette étude évalue la fidélité de classification de quatre grands modèles de langage dans la catégorisation de questions d'examen endodontique à travers trois taxonomies éducatives, révélant que si des modèles comme Gemini et DeepSeek atteignent un accord substantiel pour les taxonomies de Bloom et SOLO, tous les modèles peinent avec la pyramide de Miller, démontrant que la performance des LLM est dépendante de la taxonomie et distincte de l'exactitude des réponses.

Auteurs originaux : Bilge Hakan Şen, Aslıhan Yekeler, Duygu Kürklü Arpaçay, Jülide Ocak, Oğuzhan Akkoçan

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bilge Hakan Şen, Aslıhan Yekeler, Duygu Kürklü Arpaçay, Jülide Ocak, Oğuzhan Akkoçan

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante de questions d'examen dentaire (spécifiquement sur les traitements de canal) provenant de Turquie, rédigées entre 2012 et 2025. Vous voulez savoir si quatre célèbres chatbots d'IA (ChatGPT, Gemini, Kimi et DeepSeek) peuvent faire plus que simplement répondre correctement à ces questions. Vous voulez savoir s'ils peuvent comprendre le « niveau de difficulté » de la question elle-même.

Considérez cela comme un professeur de musique. Un élève peut jouer un morceau parfaitement (obtenir la bonne réponse), mais peut-il vous dire si ce morceau est une simple comptine, un morceau de jazz complexe ou une symphonie complète ? C'est ce qu'une étude a testé.

Voici la décomposition de l'étude en utilisant des analogies simples :

1. Les trois « règles de mesure de la difficulté »

Les chercheurs ont utilisé trois « règles » différentes pour mesurer la difficulté d'une question. L'IA devait classer chaque question dans la bonne catégorie selon chaque règle :

La Taxonomie de Bloom (L'échelle de la pensée) : Elle mesure la puissance de réflexion nécessaire.
- Les échelons du bas : Juste se souvenir de faits (comme « Qu'est-ce qu'une dent ? »).
- Les échelons du haut : Une pensée complexe comme analyser un problème ou créer une solution.
La Taxonomie SOLO (La tour de construction) : Elle mesure combien de morceaux d'information sont nécessaires pour répondre.
- Petite tour : On n'a besoin que d'un seul fait.
- Grande tour : Il faut connecter de nombreux faits et voir comment ils sont liés.
La Pyramide de Miller (L'échelle du médecin) : Elle mesure si le savoir est seulement dans la tête ou si l'on peut réellement l'appliquer.
- Bas : « Je connais la théorie. »
- Haut : « Je peux le faire dans la vraie vie sur un patient. »

2. Le « Standard d'Or » Humain

Avant d'interroger l'IA, les chercheurs ont engagé des experts humains (dentistes spécialistes et professeurs d'éducation) pour classer les questions d'abord. Ils ont fait cela très soigneusement, en formant les experts, en auditant leur travail et en les faisant débattre jusqu'à ce qu'ils soient d'accord. Cela a créé la « clé de correction » de ce que les questions étaient réellement.

3. Le duel des IA

Les chercheurs ont soumis les mêmes 200 questions aux quatre modèles d'IA et leur ont demandé de classer les questions en utilisant les trois règles ci-dessus. Ils ont ensuite comparé le classement de l'IA au « Standard d'Or » humain.

Les résultats : Qui a réussi ?

Les bonnes nouvelles (Bloom & SOLO) :

Gemini et DeepSeek étaient les élèves modèles. Ils étaient très bons pour classer les questions selon leur « intensité de réflexion » (Bloom) et le nombre de « blocs de construction » nécessaires (SOLO). Ils étaient d'accord avec les experts humains la plupart du temps.
ChatGPT et Kimi étaient corrects, mais faisaient plus d'erreurs. Ils pensaient souvent que des questions simples étaient trop difficiles, ou que des questions complexes étaient trop faciles.

Les mauvaises nouvelles (La Pyramide de Miller) :

Tout le monde a eu des difficultés ici. Aucune IA n'a fait un excellent travail pour classer les questions selon le critère « Cela peut-il être fait dans la vraie vie ? » (Miller).
Le retournement de situation : Les classements se sont complètement inversés !
- Gemini et DeepSeek étaient les meilleurs pour les règles de « Pensée », mais les pires pour la règle de la « Vie réelle » (Miller).
- ChatGPT était le pire pour les règles de « Pensée », mais le meilleur (bien que seulement « passable ») pour la règle de la « Vie réelle ».

Points clés de l'article

Répondre et comprendre sont deux compétences différentes : Ce n'est pas parce qu'une IA peut donner la bonne réponse à une question dentaire qu'elle comprend pourquoi la question est difficile ou quel type de pensée elle requiert. C'est comme une calculatrice qui peut résoudre un problème mathématique mais qui ne comprend pas le concept de l'algèbre.
Une seule taille ne convient pas à tout : On ne peut pas utiliser une seule IA pour tous les travaux. Si vous voulez vérifier si les questions deviennent plus difficiles (Bloom/SOLO), utilisez Gemini ou DeepSeek. Si vous essayez de deviner si une question se rapporte à la pratique réelle (Miller), ChatGPT pourrait en fait être votre meilleure option, même s'il est moins bon sur les autres tâches.
Les questions deviennent plus difficiles : L'étude a révélé que les questions d'examen dentaire de 2025 sont nettement plus complexes et nécessitent plus de « réflexion » que les questions de 2012.
L'IA est confuse par le haut de l'échelle : Toutes les IA ont trouvé beaucoup plus difficile d'identifier correctement les questions les plus difficiles (celles nécessitant l'analyse ou l'évaluation) par rapport aux questions faciles (le simple fait de se souvenir de faits).

Ce que l'article ne dit PAS

L'article ne dit pas que ces IA devraient être utilisées pour noter les étudiants, remplacer les enseignants ou diagnostiquer des patients. Il stipule strictement que, bien que les IA deviennent meilleures pour classer les questions par difficulté, elles ne sont pas parfaites et que leurs performances varient selon la « règle de difficulté » utilisée. Il note également que, puisque les questions d'examen deviennent de plus en plus difficiles au fil du temps, les études plus anciennes sur l'IA pourraient avoir surestimé l'intelligence réelle de l'IA.

Résumé Technique : Fidélité de la Classification des Grands Modèles de Langage sur des Éléments d'Endodontie issus de l'Examen de Spécialité Dentaire Turque

Énoncé du Problème
Bien que les grands modèles de langage (LLM) soient de plus en plus utilisés dans l'enseignement et l'évaluation dentaires, la recherche existante s'est presque exclusivement concentrée sur l'exactitude des réponses (c'est-à-dire si le modèle sélectionne l'option correcte). Une lacune critique subsiste concernant la capacité des LLM à identifier de manière fiable la demande cognitive des items d'examen. Cette capacité est distincte de la réponse correcte et est essentielle pour l'assurance de la qualité de l'évaluation et la cartographie curriculaire. De plus, il est inconnu si les LLM peuvent classifier de manière cohérente la complexité cognitive à travers plusieurs taxonomies éducatives distinctes (Bloom révisé, SOLO et la Pyramide de Miller) ou si leurs performances varient significativement entre les modèles et les cadres.

Méthodologie
L'étude a employé un design observationnel transversal pour évaluer la fidélité de la classification de quatre LLM accessibles au public : ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5) et DeepSeek (V3.2).

Jeu de données : 200 questions à choix multiples (QCM) d'endodontie issues de l'Examen de Spécialité Dentaire Turque (DUS) administré entre 2012 et 2025. Les items ont été présentés dans leur langue d'origine, le turc.
Standard de Référence (Gold Standard) : Une procédure de consensus par trois experts a établi la vérité de terrain. Deux experts (un endodontiste et un prothésiste doté d'une expertise en éducation) ont classifié les items de manière indépendante, suivis d'une session de formation de calibration, d'un audit procédural par un conseiller externe et d'une délibération conjointe structurée pour résoudre les désaccords.
Taxonomies : Chaque item a été classifié selon :
1. La Taxonomie de Bloom révisée : Six niveaux (de Se souvenir à Créer).
2. La Taxonomie SOLO : Cinq niveaux (de Pré-structurel à Abstrait étendu).
3. La Pyramide de Miller : Quatre niveaux (de Savoir à Faire).
Contrôles Expérimentaux : Les LLM ont reçu un prompt standardisé dans des sessions de navigation privées dédiées afin d'éliminer les effets de mémoire inter-sessions et de personnalisation. Les paramètres de génération (ex: température) étaient gérés par la plateforme et non modifiables.
Analyse Statistique : L'accord a été mesuré par le kappa de Cohen pondéré ( $\kappa_w$ ) avec des intervalles de confiance bootstrap à 95 %. La performance de classification a été évaluée via l'exactitude et les scores F1 moyens macro. Les différences inter-modèles ont été testées via le test Q de Cochran et les tests de McNemar appariés avec correction de Holm–Bonneroni.

Résultats Clés

Performance Dépendante du Cadre :
- Taxonomie de Bloom : Gemini ( $\kappa_w = 0,676$ ) et DeepSeek ( $\kappa_w = 0,667$ ) ont atteint un accord substantiel avec le standard de référence. ChatGPT ( $\kappa_w = 0,365$ ) et Kimi ( $\kappa_w = 0,428$ ) n'ont obtenu qu'un accord acceptable à modéré.
- Taxonomie SOLO : Gemini a de nouveau dominé avec un accord substantiel ( $\kappa_w = 0,622$ ). Les autres modèles ont atteint un accord modéré ( $\kappa_w$ compris entre 0,433 et 0,549).
- Pyramide de Miller : La performance était nettement plus faible pour tous les modèles. L'accord n'a pas dépassé le niveau acceptable pour aucun modèle. ChatGPT a le mieux performé ( $\kappa_w = 0,372$ ), tandis que Gemini, Kimi et DeepSeek ont atteint un accord acceptable à léger.
Inversion Complète du Classement :
Une découverte frappante fut l'inversion totale du classement des modèles entre les cadres. Les modèles excellant dans Bloom et SOLO (Gemini, DeepSeek) ont mal performé sur la Pyramide de Miller. Inversement, ChatGPT, qui arrivait dernier sur Bloom et SOLO, a obtenu la plus haute exactitude et le meilleur accord sur la Pyramide de Miller.
Tendances des Niveaux Cognitifs :
- La fidélité de classification a diminué à mesure que les niveaux cognitifs augmentaient. Tous les modèles ont classifié les processus de pensée de bas niveau (niveaux 1–2 de Bloom) avec une fidélité plus élevée que les processus de haut niveau (niveaux 3–5).
- ChatGPT a présenté un biais systématique, sur-classant les items de Niveau 2 (Comprendre) comme étant de Niveau 4 (Analyser).
- DeepSeek a correctement identifié les cinq items de Niveau 5 (Évaluer) mais a sur-assigné le Niveau 5 à d'autres items.
- Gemini a démontré le profil de classification erronée le plus équilibré et était le seul modèle à montrer des scores F1 par niveau cohérents à travers les trois niveaux SOLO.
Tendances Temporelles :
Une corrélation positive significative a été trouvée entre l'année de l'examen et le niveau Bloom du standard de référence ( $\rho = 0,301, p < 0,001$ ), indiquant que les questions d'endodontie du DUS sont devenues progressivement plus exigeantes sur le plan cognitif de 2012 à 2025.

Contributions Clés

Découplage de l'Exactitude et de la Classification : L'étude démontre que l'exactitude des réponses et la fidélité de la classification taxonomique sont deux capacités distinctes. Un modèle peut répondre correctement aux questions (comme noté dans des études antérieures pour ChatGPT) tout en échouant à identifier avec précision la complexité cognitive de ces questions.
Non-interchangeabilité des Taxonomies : Les résultats fournissent une preuve empirique que Bloom, SOLO et la Pyramie de Miller évaluent des construits distincts. La performance d'un LLM dans un cadre ne prédit pas sa performance dans un autre ; par conséquent, ils ne peuvent être utilisés de manière interchangeable comme indicateurs de la demande cognitive.
Orientation pour la Sélection de Modèles : L'étude offre des orientations spécifiques pour la sélection des LLM selon l'objectif d'évaluation : Gemini et DeepSeek sont supérieurs pour la cartographie de la complexité cognitive (Bloom/SOLO), tandis que ChatGPT a montré une force relative dans la stratification de l'applicabilité clinique (Miller), bien que la performance globale sur Miller reste faible.

Signification et Revendications
L'article soutient que les LLM peuvent classer la complexité cognitive avec une fidélité significative pour les taxonomies de Bloom et SOLO, particulièrement lorsqu'on utilise Gemini ou DeepSeek, mais que cette capacité n'est pas uniforme à travers tous les cadres éducatifs. Les auteurs soulignent que la Pyramide de Miller reste un domaine difficile pour les LLM actuels, aucun modèle n'atteignant un accord supérieur au niveau « acceptable ».

L'étude conclut que pour l'assurance de la qualité de l'évaluation et la cartographie curriculaire, la sélection du LLM doit être adaptée à la taxonomie et à l'objectif spécifiques. De plus, l'augmentation observée de la demande cognitive au fil du temps suggère que les études s'appuyant sur de vieilles banques d'items pourraient surestimer la performance de classification actuelle des LLM. Enfin, les auteurs affirment que la fidélité de la classification taxonomique doit être évaluée indépendamment de l'exactitude des réponses pour garantir la validité des outils éducatifs assistés par l'IA.