Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus
Cet article évalue dix LLM par rapport à l'examen brésilien ENEM pour révéler que, bien qu'ils puissent classer modérément la difficulté des questions, ils sous-estiment systématiquement la dureté des items, peinent avec le contenu multimodal et manquent de la plasticité contextuelle nécessaire pour une évaluation personnalisée, suggérant qu'ils sont mieux adaptés en tant que filtres calibrés plutôt qu'en tant que générateurs faisant autorité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un enseignant essayant de construire un nouveau test de mathématiques. Vous avez un robot assistant super intelligent (une IA) qui peut rédiger des questions pour vous. Mais avant de donner le test aux élèves, vous devez savoir : Cette question est-elle trop facile ? Est-elle trop difficile ?
Traditionnellement, les enseignants répondent à cela en soumettant d'abord le test à des milliers d'élèves, en corrigeant les résultats et en effectuant des calculs complexes pour déterminer la difficulté. Cela prend du temps et coûte cher.
Cette étude pose une question simple : Pouvons-nous simplement demander à l'IA : « Quelle est la difficulté de cette question ? » et faire confiance à sa réponse ?
Les chercheurs ont testé cette idée en utilisant l'examen national brésilien pour les lycéens (ENEM), qui compte plus de 1 000 questions réelles. Ils ont demandé à dix modèles d'IA différents de deviner la difficulté de ces questions et ont comparé leurs estimations aux scores de difficulté « officiels » calculés par des experts humains.
Voici ce qu'ils ont trouvé, expliqué avec des analogies de la vie quotidienne :
1. Le problème du « Bon pour classer, mauvais pour les chiffres »
Les modèles d'IA sont comme un élève qui est excellent pour classer des livres par taille, mais incapable de les mesurer avec une règle.
- La bonne nouvelle : Si vous demandez à l'IA de classer 10 questions de la plus « facile » à la plus « difficile », elle fait un travail correct. Elle peut vous dire que la Question A est plus difficile que la Question B.
- La mauvaise nouvelle : Si vous demandez à l'IA : « Sur une échelle de 1 à 10, quelle est la difficulté de celle-ci ? », elle se trompe systématiquement. Elle pense presque toujours que les questions sont plus faciles qu'elles ne le sont réellement. C'est comme une personne qui pense qu'un marathon n'est qu'un « petit footing » parce qu'elle n'en a jamais couru un.
2. L'effet « Bandeau » (Visuels vs Texte)
De nombreuses questions d'examen comportent des images, des graphiques ou des tableaux. Comme certaines IA ne peuvent pas « voir » les images, les chercheurs ont dû décrire les images avec des mots (comme un aveugle décrivant un tableau à un ami).
- Le résultat : Lorsque l'IA devait deviner la difficulté en se basant uniquement sur la description textuelle d'une image, elle s'embrouillait. Elle était bien moins performante pour juger ces questions que pour celles qui n'étaient composées que de texte.
- L'analogie : Imaginez essayer de deviner la difficulté d'un puzzle en lisant une description des pièces, plutôt qu'en regardant le puzzle lui-même. Vous pourriez manquer un indice crucial, rendant le puzzle plus facile ou plus difficile qu'il ne l'est réellement.
3. Le piège du « Taille unique » (Contexte des élèves)
Les chercheurs ont voulu voir si l'IA pouvait ajuster sa réponse en fonction de qui passe le test. Ils ont demandé à l'IA : « À quel point est-ce difficile pour un étudiant de Finlande ? » vs « À quel point est-ce difficile pour un étudiant du Brésil ? ».
- Le résultat : L'IA changeait à peine d'avis. Elle était pour la plupart « sourde » à ces changements.
- L'analogie : Imaginez un chef qui cuisine une soupe. Si vous lui demandez : « Est-ce que cette soupe est trop salée pour un bébé ? » ou « Est-ce qu'elle est trop salée pour un bodybuilder ? », le chef se contente de hausser les épaules et dit : « C'est la même soupe ». L'IA ne comprenait pas vraiment que différents élèves ont des contextes et des niveaux de connaissances différents. Elle ne pouvait pas adapter son « indicateur de difficulté » pour correspondre à la personne.
4. Le jeu du « Prompt » (La façon de demander compte)
Les chercheurs ont essayé de poser la question de différentes manières. Parfois, ils disaient simplement : « Évalue ceci ». D'autres fois, ils disaient : « Agis comme un professeur de mathématiques, réfléchis étape par étape, puis évalue ceci ».
- Le résultat : La façon dont vous posez la question changeait considérablement la réponse. Certains prompts de « réflexion » aidaient l'IA à mieux réussir le classement, mais ils ne corrigeaient pas le problème de fait qu'elle pensait que tout était trop facile.
- L'analogie : C'est comme demander à un ami une recommandation de film. Si vous demandez « Quel est un bon film ? », il pourrait vous proposer une comédie. Si vous demandez « Quel est un bon film pour un mardi soir pluvieux ? », il pourrait vous proposer un thriller. La réponse de l'IA dépend fortement de la manière dont vous formulez la question.
La grande conclusion : L'outil de « Présélection »
L'article conclut que nous ne devrions pas traiter ces modèles d'IA comme des Oracles (des dieux omniscients qui donnent la réponse parfaite). Au lieu de cela, nous devrions les traiter comme des Filtres (un premier tri).
- La recommandation : Utilisez l'IA pour scanner rapidement un tas de nouvelles questions et dire : « Hé, celle-ci semble être peut-être trop facile, et celle-ci semble être peut-être trop difficile ».
- Le bémol : Vous ne pouvez pas faire confiance au chiffre exact de l'IA. Vous devez corriger son « biais » (lui apprendre qu'elle sous-estime la difficulté) et vous devez faire vérifier les questions par un humain, surtout celles avec des images.
En bref : L'IA est un assistant utile qui peut vous aider à trier les questions « faciles » des questions « difficiles », mais elle n'est pas prête à être le juge final de la difficulté exacte d'une question, ni prête à comprendre les besoins spécifiques de différents types d'élèves. Nous devons la calibrer et maintenir un humain dans la boucle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.