Scalable Generation and Validation of Isomorphic Physics Problems with GenAI

Résumé technique : Génération et validation évolutives de problèmes de physique isomorphes avec l'IA générative

Énoncé du problème
Les examens de physique traditionnels, synchrones et à tentative unique, font face à des défis croissants concernant la tricherie académique, l'accessibilité pour les étudiants non traditionnels et l'impossibilité de partager ouvertement des éléments d'évaluation à des fins d'entraînement. Bien que les évaluations asynchrones à tentatives multiples utilisant de vastes banques de problèmes isomorphes (éléments évaluant les mêmes concepts sous-jacents et structures de solution, mais variant par leurs caractéristiques de surface) offrent une alternative prometteuse, la création et la validation de ces banques à grande échelle restent gourmandes en ressources. La génération manuelle de variantes de haute qualité est prohibitivement coûteuse, et assurer l'uniformité psychométrique (difficulté constante) entre les variantes est difficile. La validation traditionnelle repose sur des données de réponse des étudiants, qui sont souvent rares pour les éléments individuels dans les examens randomisés et ne sont disponibles qu'après le déploiement, laissant un problème de « démarrage à froid » pour l'assurance qualité pré-déploiement.

Méthodologie
Les auteurs proposent un cadre d'IA générative (GenAI) avec intervention humaine pour la création et la validation évolutives de problèmes de physique isomorphes, spécifiquement dans le cadre de la mécanique newtonienne introductive.

1. Cadre de génération :

   • Chaînage de prompts et utilisation d'outils : Le système décompose la génération de problèmes en sous-tâches séquentielles en utilisant le chaînage de prompts. Il distingue les variations structurelles (changements pertinents pour la construction tels que les valeurs numériques, les arrangements spatiaux et les quantités d'objets) des variations contextuelles (caractéristiques de surface telles que les scénarios et la formulation).
   • Mécanismes de contrôle : Les variations structurelles sont contraintes par l'exécution de code Python (via un interpréteur d'outils) pour faire respecter les lois physiques et les limites mathématiques (par exemple, s'assurer que les forces s'équilibrent ou que les valeurs restent positives). Les variations contextuelles sont générées avec une plus grande flexibilité créative, mais guidées par des contraintes sur le niveau de lecture et la pertinence culturelle.
   • Flux de travail : Le processus consiste à identifier un modèle, à définir des composants, à générer des variantes via une chaîne de sept prompts, et à vérifier l'exactitude à l'aide de modèles de langage (LLM).

2. Construction de l'ensemble de données (ESTELA-Physics) :

   • Le cadre a produit ESTELA-Physics, un ensemble de données de 29 banques de problèmes isomorphes couvrant 12 sujets de Physique universitaire I (par exemple, cinématique, forces, énergie, quantité de mouvement).
   • L'ensemble de données contient 666 éléments individuels, formatés pour l'importation dans des systèmes de gestion de l'apprentissage (Canvas), incluant des formats de réponse numérique, à choix multiples et de catégorisation.

3. Stratégie de validation :

   • Post-déploiement (données étudiantes) : 20 banques ont été déployées lors de trois examens de mi-trimestre pour une classe de plus de 220 étudiants. L'homogénéité de la difficulté a été évaluée à l'aide de la précision au niveau de l'élément, de l'écart-type et du test exact de Fisher étendu.
   • Pré-déploiement (simulation par LM) : 17 modèles de langage (LM) open source, allant de 0,6 à 32 milliards de paramètres, ont été utilisés pour simuler les réponses des étudiants sur les mêmes banques. La précision des LM a été définie comme la proportion de modèles répondant correctement.
   • Corrélation et diagnostic : L'étude a analysé la corrélation entre la performance des LM et celle des étudiants, et a mené des études de cas sur des banques hétérogènes pour diagnostiquer les causes spécifiques de difficulté (par exemple, formulation ambiguë, contraintes négligées).

Contributions clés

1. Cadre de génération de problèmes basé sur l'IA générative : Un flux de travail reproductible avec intervention humaine, utilisant le chaînage de prompts et l'utilisation d'outils pour générer des problèmes de physique isomorphes avec un contrôle explicite sur l'intégrité structurelle et des variations contextuelles diversifiées.
2. Ressource ESTELA-Physics : Un ensemble de données public de 29 banques de problèmes isomorphes (666 éléments) couvrant 12 sujets de physique, servant de référence pour la génération et la validation isomorphes évolutives.
3. Étude de validation empirique : Une approche d'évaluation double démontrant que :
   • L'IA générative peut générer des banques avec une difficulté statistiquement homogène (75 % des banques ont passé les tests d'homogénéité utilisant des données étudiantes).
   • La simulation par LM peut servir d'outil de dépistage pré-déploiement à faible coût, identifiant 70 % des banques comme homogènes et signalant les valeurs aberrantes potentielles en termes de difficulté.
   • Les réponses des LM peuvent diagnostiquer les causes spécifiques de difficultés non intentionnelles, telles que les lacunes implicites de connaissances du monde réel, les contraintes verbales négligées et les textes de problèmes ambigus.

Résultats

• Homogénéité de la difficulté : Parmi les 20 banques déployées, 75 % ont été classées comme homogènes sur la base des données de réponse des étudiants (p > 0,05). La simulation par LM a classé 70 % des banques évaluées comme homogènes.
• Alignement LM-étudiants : La corrélation entre la performance des LM et celle des étudiants variait. Cinq des 13 banques chevauchantes ont montré un alignement positif modéré (Pearson > 0,30). L'alignement était plus fort pour les banques de difficulté modérée et les formats numériques, mais plus faible pour les questions basées sur des images ou les scénarios de performance proches du plafond.
• Capacité de diagnostic : Dans les études de cas de banques hétérogènes (6-1 et 9-1), les erreurs des LM ont permis d'identifier avec succès de véritables valeurs aberrantes de difficulté.
  • Banque 6-1 : Les LM ont révélé des échecs à appliquer des connaissances implicites du monde réel (par exemple, les forces de traînée agissant lors de l'étirement d'un filet), des conditions verbales négligées (par exemple, la distance parcourue dans une zone de boue) et un texte de problème ambigu (par exemple, des points de référence non définis pour la hauteur).
  • Banque 9-1 : Les LM ont identifié une configuration géométrique spécifique (un anneau pivotant sur son bord) qui déclenchait systématiquement des erreurs dans l'application du théorème des axes parallèles, reflétant les difficultés des étudiants.

Signification
L'article affirme que l'IA générative peut rendre pratique la génération à grande échelle de problèmes de physique isomorphes, permettant des formats d'évaluation où les banques de problèmes sont ouvertement disponibles pour l'entraînement sans compromettre la validité diagnostique. De plus, l'étude positionne la simulation basée sur les LM non pas comme un remplacement parfait de l'examen humain, mais comme un outil de dépistage pré-déploiement précieux et à faible coût. Elle peut signaler les variantes potentiellement problématiques et diagnostiquer les causes racines de l'hétérogénéité de la difficulté (telles que les ambiguïtés de formulation ou les contraintes manquées) avant que les éléments ne soient administrés aux étudiants, complétant ainsi l'examen humain traditionnel et réduisant la charge de ressources liée à la création de banques d'évaluation robustes.