Résumé Technique : KT4EQG

Énoncé du Problème

La Génération de Questions Éducatives (EQG) vise à synthétiser des questions d'exercices personnalisées pour améliorer l'apprentissage des élèves. Bien que les approches EQG existantes aient réalisé des progrès en matière de qualité textuelle, de format et de contrôle de la difficulté, elles manquent largement de personnalisation fine. La plupart des systèmes actuels ne modélisent pas efficacement l'état de connaissances spécifique d'un élève pour déterminer quelles questions apporteraient le plus grand bénéfice pédagogique. Par conséquent, les questions générées peuvent être trop triviales, trop difficiles, ou se concentrer sur du matériel que l'élève a déjà maîtrisé.

Le défi central abordé dans cet article est la manière d'intégrer le Suivi des Connaissances (KT) — une méthode qui modélise l'état de connaissances évolutif d'un élève basé sur ses performances historiques — dans le processus d'EQG. L'objectif est de dépasser la sélection de questions dans un pool fixe (comme dans les systèmes de recommandation) pour générer de nouvelles questions, diversifiées et spécifiquement adaptées aux besoins d'apprentissage actuels et aux lacunes de connaissances de l'élève.

Méthodologie : Cadre KT4EQG

Les auteurs proposent KT4EQG, un cadre EQG personnalisé qui décompose la tâche de génération en deux étapes d'optimisation distinctes : la sélection du concept de connaissance (KC) optimal et la génération d'une question alignée sur ce concept.

1. Formulation de la Tâche et Objectif

L'objectif est de générer une question $x_{t^*}$ qui maximise la maîtrise globale des connaissances de l'élève après la pratique. Les auteurs définissent le progrès d'apprentissage comme la somme des probabilités de maîtrise sur l'ensemble des concepts de connaissances $C$.
$$\max_{x_{t^*}} \sum_{c \in C} p(K_c = 1 | H, X_{t^*} = x_{t^*}, A_{t^*} = 1)$$
où $H$ représente les données de pratique historiques, et $A_{t^*}=1$ suppose que l'élève répond correctement à la nouvelle question (traitant les exercices comme des opportunités d'apprentissage plutôt que comme des évaluations ponctuelles).

2. Optimisation en Deux Étapes

Les auteurs décomposent la fonction objectif en deux termes : Valeur Éducative et Alignement.
$$\max_{x_{t^*}, c_{t^*}} \left[ \underbrace{\sum_{c \in C} p(K_c = 1 | H, \psi(X_{t^*}) = c_{t^*}, A_{t^*} = 1)}_{\text{Valeur Éducative}} \cdot \underbrace{\mathbb{1}[\psi(x_{t^*}) = c_{t^*}]}_{\text{Alignement}} \right]$$

Étape 1 : Maximisation de la Valeur Éducative (Sélection du Concept)

• Mécanisme : Le cadre utilise un Traceur de Connaissances (KT2) pour estimer la « valeur éducative » de la pratique de chaque KC candidat. Cette valeur représente l'amélioration potentielle de la maîtrise globale des connaissances de l'élève s'il pratiquait ce concept spécifique.
• Processus : Une recherche exhaustive est effectuée sur tous les KC candidats. Le modèle KT2, basé sur une structure d'arbre de Markov caché, calcule la distribution a posteriori des états de connaissances. Le KC qui produit la somme la plus élevée de probabilités de mise à jour de la maîtrise sur tous les concepts est sélectionné comme concept cible $c_{t^*}$.

Étape 2 : Maximisation de l'Alignement (Génération de Questions)

Une fois le KC optimal $c_{t^*}$ sélectionné, un générateur de Modèle de Langage (LLM) est chargé de produire une question $x_{t^*}$ qui teste fidèlement ce concept. Cela est réalisé grâce à un processus d'entraînement en deux phases :

1. Affinement Supervisé (SFT) : Un LLM textuel (QWEN3-8B) est affiné sur un ensemble de données de paires question-concept pour apprendre la correspondance de base entre un KC et une question.
2. Apprentissage par Renforcement (RL) avec Récompense d'Alignement : Le modèle est ensuite optimisé par RL. Le signal de récompense est fourni par un Vérificateur Question-Concept ($g_\phi$).
   • Entraînement du Vérificateur : Le vérificateur est entraîné en utilisant un objectif de contraste de style InfoNCE pour mapper les questions et les concepts dans un espace d'incorporation partagé, garantissant que les paires alignées sont plus proches que les paires non alignées.
   • Calcul de la Récompense : La récompense d'alignement $R_{align}$ est calculée en fonction de la similarité entre la question générée et le KC cible dans l'espace d'incorporation, standardisée pour la stabilité numérique.

Contributions Clés

1. Intégration de KT et EQG : L'article propose le premier cadre intégrant explicitement le suivi des connaissances dans la boucle de génération de l'EQG, allant au-delà de la simple recommandation ou de l'adaptation grossière de la difficulté.
2. Optimisation Décomposée : Les auteurs introduisent une décomposition novatrice de l'objectif EQG en « Valeur Éducative » (déterminée par le modèle KT) et « Alignement Question-Concept » (déterminé par un vérificateur appris).
3. Pipeline d'Entraînement : Le développement d'un pipeline d'entraînement en deux étapes (SFT + RL avec un vérificateur d'alignement contrastif) pour garantir que les questions générées sont non seulement fluides, mais aussi sémantiquement ancrées dans le concept de connaissance sélectionné.
4. Politique Adaptative : Le cadre produit naturellement une politique adaptative où les KC sélectionnés évoluent en fonction du niveau de maîtrise actuel de l'élève (par exemple, sélectionner des concepts plus faciles pour les élèves en difficulté et des concepts plus difficiles pour les élèves avancés).

Résultats Expérimentaux

Le cadre a été évalué sur deux ensembles de données : XES3G5M (arbres KC annotés par des experts) et MOOCRADAR (arbres KC construits par LLM).

• Performance : KT4EQG a constamment obtenu les Scores d'Examen les plus élevés (prédiction moyenne de justesse sur un ensemble de test retenu) sur tous les modules de connaissances dans les deux ensembles de données, surpassant les références incluant des LLM standards (QWEN3-8B), des générateurs mathématiques spécialisés (ScaleQuest) et des méthodes de synthèse de prompts conditionnés par le concept (PromptCoT-2.0).
• Comparaison avec l'Oracle : Bien que fournir aux références une sélection de concepts « Oracle » (le meilleur KC possible choisi par KT2) ait considérablement amélioré leurs performances, KT4EQG les a tout de même surpassées. Cela indique que le générateur entraîné à l'alignement du cadre produit des questions de meilleure qualité pour le concept cible que les générateurs standards, même lorsque la sélection de concept est parfaite.
• Répondabilité : Les questions générées ont maintenu des taux de répondabilité élevés (comparables au LLM de base), démontrant que l'optimisation de la valeur éducative n'a pas compromis la résolubilité ou la qualité des questions.
• Études d'Ablation :
  • Le retrait de la phase d'alignement RL a entraîné des scores d'alignement ($R_{align}$) plus faibles, confirmant la nécessité de l'étape d'apprentissage par renforcement.
  • L'analyse des tours de pratique a montré que les méthodes avec une sélection de concepts efficace (comme KT4EQG) présentaient des gains d'apprentissage cumulatifs plus importants à mesure que le nombre de tours de pratique augmentait, tandis que les méthodes avec une sélection de concepts aléatoire ou médiocre montraient des rendements décroissants.

Signification et Revendications

L'article affirme que KT4EQG démontre le potentiel de l'intégration du suivi des connaissances avec la génération de questions pour soutenir la personnalisation dans les systèmes éducatifs.

• Bénéfice Pédagogique : Le système génère des questions qui sont à la fois alignées sur le concept et bénéfiques pour l'apprentissage de l'élève, comblant le fossé où les systèmes EQG existants échouent à modéliser les états de connaissances individuels.
• Évolutivité : Le cadre s'avère efficace même sur des ensembles de données sans structures arborescentes annotées par des humains (en utilisant des arbres construits par LLM), suggérant une applicabilité large.
• Portée Modeste : Les auteurs positionnent ce travail comme une étape vers la personnalisation fine. Ils reconnaissent que, bien que le cadre améliore la sélection et la génération de questions, la mesure ultime du succès est le progrès d'apprentissage de l'élève, qui est ici simulé via des modèles de suivi des connaissances. Le travail ne prétend pas remplacer les éducateurs humains, mais plutôt fournir un outil pour générer du matériel de pratique hautement ciblé.