Résumé technique : Vers un apprentissage durable dans l'éducation en ligne : Une approche par apprentissage par renforcement

1. Énoncé du problème

L'éducation en ligne fait face à une tension fondamentale : si elle offre une extensibilité sans précédent, elle lutte contre un faible engagement des apprenants, des taux d'abandon élevés et une faible rétention des connaissances à long terme. Les approches existantes se divisent généralement en deux catégories présentant des limites distinctes :

• Modèles prédictifs : Ils se concentrent souvent sur des objectifs à court terme, tels que la maximisation de la probabilité de réussite sur le prochain module d'apprentissage, mais échouent à optimiser l'engagement à long terme ou la rétention durable.
• Modèles d'apprentissage par renforcement (RL) : Bien qu'ils déplacent l'attention vers des récompenses à long terme, ils supposent généralement que les apprenants suivront les recommandations de manière persistante (ignorant les risques d'abandon) et privilégient l'expansion des connaissances au détriment de la révision systématique, négligeant ainsi le compromis entre l'acquisition de nouveaux concepts et le renforcement des connaissances antérieures.

Les auteurs identent la nécessité d'un système qui optimise conjointement l'engagement soutenu (prévention de l'abandon) et l'efficacité à long terme (garantie de la rétention des connaissances), en abordant les compromis inhérents entre pousser l'apprenant vers l'avant et permettre la révision nécessaire.

2. Méthodologie : Le cadre AI-Tutor

Le papier propose AI-Tutor, un système de recommandation de parcours d'apprentissage personnalisé basé sur un cadre d'apprentissage par renforcement (RL) fondé sur un modèle. Le système est conçu pour s'aligner sur les deux objectifs d'un apprentissage durable grâce à trois composantes techniques centrales :

A. Représentation par Graphe de Connaissances (KG)

Pour gérer les dépendances structurelles des connaissances, les auteurs construisent un graphe de connaissances dirigé $G=(V, E)$ où les nœuds représentent des éléments de connaissance et les arêtes représentent des relations.

• Types d'arêtes : Le graphe intègre des arêtes pilotées par le curriculum (prérequis définis par des experts) et des arêtes pilotées empiriquement (inférées à partir de données historiques via l'extraction de règles d'association pour identifier des relations de soutien latentes).
• Encodage de l'état : Un réseau de neurones sur graphe (spécifiquement Deep Graph Infomax) apprend des plongements (embeddings) pour les éléments de connaissance individuels ainsi que pour l'état de connaissance actuel de l'apprenant (représenté comme un sous-graphe d'éléments appris).
• Masquage de l'espace d'action : L'espace d'action de l'agent RL est contraint aux nœuds adjacents au sous-graphe de connaissance actuel de l'apprenant. Cela garantit que les recommandations sont pédagogiquement appropriées (adhérant à la théorie constructiviste de l'apprentissage) et informatiquement efficaces.

B. Simulateur d'Apprenant (LearnSim)

Pour éviter l'inefficacité des données et les risques de sécurité liés à l'entraînement d'agents RL directement sur des utilisateurs réels, les auteurs emploient une approche de RL fondé sur un modèle utilisant un Simulateur d'Apprenant (LearnSim).

• Architecture : LearnSim utilise une architecture Transformer pour traiter la trajectoire historique d'un apprenant.
• Prédiction multi-tâches : Il prédit simultanément trois quantités critiques pour la boucle d'entraînement du RL :
  1. Probabilité d'engagement ($p_{t}^{eng}$) : La probabilité que l'apprenant persiste après l'interaction actuelle.
  2. Probabilité de rappel ($p_{t}^{rec}$) : La probabilité que l'apprenant puisse se rappeler l'élément avant l'interaction.
  3. Force de la demi-vie ($h_{post}(t)$) : La force de mémoire mise à jour après l'interaction, utilisée pour modéliser la courbe de l'oubli.
• Entraînement : LearnSim est entraîné sur des données historiques en utilisant des pertes de cross-entropie binaire pour l'engagement/le rappel et une fonction de perte spécialisée pour l'estimation de la demi-vie basée sur les résultats de rappel futurs.

C. Optimisation de la politique RL avec la théorie cognitive

L'agent AI-Tutor utilise un cadre Acteur-Critique avec des modifications spécifiques de l'équation de Bellman standard pour répondre aux lacunes identifiées :

1. Conception de la fonction de récompense : La récompense immédiate $r_t$ est une somme pondérée de deux composantes fondées sur la théorie cognitive :

   • Gain d'acquisition de connaissances ($r_{t}^{acq}$) : Basé sur l'amélioration de la probabilité de rappel (1 - probabilité de rappel prédite pré-interaction).
   • Gain de rétention de connaissances ($r_{t}^{ret}$) : Basé sur l'augmentation de la force de mémoire de la demi-vie ($h_{post} - h_{pre}$), dérivée de la théorie de la Courbe de l'Oubli.
   • Formule : $r_t = r_{t}^{acq} + \beta r_{t}^{ret}$.

2. Estimation de la valeur sensible à l'engagement : Les auteurs révisent la fonction Q classique pour tenir compte de la nature stochastique de l'abandon de l'apprenant. Au lieu d'un facteur de remise $\gamma$ fixe, ils incorporent la probabilité d'engagement dynamique $p_{t}^{eng}$ :

   • Équation de Bellman modifiée : $Q^\pi(s_t, a_t) = r_t + p_{t}^{eng} \mathbb{E}[Q^\pi(s_{t+1}, a_{t+1})]$.
   • Cela force l'agent à équilibrer les récompenses futures potentielles avec le risque de désengagement de l'apprenant, agissant ainsi comme un "gestionnaire de risques" pour le parcours d'apprentissage.

3. Principales contributions

Le papier revendique deux contributions primaires :

1. Un nouveau cadre de RL pour l'apprentissage durable : Contrairement aux travaux antérieurs, ce cadre équilibre explicitement l'expansion des connaissances avec la rétention et incorpore l'engagement comportemental dans l'estimation de la récompense à long terme. Il traite le compromis entre le progrès académique et la motivation de l'apprenant.
2. Conception de modèle guidée par la théorie : Cette approche est parmi les premières à intégrer directement les théories du domaine (théorie de l'apprentissage constructiviste pour le masquage des actions ; théories de la Courbe de l'Oubli et de la Force de la Mémoire pour la formulation de la récompense) dans la formulation du modèle RL, plutôt que de les traiter comme des heuristiques post-hoc.

4. Résultats empiriques

Le modèle a été évalué sur un ensemble de données de 23,6 millions d'enregistrements d'apprentissage provenant de 33 700 apprenants de la plateforme d'apprentissage des langues MaiMemo (vocabulaire anglais pour l'examen d'entrée à la fin de cycle supérieur).

• Baselines (Modèles de référence) : AI-Tutor a été comparé à :

  • Myopic Greedy : Priorise la difficulté immédiate.
  • FSRSv1/v2 : Systèmes de répétition espacée standards de l'industrie (utilisant respectivement HLR et LearnSim).
  • DRL-SRS : Une approche de Deep Q-Learning pour la répétition espacée.
  • Variantes d'ablation : AI-Tutor sans modélisation de l'engagement (v1), sans masquage par KG (v2), et sans récompenses de rétention (v3).

• Métriques de performance :

  • Taux d'achèvement du cours : AI-Tutor a atteint un taux d'achèvement de 31,1 %, surpassant nettement DRL-SRS (11,2 %) et toutes les autres baselines. Cela représente une augmentation de 177,7 % par rapport à la meilleure baseline non-ablation.
  • Performance à l'examen final : AI-Tutor a obtenu un score de 55,9 %, soit une amélioration de 149,6 % par rapport à DRL-SRS (22,4 %).
  • Simulateur d'apprenant : LearnSim a surpassé les baselines standards (Régression Logistique, Random Forest, Gradient Boosting) dans la prédiction de l'engagement (améliorant la précision équilibrée de plus de 35 %) et les tâches de prédiction de la mémoire.

• Insights d'ablation :

  • La suppression de la modélisation de l'engagement (AI-Tutorv1) a provoqué la chute de performance la plus significative, confirmant la nécessité de modéliser le risque d'abandon.
  • La suppression du masquage d'action basé sur le KG (AI-Tutorv2) a conduit à des taux d'abandon plus élevés sans gains d'apprentissage.
  • La suppression des récompenses de rétention (AI-Tutorv3) a entraîné des scores plus faibles à l'examen final, soulignant l'importance de la révision systématique.

5. Signification et affirmations

Le papier conclut qu'AI-Tutor réussit à faire progresser les deux objectifs de l'apprentissage durable dans l'éducation en ligne : une rétention des connaissances efficace à long terme et un engagement soutenu de l'apprenant.

• Adaptation centrée sur l'humain : Les analyses de parcours d'apprentissage révèlent qu'AI-Tutor s'adapte dynamiquement aux profils des apprenants (par exemple, en assignant une difficulté moindre et plus de révisions pour les apprenants aux performances faibles) et équilibre le défi avec la motivation, évitant la "surcharge" observée dans les stratégies gourmandes (greedy) agressives.
• Généralisabilité : Les auteurs affirment que le cadre est adaptable à d'autres domaines au-delà de l'apprentissage des langues. Ils postulent que tout sujet possédant un graphe de connaissances structuré, des cycles de révision périodiques et des évaluations finales peut utiliser ce cadre en entraînant un LearnSim et un AI-Tutor spécifiques au domaine.
• Alignement théorique : L'étude démontre que l'intégration directe des théories de la psychologie cognitive (courbes de l'oubli, constructivisme) dans les structures de récompense et les représentations d'état du RL produit des résultats pratiques supérieurs par rapport aux approches purement basées sur les données ou sur des règles.