Not All Students Engage Alike: Multi-Institution Patterns in GenAI Tutor Use

Résumé Technique : Tous les étudiants ne s'engagent pas de la même manière : Modèles multi-institutionnels d'utilisation des tuteurs GenAI

Énoncé du problème
L'intégration rapide des tuteurs d'Intelligence Artificielle Générative (GenAI) dans l'enseignement postsecondaire offre un soutien à l'apprentissage individualisé et évolutif. Cependant, une préoccupation critique persiste : les étudiants pourraient utiliser ces outils de manière à contourner l'apprentissage véritable, comme en cherchant des raccourcis cognitifs ou en faisant du copier-coller de réponses. De plus, la littérature existante suggère que les modèles d'engagement peuvent varier considérablement selon les contextes pédagogiques (par exemple, la sélectivité institutionnelle et les disciplines de cours), ce qui pourrait exacerber les inégalités éducatives. Bien que des études antérieures aient documenté des taux d'adoption élevés et identifié des différences qualitatives d'utilisation, elles sont souvent limitées à une seule institution ou à des cours de STEM spécifiques. Il manque des preuves multi-institutionnelles à grande échelle concernant la manière dont les étudiants interagissent avec les tuteurs GenAI au fil du temps, comment ces interactions évoluent et comment elles diffèrent selon divers contextes éducatifs.

Méthodologie
Cette étude utilise un pipeline analytique en deux étapes pour examiner des journaux d'interaction anonymisés provenant d'un système de gestion de l'apprentissage (LMS) commercial intégré à un tuteur GenAI. Le jeu de données comprend les enregistrements de 11 406 étudiants répartis dans 200 classes de dix établissements postsecondaires (incluant trois universités hautement sélectives) durant le semestre du printemps 2025.

1. Prétraitement des données et segmentation des sessions :

   • Les journaux d'interaction bruts ont été segmentés en « sessions de conversation » distinctes à l'aide d'une approche hybride : un algorithme basé sur le temps (seuil d'inactivité de 15 minutes) et un algorithme basé sur le sujet (utilisant un LLM pour analyser le contenu sémantique). Ce processus a généré 113 255 sessions de conversation.
   • La segmentation a été validée par rapport à un sous-ensemble de journaux d'activités d'apprentissage spécifiques (ex. : problèmes de quiz), atteignant un score F1 de 0,9.

2. Ingénierie des caractéristiques (Feature Engineering) :

   • Dix caractéristiques ont été élaborées pour caractériser les sessions à travers trois dimensions :
     • Comportementale : Nombre de tours de conversation, durée moyenne par tour et nombre moyen de mots par tour.
     • Cognitive : Nombre d'événements de copier-coller (déduits des téléchargements d'images, de mots-clés spécifiques et de modèles de texte structurés), nombre de demandes de réponses directes et nombre de requêtes orientées vers la compréhension.
     • Temporelle : Progression de la semaine, indicateur de période d'examen, moment de la journée et indicateur de présence en classe.

3. Pipeline analytique :

   • Étape 1 (Clustering au niveau de la session) : Un partitionnement K-means (avec réduction de dimension par PCA) a été appliqué aux caractéristiques de niveau session pour identifier des types d'engagement distincts. Des tests de robustesse ont confirmé la stabilité des clusters résultants.
   • Étape 2 (Process Mining au niveau de l'étudiant) : Un modèle de Markov de premier ordre (FOMM) a été employé pour analyser les probabilités de transition entre les types d'engagement au fil du temps pour les étudiants individuels. Cela a permis de caractériser les modèles d'engagement longitudinaux.
   • Analyse contextuelle : Des modèles de régression linéaire et du process mining comparatif ont été utilisés pour évaluer les variations selon la sélectivité institutionnelle et les disciplines de cours (STEM vs non-STEM).

Résultats clés

• Adoption et intensité d'utilisation : 60,8 % des étudiants ont interagi avec le tuteur GenAI au moins une fois. L'intensité d'utilisation (nombre de sessions) a augmenté régulièrement au cours du semestre, même si le nombre total d'utilisateurs actifs a diminué, indiquant un passage vers une utilisation plus intensive par un sous-groupe d'étudiants. Les étudiants en STEM étaient significativement moins susceptibles d'adopter l'outil et ont engagé moins de sessions que les étudiants non-STEM. La sélectivité institutionnelle n'a pas prédit de manière significative les taux d'adoption ou l'intensité globale de l'utilisation.

• Quatre types d'engagement distincts au niveau de la session :

  1. Engagement profond (14,0 %) : Caractérisé par un engagement comportemental et cognitif élevé (nombreux tours, longue durée, nombre de mots élevé, requêtes orientées vers la compréhension). Distribué uniformément tout au long du semestre.
  2. Engagement superficiel (10,4 %) : Caractérisé par peu de tours, une courte durée, un faible nombre de mots et une forte prévalence de copier-coller et de demandes de réponses directes. Distribué uniformément tout au long du semestre.
  3. Engagement d'apprentissage de routine (44,5 %) : Survenu principalement pendant la journée et durant la première moitié du semestre. Implique des nombres de mots modérés et des requêtes orientées vers la compréhension, suggérant un lien avec les activités de classe de routine.
  4. Engagement lié aux examens (31,2 %) : Concentré dans les dernières semaines du semestre. Implique des sessions courtes avec un minimum de copier-coller, suggérant une utilisation pour une préparation réelle aux examens plutôt que pour des raccourcis lors des devoirs.

• Modèles de transition au niveau de l'étudiant :

  • Cycle d'engagement profond : Les étudiants dans ce cycle ont fréquemment transité entre l'engagement profond, de routine et lié aux examens, mais sont rarement passés à l'engagement superficiel.
  • Cycle d'engagement superficiel : Ces étudiants ont tendance à rester dans un engagement superficiel avec des transitions très limitées vers d'autres types.
  • Cycles de routine et d'examens : Les apprenants de routine ont souvent transité vers l'engagement profond, tandis que les utilisateurs liés aux examens ont occasionnellement transité vers l'engagement profond.

• Variations contextuelles :

  • Sélectivité institutionnelle : Les étudiants issus d'institutions hautement sélectives présentaient des proportions significativement plus élevées d'engagement profond et d'apprentissage de routine, et des proportions plus faibles d'engagement lié aux examens par rapport aux institutions moins sélectives. De plus, les étudiants des institutions sélectives étaient plus susceptibles de transiter de manière flexible entre les types d'engagement, tandis que ceux des institutions moins sélectives étaient plus susceptibles de rester dans des cycles superficiels ou liés aux examens.
  • Discipline : Les cours de STEM présentaient des proportions plus élevées d'engagement superficiel et de routine, tandis que les cours non-STEM présentaient un engagement lié aux examens plus élevé. En STEM, l'engagement superficiel était souvent lié à l'apprentissage de routine et se terminait rapidement ; en non-STEM, il était davantage associé à la préparation aux examens et persistait plus longtemps.

Contributions clés

1. Preuves empiriques à grande échelle : L'étude fournit la première analyse multi-institutionnelle à grande échelle de l'engagement avec les tuteurs GenAI, dépassant les études de cas sur un seul cours ou une seule institution pour révéler des variations systématiques à travers les contextes institutionnels et disciplinaires.
2. Cadre analytique : Les auteurs proposent un cadre d'analyse de l'apprentissage en deux étapes qui combine le clustering au niveau de la session avec le process mining au niveau de l'étudiant. Cette approche capture efficacement la nature qualitative des interactions individuelles ainsi que l'évolution dynamique des comportements des étudiants au fil du temps.
3. Compréhension nuancée de l'engagement : La recherche remet en question la vision binaire de l'utilisation de la GenAI (apprentissage vs triche). Elle démontre que les comportements « superficiels » (comme le copier-coller) ne sont pas le mode d'utilisation dominant et sont moins fréquents lors de la préparation aux examens à enjeux élevés. Au lieu de cela, l'engagement est un mélange hétérogène de comportements profonds, de routine et liés aux examens.

Signification et affirmations
L'article affirme que le principal défi d'équité dans l'adoption de la GenAI ne réside pas dans l'accès ou l'intensité d'utilisation, mais plutôt dans la manière dont les étudiants s'engagent avec les outils. Les résultats suggèrent que les étudiants des institutions hautement sélectives sont plus susceptibles d'intégrer la GenAI dans des processus d'apprentissage profonds et de routine, tandis que les étudiants des institutions moins sélectives peuvent être plus enclins à rester « bloqués » dans des cycles superficiels ou de révision intensive pour les examens. Cette disparité peut être liée à des différences dans les compétences d'apprentissage autorégulé.

Les auteurs soutiennent que les tuteurs GenAI ne sont pas une solution « universelle ». La variation significative des modèles d'engagement entre les disciplines STEM et non-STEM indique que l'efficacité de ces outils dépend fortement de la conception pédagogique et des structures d'évaluation disciplinaires. Par conséquent, les auteurs préconisent des conceptions sensibles aux disciplines et des réglementations institutionnelles qui soutiennent l'engagement productif plutôt que de se concentrer simplement sur l'accès. L'étude conclut que la compréhension de la qualité et de la trajectoire de l'engagement est essentielle pour le déploiement responsable de la GenAI dans l'éducation.