Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students' Regulation of LLM Use in a Science Task

Résumé technique : Enseigner aux élèves à questionner la machine

Problématique
L'intelligence artificielle générative (IA générative) et les modèles de langage étendus (LLM) s'intègrent rapidement dans les pratiques d'apprentissage des élèves, particulièrement dans les contextes STEM. Bien que ces outils offrent des opportunités de soutien adaptatif, ils présentent un risque de « délestage cognitif » (cognitive offloading), où les élèves délèguent les étapes de raisonnement au modèle plutôt que de s'engager dans une évaluation critique ou une enquête auto-régulée. Il existe un fossé critique dans la compréhension de la manière de soutenir la dimension appliquée de la littératie en IA au collège : la capacité de surveiller les prompts, d'évaluer les réponses et de décider quand réviser, rejeter ou poursuivre une interaction. Les recherches antérieures indiquent que les élèves du secondaire ont souvent du mal à sélectionner des prompts efficaces ou à contester des réponses insatisfaisantes, pourtant les preuves issues de classes contrôlées sur des interventions brèves et évolutives visant à remédier à ces déficits de régulation comportementale restent limitées.

Méthodologie
Les auteurs ont mené une étude quasi expérimentale en classe auprès de 116 élèves (classes de 4ème et 3ème, âgés de 13 à 15 ans) dans un collège français. En raison de contraintes d'emploi du temps, la randomisation individuelle n'était pas réalisable ; les élèves ont été affectés aux conditions au niveau de la classe.

• Intervention : Le groupe d'intervention a assisté à un atelier de littératie en IA de deux heures deux jours avant la phase de test. L'atelier combinait un contenu conceptuel (comment les LLM fonctionnent et échouent) avec des activités pratiques axées sur la préservation de l'agentivité de l'élève. Crucialement, l'atelier n'a pas fait pratiquer les tâches scientifiques spécifiques utilisées dans l'expérience. Au lieu de cela, il a formé les élèves à évaluer si les prompts initiaux étaient alignés avec les objectifs de la tâche, si les réponses satisfaisaient ces objectifs, et comment réviser les prompts ou poser des questions de suivi.
• Contrôle : Le groupe de contrôle a effectué la même session de test sans assister à l'atelier.
• Tâche : Les deux groupes ont complété six tâches de résolution de problèmes scientifiques en utilisant un LLM. Pour chaque tâche, les élèves étaient confrontés à un prompt suggéré qui était soit bien spécifié (contenant des éléments contextuels clés), soit sous-spécifié (omettant des informations critiques). Les élèves décidaient d'accepter le prompt, interagissaient avec le LLM, évaluaient la réponse, demandaient optionnellement une question de suivi, et rédigeaient une réponse finale.
• Mesures :
  • Indicateurs comportementaux : Acceptation du prompt (contrôle au niveau de la requête), jugements de correction des réponses de l'IA (évaluation de la réponse) et taux de questions de suivi (contrôle de l'interaction).
  • Performance : Qualité de la réponse finale notée sur une rubrique de 0 à 2, agrégée sur une échelle de 0 à 20.
  • Auto-évaluations : Questionnaires pré- et post-atelier mesurant les perceptions de l'IA générative (attitude, confiance, éthique, etc.) et la conscience métacognitive générale (Jr. MAI).
• Analyse : Des modèles linéaires généralisés (GLM) avec erreurs types robustes au niveau des clusters ont été utilisés pour les indicateurs comportementaux. La performance finale aux tâches a été analysée à l'aide de tests de Mann–Whitney. Des indices de détection du signal ($d'$ et $\beta$) ont été calculés pour mesurer la discrimination des prompts. GPT-4o a été utilisé comme « LLM-juge » pour la notation, validé par rapport à des annotateurs humains.

Contributions clés

1. Focus comportemental : L'étude opérationnalise la littératie en IA non pas simplement comme une connaissance déclarative, mais comme une « régulation de l'interaction avec le LLM » — un processus de surveillance et de contrôle au niveau de la tâche spécifique à l'IA générative.
2. Conception de l'intervention : Elle démontre qu'un atelier de deux heures, réalisable en classe, peut cibler des compétences de régulation appliquée (maintien de l'agentivité) plutôt que de simples connaissances conceptuelles, sans pour autant faire pratiquer le contenu spécifique du test.
3. Rigueur méthodologique : L'étude emploie des contrôles statistiques robustes, incluant la théorie de la détection du signal pour séparer la sensibilité du biais de réponse, et valide la notation automatisée par rapport à des annotateurs humains.

Résultats

• Comportements de régulation : Les élèves du groupe d'intervention ont présenté des comportements d'interaction nettement plus adaptatifs que le groupe de contrôle :
  • Ils étaient moins susceptibles d'accepter des prompts sous-spécifiés (51,5 % contre 66,7 %).
  • Leurs jugements de correction étaient plus sensibles à la spécification du prompt (effet d'interaction significatif).
  • Ils posaient des questions de suivi nettement plus souvent après avoir accepté des prompts sous-spécifiés (59,2 % contre 27,9 %).
• Performance aux tâches : Le groupe d'intervention a obtenu des scores de performance finale légèrement plus élevés (Moyenne = 11,38) que le groupe de contrôle (Moyenne = 10,29), bien que les scores absolus soient restés limités pour les deux groupes.
• Mécanisme d'action : L'analyse de la détection du signal a révélé que, bien que la sensibilité ($d'$) à la qualité du prompt soit numériquement plus élevée dans le groupe d'intervention, elle n'était pas statistiquement significative. Cependant, le lien entre remarquer un problème (discrimination du prompt) et prendre une action de régulation (reformulation ou questions de suivi) était plus fort dans le groupe d'intervention.
• Auto-évaluations vs Comportement : Ni les auto-évaluations sur l'IA générative ni les scores de conscience métacognitive générale n'ont prédit de manière robuste la régulation comportementale ou la performance finale aux tâches. De plus, l'atelier n'a produit que des changements faibles et non significatifs dans les attitudes auto-déclarées, suggérant que les changements comportementaux peuvent se produire sans changement immédiat de la compétence perçue.

Signification et affirmations
L'article affirme qu'une instruction de littératie en IA brève et réalisable en classe peut façonner la régulation à court terme des élèves du secondaire lors de la résolution de problèmes assistée par LLM. Les auteurs soulignent que l'atelier a réussi à transférer une « posture de régulation » — garder l'agentivité sur le prompting et l'évaluation — à de nouvelles tâches.

Cependant, les auteurs restent modestes dans leurs conclusions :

• L'étude démontre une amélioration de la régulation pendant la tâche, et non des gains d'apprentissage durables ou une rétention à long terme.
• L'amélioration modeste des scores finaux indique que l'accès à l'IA générative seul est insuffisant pour obtenir des réponses de haute qualité ; les élèves font toujours face à des défis importants pour synthétiser l'information et évaluer les sorties du modèle.
• Les résultats suggèrent que les mesures d'auto-évaluation sont de mauvais indicateurs de la littératie appliquée en IA et que l'éducation future devrait privilégier les mesures comportementales et les compétences de régulation pratique plutôt que la seule connaissance déclarative.
• L'étude souligne la nécessité de recherches à plus long terme pour déterminer si ces habitudes de régulation se transfèrent à de nouveaux domaines et persistent dans le temps.