💻 computer science

Engagement Intensity as a Learner-Modeling Signal for Adaptive AI Ethics Instruction

Cette étude démontre que, parmi les stagiaires diplômés, la fréquence d'utilisation autodéclarée des LLM est un prédicteur plus cohérent et efficace des perceptions de l'éthique de l'IA pré-instruction que les cours antérieurs ou la familiarité auto-évaluée, suggérant que des signaux comportementaux simples peuvent informer efficacement une éducation adaptative à l'éthique de l'IA.

Auteurs originaux : Yongkyung Oh, Lynn Talton, Alex Bui

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongkyung Oh, Lynn Talton, Alex Bui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef préparant un cours de cuisine spécial pour un groupe de chefs aspirants. Vous savez que certains d'entre eux n'ont jamais touché un couteau, tandis que d'autres cuisinent depuis des années. Pour leur enseigner efficacement, vous devez savoir d'où ils partent.

Ce document traite de la meilleure façon de demander aux étudiants : « Quel est votre niveau d'expérience avec l'IA ? » avant de leur enseigner l'éthique de l'IA. Les chercheurs voulaient savoir : Quelle question nous donne l'image la plus fidèle du point de départ d'un étudiant ?

Ils ont testé trois façons différentes de s'enquérir de l'expérience :

La question du « CV » : « Avez-vous déjà suivi un cours ou un atelier sur l'IA ? »
La question de la « Confiance » : « Sur une échelle de 1 à 5, à quel point vous sentez-vous familier avec l'IA ? »
La question de l'« Action » : « À quelle fréquence utilisez-vous réellement des outils d'IA ? »

Voici ce qu'ils ont trouvé, en utilisant des analogies simples :

1. Le « CV » était une mauvaise carte

Les chercheurs ont demandé aux étudiants s'ils avaient assisté à des cours ou des ateliers sur l'IA. Ils s'attendaient à ce que ce soit un signal fort.

Le résultat : C'était comme demander à un voyageur : « Êtes-vous déjà allé à Paris ? » et supposer que, s'il a répondu « oui », il sait naviguer dans les rues. Il s'est avéré que le simple fait d'avoir un « billet » (suivre un cours) ne disait pas grand-chose aux enseignants sur ce que les étudiants ressentaient réellement vis-à-vis de l'IA ou sur la façon dont ils prévoyaient de l'utiliser. Les données montraient aucun lien clair entre le fait d'avoir suivi un cours et les opinions actuelles des étudiants sur l'IA.

2. La question de l'« Action » était la meilleure boussole

Les chercheurs ont observé la fréquence à laquelle les étudiants utilisaient réellement l'IA (de « Jamais » à « Quotidiennement »).

Le résultat : C'était le signal le plus puissant. C'était comme demander à un conducteur : « Combien de kilomètres avez-vous parcouru cette année ? » La réponse prédisait parfaitement leurs habitudes de conduite et leur confiance.
- Les étudiants qui utilisaient l'IA quotidiennement avaient des points de vue très différents de ceux qui ne l'utilisaient jamais.
- Plus précisément, les utilisateurs intensifs faisaient davantage confiance à l'IA pour les faits généraux, se sentaient plus capables de repérer les fausses informations et étaient moins préoccupés par l'idée que l'IA nuise à leurs capacités de réflexion critique.
- Même les étudiants qui utilisaient l'IA « occasionnellement » montraient un bond de confiance net par rapport à ceux qui ne l'utilisaient jamais.

3. Le contrôle de la « Confiance » était un bon deuxième avis

La question « À quel point vous sentez-vous familier ? » était utile, mais pas aussi parfaite que la question « À quelle fréquence utilisez-vous l'outil ? ».

Le résultat : Elle fonctionnait bien pour certaines choses (comme repérer les fausses nouvelles ou faire confiance à l'IA pour des tâches complexes), mais elle était un peu floue pour d'autres. C'est comme un passager qui dit : « J'ai l'impression de connaître le chemin », ce qui est souvent vrai, mais le kilométrage réel du conducteur (la fréquence d'utilisation) raconte une histoire plus cohérente.

La surprise du « Seuil »

Une découverte intéressante est que le changement ne s'est pas produit progressivement comme une rampe. Au contraire, cela ressemblait davantage à un interrupteur.

Si vous n'aviez jamais utilisé l'IA, vos opinions étaient d'une certaine manière.
Dès que vous commenciez à l'utiliser, même un peu, vos opinions changeaient de manière significative.
Cependant, pour certaines craintes spécifiques (comme « L'IA va-t-elle me rendre paresseux ? »), le changement ne se produisait que chez les utilisateurs quotidiens intensifs.

Pourquoi est-ce important ?

Les chercheurs suggèrent que si vous concevez un cours pour enseigner l'éthique de l'IA, ne vous contentez pas de regarder le relevé de notes d'un étudiant pour voir s'il a suivi un cours. À la place, posez-lui une question simple : « À quelle fréquence utilisez-vous l'IA ? »

S'ils disent « Jamais » : Ils ont probablement besoin d'une introduction de base sur ce qu'est l'IA et pourquoi elle est importante.
S'ils disent « Quotidiennement » : Ils connaissent déjà les bases. Ils pourraient avoir besoin d'une leçon d'un autre type, axée sur les dangers de la confiance excessive envers l'IA ou sur la détection de ses échecs, car ils semblent moins préoccupés par ces risques qu'ils ne devraient l'être.

L'essentiel

En bref, ce que vous faites (utiliser l'outil) est un bien meilleur prédicteur de ce que vous pensez et ressentez que ce que vous avez étudié (suivre un cours) ou le niveau de confiance que vous ressentez. Pour les enseignants qui cherchent à personnaliser leurs leçons, interroger sur les habitudes d'utilisation réelle est le moyen le plus simple et le plus efficace de regrouper les étudiants avant le début du cours.

Note : Le document est un instantané dans le temps (une enquête) et ne prouve pas que changer le style d'enseignement basé sur ces réponses améliorera certainement l'apprentissage des étudiants — cela nécessiterait une expérience future. Il indique simplement que ce sont les meilleures questions à poser pour comprendre les étudiants actuellement.

Résumé technique : L'intensité de l'engagement comme signal de modélisation de l'apprenant pour une instruction adaptative en éthique de l'IA

Énoncé du problème
Les stagiaires de troisième cycle entrant dans une instruction sur l'éthique de l'IA possèdent des expériences préalables hétérogènes avec les modèles de langage de grande taille (LLM) et des perceptions variables de leurs capacités. Bien que les cadres établis de littératie en IA mettent l'accent sur une instruction centrée sur l'apprenant, il existe un manque de preuves empiriques concernant les caractéristiques d'entrée (intake) qui différencient le mieux les apprenants pour informer la personnalisation de l'instruction. Des indicateurs intuitifs tels que les cours antérieurs ou la participation à des ateliers n'ont pas été rigoureusement testés par rapport aux signaux comportementaux pour déterminer s'ils capturent la variation nécessaire à une conception adaptative dans les contextes de recherche de troisième cycle.

Méthodologie
L'étude a analysé les données d'enquête pré-instruction de 93 stagiaires de troisième cycle et postdoctoraux en biosciences inscrits à un cours obligatoire de conduite responsable de la recherche (RCR) à l'UCLA. La recherche a évalué trois caractéristiques d'entrée candidates :

Fréquence d'utilisation autodéclarée (ordinale, 5 niveaux : Jamais à Quotidiennement).
Familiarité avec les LLM auto-évaluée (ordinale, 5 niveaux : Pas du tout à Très élevé).
Éducation préalable en IA (catégorielle : Formelle, Informelle ou Aucune).

Ces caractéristiques ont été testées contre cinq résultats de perception focaux, chacun mesuré sur une échelle de Likert en cinq points :

Confiance dans l'exactitude (croyance en l'exactitude des LLM pour l'information scientifique générale).
Capacité de distinction (capacité à séparer les sorties factuelles des sorties incorrectes des LLM).
Confiance dans les tâches complexes (confiance dans les LLM pour les concepts éthiques ou scientifiques nuancés).
Risque de pensée critique (croyance que la dépendance excessive nuit à la pensée critique).
Intérêt pour la formation (intérêt pour une formation formelle sur les LLM).

L'analyse statistique a employé des corrélations de Spearman pour les prédicteurs ordinaux (fréquence d'utilisation et familiarité) et des tests $H$ de Kruskal–Wallis pour le prédicteur catégoriel. Pour traiter les comparaisons multiples, la correction de Holm a été appliquée à travers les cinq résultats au sein de chaque famille de prédicteurs. Les tailles d'effet pour les contrastes binaires ont été résumées à l'aide du $\delta$ de Cliff.

Résultats clés
L'analyse a révélé des hiérarchies distinctes dans le pouvoir prédictif des caractéristiques d'entrée :

Fréquence d'utilisation : Cette caractéristique a démontré les associations les plus fortes et les plus cohérentes, survivant à la correction de Holm pour les cinq résultats. Elle a montré les tailles d'effet les plus importantes pour la confiance dans les tâches complexes ( $\rho = .409$ ), la confiance dans l'exactitude ( $\rho = .370$ ) et le risque de pensée critique ( $\rho = -.346$ ).
Familiarité auto-évaluée : Celle-ci a servi de signal secondaire significatif mais plus faible, survivant à la correction de Holm pour trois résultats : la capacité de distinction, la confiance dans les tâches complexes et le risque de pensée critique. Le profil d'association était « ancré par le bas », montrant une séparation claire au bas de l'échelle (non-familier vs légèrement familier) mais présentant souvent des médianes identiques pour les niveaux de familiarité plus élevés.
Éducation préalable en IA : Ni le codage en trois groupes (Formelle/Informelle/Aucune) ni le codage réduit en deux groupes (Tout antécédent vs Aucun) n'ont produit d'associations statistiquement significatives avec l'un des cinq résultats après la correction de Holm. Les tailles d'effet les plus importantes étaient négligeables (Cliff's $|\delta| < .19$ ).

Une découverte notable est l'association négative entre l'usage/la familiarité et le risque de pensée critique ; les utilisateurs intensifs et ceux se sentant plus familiers avec l'outil ont rapporté moins d'inquiétudes concernant l'impact de la dépendance excessive sur la pensée critique.

Contributions clés

Validation comparative des caractéristiques d'entrée : L'étude démontre empiriquement que les signaux comportementaux simples (fréquence d'utilisation rapportée) et les signaux de perception de soi (familiarité) sont plus informatifs pour la segmentation pré-instruction que les étiquettes d'historique éducatif (cours antérieurs/ateliers) dans une cohorte de biosciences de troisième cycle.
Identification des effets de seuil : Les données suggèrent un modèle de type seuil plutôt qu'un gradient uniforme, particulièrement pour l'intérêt de formation et la confiance dans l'exactitude, où la distinction entre les non-utilisateurs et tout utilisateur soutenu est plus prononcée que les différences entre les divers niveaux d'utilisation fréquente.
Problèmes de calibration : Les résultats mettent en évidence un problème potentiel de calibration où les apprenants hautement engagés (utilisation/familiarité élevée) présentent une sensibilité moindre aux risques de dépendance excessive, suggérant un besoin d'interventions pédagogiques ciblées pour ce sous-groupe.

Signification et affirmations
L'article affirme qu'un profilage d'entrée léger pour l'éducation éthique de l'IA adaptative peut être réalisé efficacement grâce à de courtes enquêtes pré-instruction qui privilégient l'utilisation rapportée des LLM et la familiarité auto-évaluée par rapport à l'historique éducatif traditionnel. Les auteurs soutiennent que ces signaux comportementaux et de perception de soi fournissent une base plus fiable pour distinguer les apprenants qui pourraient nécessiter une orientation de base de ceux qui pourraient bénéficier d'un travail de calibration sur la confiance, la dépendance excessive et les modes de défaillance.

L'étude se positionne explicitement comme étant associatrice et transversale, notant que la nature de mesure par auto-déclaration à item unique empêche toute affirmation de causalité ou de fiabilité multi-items. Les auteurs concluent que bien que ces signaux soient utiles pour le groupement au niveau de l'entrée, des études d'intervention futures sont nécessaires pour déterminer si une telle instruction différenciée améliore réellement les résultats d'apprentissage.