📄 medicine

Measuring AI Readiness in Health Professions Education: Development and Validation of the AI Competence and Preparedness Evaluation Resource (AICPER)

Cette étude présente le développement et la validation psychométrique rigoureuse de l'AICPER, un instrument multidimensionnel conçu pour évaluer les perceptions des apprenants en professions de la santé vis-à-vis de l'IA à travers les domaines fonctionnels, éthiques et éducatifs, démontrant une forte fiabilité et une validité structurelle à travers les programmes de soins infirmiers, de pharmacie et de santé publique.

Auteurs originaux : Divya Kewalramani, Oluwaseun J. Adeyemi, Stuti Shah, Justin L. Benton, Dylan R. Nieman, Advaith Bongu, Nell Maloney Patel, Archana Pradhan, Laura Sclafani, Joseph A. Barone, Christine Repsha, Steven G

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Divya Kewalramani, Oluwaseun J. Adeyemi, Stuti Shah, Justin L. Benton, Dylan R. Nieman, Advaith Bongu, Nell Maloney Patel, Archana Pradhan, Laura Sclafani, Joseph A. Barone, Christine Repsha, Steven Glogocheski, Angela R. Starkweather, Laura E. Liang, Claire Brown, Perry N. Halkitis, Amy P. Murtha, Mayur Narayan

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à toute une école de futurs médecins, d'infirmiers et d'experts en santé publique comment utiliser un nouvel assistant robotique super intelligent. Avant de pouvoir construire le manuel de formation parfait, vous devez savoir exactement ce que les étudiants pensent du robot. L'adorent-ils ? Ont-ils peur qu'il commette des erreurs ? Pensent-ils que c'est de la triche s'ils l'utilisent pour leurs devoirs ?

Pendant longtemps, les outils utilisés pour poser ces questions étaient un peu comme utiliser une règle pour mesurer la température : ils ne convenaient pas du tout à la tâche. Ils étaient souvent trop simples, se concentraient uniquement sur un type d'étudiant ou avaient été rédigés avant l'explosion de l'« IA générative » (le type d'IA qui écrit des essais et crée des images).

Entrez en scène l'AICPER. Considérez cela comme un tout nouveau « thermomètre d'attitude face à l'IA » de haute technologie, conçu spécifiquement pour les étudiants en santé aux États-Unis. Une équipe de chercheurs de l'Université Rutgers a conçu cet outil pour voir exactement ce que les étudiants en soins infirmiers, en pharmacie et en santé publique ressentent vis-à-vis de l'intelligence artificielle.

La grande découverte : Ce n'est pas une question de où, mais de comment

Lorsque les chercheurs ont construit l'AICPER, ils pensaient mesurer trois lieux spécifiques où l'IA est utilisée : la pratique clinique (à l'hôpital), la recherche (au laboratoire) et l'éducation (en classe). Ils s'attendaient à ce que les réponses se trient en ces trois piles bien nettes.

Mais voici le rebondissement : le cerveau des étudiants n'a pas trié les réponses de cette façon. Lorsque les chercheurs ont analysé les chiffres, les « piles » se sont réorganisées en trois catégories complètement différentes basées sur les sentiments plutôt que sur les lieux.

Bénéfices fonctionnels (Le facteur « outil cool ») : Ce groupe mesure à quel point les étudiants pensent que l'IA rendra leur travail plus facile, plus rapide et plus intelligent. C'est comme demander : « Est-ce que ce robot m'aidera à porter des boîtes lourdes ? »
Éthique et confiance (Le facteur « inquiétude ») : Ce groupe capture les peurs. Le robot fera-t-il des erreurs ? Est-il biaisé ? Pouvons-nous lui confier des secrets de patients ? C'est la pile « Est-ce que ce robot va me voler mon travail ou me mentir ? ».
Engagement éducatif (Le facteur « apprenons ensemble ») : Cela mesure le niveau d'engagement des étudiants vis-à-vis de l'apprentissage lié à l'IA. C'est la pile « Je veux suivre un cours là-dessus ».

L'article a montré que cette nouvelle structure en trois parties est un bien meilleur moyen de comprendre les étudiants que de simplement demander : « Aimez-vous l'IA à l'hôpital ? ». Un étudiant peut penser que l'IA est un outil fantastique pour gagner du temps (Hauts bénéfices fonctionnels) tout en étant terrifié par ses risques éthiques (Faible éthique et confiance). Les anciens outils auraient manqué cette nuance, mais l'AICPER la saisit.

Comment ils l'ont testé (Le « test de résistance »)

Pour s'assurer que ce nouveau thermomètre fonctionnait réellement, les chercheurs n'ont pas seulement deviné. Ils l'ont soumis à un test de résistance rigoureux impliquant 193 étudiants et 7 experts.

Les experts : Sept personnes dotées de diplômes avancés ont vérifié chaque question pour s'assurer qu'elle avait du sens. Ils ont convenu que les questions étaient pertinentes, donnant à l'outil un score de « validité de contenu » de 0,86 (ce qui est un très bon score).
Les étudiants : 193 étudiants issus de programmes de soins infirmiers, de pharmacie et de santé publique ont répondu au sondage.
Les mathématiques : Les chercheurs ont utilisé des statistiques de haut vol (comme l'« analyse factorielle exploratoire » et l'« analyse factorielle confirmatoire ») pour voir si les questions restaient bien liées entre elles. Le résultat ? L'outil a tenu bon. Le score de cohérence interne était de 0,86, ce qui signifie que les questions mesuraient de manière fiable les mêmes sentiments sous-jacents.

Ce que disent les chiffres

L'étude ne s'est pas contentée de dire « ça fonctionne ». Elle a fourni des chiffres précis pour l'étayer :

L'outil final comporte 18 questions (ils en ont supprimé deux car elles ne s'intégraient pas bien).
Les trois facteurs (Bénéfices fonctionnels, Éthique et Engagement) sont distincts mais liés, avec des corrélations comprises entre 0,42 et 0,61.
L'outil fonctionne de la même manière pour les étudiants en soins infirmiers, en pharmacie et en santé publique. Les chercheurs ont vérifié cela en comparant les groupes et ont constaté que la différence dans la façon dont l'outil les mesurait était infime (-0,001), ce qui signifie qu'un infirmier et un pharmacien répondent aux questions dans le même « langage ».

Ce que ce n'est PAS (La liste des « non »)

Il est important de savoir ce que cet article ne prétend pas.

Ce n'est pas une baguette magique : L'article précise explicitement qu'il s'agit d'une étape « préliminaire » pour certaines parties. Ils ont utilisé le même groupe d'étudiants pour découvrir la structure et pour la confirmer. Bien qu'ils aient utilisé des mathématiques avancées (rééchantillonnage par bootstrap avec 2 000 répétitions) pour prouver la stabilité des résultats, ils admettent que tester l'outil sur un autre groupe d'étudiants est la prochaine étape nécessaire.
Ce n'est pas encore parfait : Les chercheurs ont remarqué que certaines des questions à « score inversé » (celles où il faut penser « non » pour signifier « oui ») ont créé un peu de bruit supplémentaire dans les données. Environ 24,8 % de la variation dans ces réponses spécifiques était due à la formulation de la question, et non seulement à l'opinion de l'étudiant. Ils suggèrent que les versions futures devraient reformuler ces questions pour plus de clarté.
Ce n'est pas pour tout le monde (pas encore) : L'étude n'incluait que des étudiants en soins infirmiers, en pharmacie et en santé publique. Elle n'incluait pas les étudiants en médecine (futurs médecins), nous ne pouvons donc pas être certains qu'il fonctionne pour eux pour le moment.

L'essentiel à retenir

L'AICPER est un outil de 18 items rigoureusement testé qui mesure avec succès ce que les étudiants en santé ressentent vis-à-vis de l'IA. Il a prouvé que les attitudes des étudiants ne dépendent pas seulement de « l'endroit » où ils utilisent l'IA, mais de trois sentiments fondamentaux : l'utilité, la confiance et l'engagement.

Les chercheurs suggèrent que les responsables d'établissements peuvent utiliser cet outil pour découvrir exactement où leurs étudiants bloquent. Si une classe est excellente pour percevoir les bénéfices mais terrifiée par l'éthique, ils peuvent concevoir une leçon spécifique pour apaiser cette peur. S'ils sont éthiquement solides mais ne veulent pas apprendre la technologie, ils peuvent essayer une approche d'enseignement différente.

Bien que l'article s'abstienne de présenter cela comme une « solution finale » (puisque des tests supplémentaires sont nécessaires), il fournit la première carte solide et validée pour naviguer dans le monde complexe de la préparation à l'IA dans l'enseignement de la santé. Il transforme une supposition floue en une image claire et tridimensionnelle.

Résumé technique : Développement et validation de l'instrument AICPER

Énoncé du problème
Malgré l'intégration rapide de l'intelligence artificielle (IA) dans la prestation des soins de santé, l'éducation et la recherche, il existe un écart important dans les instruments psychométriquement validés pour mesurer les perceptions des stagiaires des professions de la santé vis-à-vis de l'IA au sein des populations américaines. Les outils existants souffrent de trois limitations principales :

Manque de validation interdisciplinaire : Aucun instrument n'a été validé sur un échantillon interdisciplinaire (soins infirmiers, pharmacie et santé publique) où les programmes d'IA émergent simultanément.
Insuffisance de granularité : Les échelles actuelles échouent souvent à distinguer les perceptions à travers des sous-construits distincts (pratique clinique, éducation et recherche), traitant la préparation à l'IA comme un concept monolithique. Cela empêche les éducateurs d'adapter les interventions à des préoccupations spécifiques (par exemple, un stagiaire peut faire confiance à l'IA en clinique mais se méfier de son usage pour la rédaction savante).
Obsolescence : De nombreux outils existants sont antérieurs à la disponibilité généralisée de l'IA générative, manquant d'items pertinents pour les enjeux contemporains tels que l'intégrité académique, la rédaction assistée par l'IA et la confiance dans les résultats des agents conversationnels (chatbots).

Méthodologie
L'étude a employé un plan de sondage transversal en ligne pour développer et valider l'Artificial Intelligence Competence and Preparedness Evaluation Resource (AICPER).

Participants : L'étude a inclus 193 étudiants de programmes de soins infirmiers, de pharmacie et de santé publique d'une université américaine, ainsi qu'un panel de sept experts en la matière pour la validation du contenu.
Développement de l'instrument : Une échelle préliminaire de 20 items a été développée sur la base d'une revue de la littérature et affinée de manière itérative par un panel institutionnel. Les items utilisaient une échelle de Likert à quatre points avec une option « Je ne sais pas » (IDK) pour distinguer l'absence d'opinion de la neutralité.
Analyse psychométrique :
- Validité de contenu : Évaluée via l'indice de validité de contenu des items (I-CVI), l'indice de validité de contenu de l'échelle (S-CVI) et les statistiques kappa modifiées.
- Traitement des données : Les données manquantes (incluant les réponses IDK traitées comme manquantes) ont été traitées par imputation multiple par équations chaînées (MICE) avec 20 jeux de données imputés.
- Fiabilité : La cohérence interne a été évaluée à l'aide de l'alpha de Cronbach, de l'alpha ordinal et de l'oméga de McDonald.
- Validité de structure : L'étude a utilisé une analyse factorielle exploratoire (EFA) avec extraction par maximum de vraisemblance et rotation oblimine, suivie d'une analyse factorielle confirmatoire (CFA) utilisant les moindres carrés pondérés par la diagonale (DWLS/WLSMV).
- Modélisation avancée : L'analyse comprenait un modèle d'effets de méthode pour rendre compte de la variance des items inversés, des intervalles de confiance bootstrap à 95 % pour les chargements factoriels et des tests d'invariance de mesure (configurale et métrique) entre les trois professions de santé.
Résultats clés
Raffinement de l'instrument : L'échelle initiale de 20 items a été réduite à un instrument final de 18 items après le retrait de deux items (A16 et A20) en raison d'effets de plafond et de faibles corrélations item-total.
Structure factorielle : Contrairement à la conception a priori basée sur les domaines d'application (clinique, recherche, éducation), l'EFA et la CFA ont révélé une structure stable à trois facteurs basée sur des dimensions attitudinales :
1. Bénéfices fonctionnels (FB) : Perceptions de l'efficacité, de l'optimisation du flux de travail et de l'utilité.
2. Éthique et confiance (ET) : Préoccupations concernant les erreurs, les biais, la responsabilité et l'intégrité académique.
3. Engagement éducatif (EE) : Volonté de poursuivre des apprentissages et des certifications liés à l'IA.
Fiabilité et validité :
- L'échelle de 18 items a démontré une bonne cohérence interne (Alpha total = 0,86).
- Les indices d'ajustement de la CFA étaient excellents (CFI = 0,987, TLI = 0,984, RMSEA = 0,032).
- Invariance de mesure : L'invariance métrique a été soutenue dans les programmes de soins infirmiers, de pharmacie et de santé publique ( $\Delta$ CFI = -0,001), suggérant que l'instrument mesure les mêmes construits de manière équivalente à travers ces disciplines.
- Effets de méthode : Bien qu'un facteur de méthode ait expliqué une part non négligeable de la variance (moyenne de 24,8 %) dans les items inversés, la structure factorielle substantielle à trois facteurs a persisté lorsque ces effets étaient modélisés.
Validité de contenu : L'échelle a démontré une validité de contenu acceptable avec un S-CVI moyen de 0,86 et un fort accord entre experts.

Signification et revendications
Les auteurs positionnent l'AICPER comme le premier instrument multidimensionnel psychométriquement validé spécifiquement conçu pour les stagiaires des professions de la santé aux États-Unis. Sa signification réside dans trois domaines :

Évaluation différenciée : En séparant les bénéfices fonctionnels, l'éthique/la confiance et l'engagement éducatif, l'outil permet aux éducateurs d'identifier des déficits spécifiques (par exemple, un optimisme fonctionnel élevé mais une faible confiance éthique) plutôt que de s'appuyer sur un score composite qui occulte les besoins nuancés.
Utilité transdisciplinaire : La démonstration de l'invariance de mesure entre les soins infirmiers, la pharmacie et la santé publique soutient l'utilisation de l'AICPER pour l'étalonnage interprofessionnel et les études comparatives, comblant un vide là où les échelles spécifiques à une profession dominaient auparavant.
Pertinence contemporaine : L'inclusion d'items traitant de l'IA générative (ex. : intégrité académique, rédaction assistée par l'IA) aligne l'instrument sur les expériences actuelles des stagiaires, contrairement aux outils antérieurs à 2023.

L'article conclut que l'AICPER fournit une infrastructure de mesure rigoureuse pour soutenir le développement de curriculums fondés sur des preuves, l'évaluation des interventions et les rapports d'accréditation, faisant passer l'évaluation de la préparation à l'IA de stratégies basées sur des suppositions à des stratégies fondées sur des données. Les auteurs notent les limites concernant l'échantillon d'une seule institution, l'exclusion des étudiants en médecine et le design transversal, identifiant la réplication par un échantillon indépendant comme la prochaine étape nécessaire.