Résumé technique : Évaluation des compétences assistée par l'IA à partir de vidéos égocentriques dans l'éducation infirmière basée sur la simulation

1. Énoncé du problème

L'évaluation des compétences en simulation clinique, en particulier dans la formation infirmière, repose traditionnellement sur l'observation humaine par des experts. Cette approche est chronophage, difficile à mettre à l'échelle pour des cohortes croissantes et sujette à une variabilité inter-évaluateurs. Bien que la vidéo offre un enregistrement riche de la performance de l'apprenant, les approches automatisées existantes supposent souvent des environnements riches en données et à caméra fixe (par exemple, la laparoscopie chirurgicale) et se concentrent sur des compétences techniques isolées plutôt que sur la compétence holistique.

Cette étude aborde le défi de l'évaluation de la compétence infirmière holistique à l'aide de vidéos égocentriques (à la première personne) issues de l'apprentissage par simulation. Le domaine spécifique est l'administration de médicaments pédiatriques, où la compétence est intrinsèquement séquentielle ; des erreurs peuvent survenir à partir d'actions correctes effectuées dans le mauvais ordre ou avec des étapes de sécurité omises. La recherche examine si des preuves visuelles seules, analysées via des encodeurs visuels figés et l'apprentissage par quelques exemples, peuvent soutenir l'évaluation des compétences, et si la difficulté de reconnaître ces actions porte des signaux pédagogiques.

2. Méthodologie

Les auteurs proposent un cadre en trois étapes appliqué à 22 sessions de vidéos égocentriques densément annotées (totalisant 3,8 heures et 493 segments d'actions cliniques) provenant d'étudiants en soins infirmiers réalisant des simulations standardisées sur des mannequins haute fidélité.

Étape 1 : Reconnaissance d'actions par quelques exemples

• Entrée : Images de vidéos égocentriques ($V_i$) et un ensemble de support ($S$) d'exemples étiquetés provenant d'autres sessions (configuration de validation croisée leave-one-out).
• Extraction de caractéristiques : Un encodeur de base figé ($\phi$) extrait des caractéristiques par image. Trois encodeurs de base ont été évalués : ResNet-50 (supervisé par ImageNet), DINOv2 ViT-B/14 (auto-supervisé par ImageNet) et CLIP ViT-B/16. Aucun ajustement fin n'a été effectué.
• Calcul des prototypes : Les prototypes de classe sont calculés à partir des sessions de support en utilisant un paradigme de réseau prototypique. L'étude compare une stratégie de prototype moyen (moyenne des centroïdes normalisés) à une stratégie de prototype groupé (sous-centroïdes k-means).
• Lissage temporel : Les scores de similarité cosinus continus entre les images requêtes et les prototypes sont transmis à un modèle de Markov caché (HMM) avec décodage de Viterbi. Cela impose des séquences d'étiquettes temporellement cohérentes en apprenant les probabilités de transition à partir de l'ensemble de support, plutôt qu'en classifiant les images indépendamment.
• Sortie : Une chronologie d'actions prédite ($\hat{y}_i$) pour 16 classes d'actions cliniques plus une classe d'arrière-plan.

Étape 2 : Analyse de séquence

• Construction de séquence : Les étiquettes au niveau des images prédites sont regroupées en segments d'actions ordonnés (encodage par longueur de course), en écartant l'arrière-plan et les segments courts.
• Dérivation de caractéristiques :
  1. Fréquences de transition d'actions : Flux par paires entre les actions cliniques pour construire des modèles de processus.
  2. Métriques de reconnaissance : Des métriques par vidéo (précision Moyenne-sur-Images [MOF], Intersection sur Union moyenne [mIoU] et F1 segmentaire) sont conservées comme mesures résumées de l'ajustement du classifieur.

Étape 3 : Analyse des compétences

• Corrélation : Étant donné la petite taille de l'échantillon ($N=22$), la corrélation de rang de Spearman est utilisée pour mapper les caractéristiques de séquence et les métriques de reconnaissance aux scores de compétence notés par l'instructeur (dérivés de la grille d'évaluation Creighton Competency Evaluation Instrument [C-CEI], spécifiquement 11 éléments observables sur vidéo).
• Robustesse : Des associations partielles sont calculées en contrôlant six facteurs de confusion potentiels (couverture d'annotation, durée de la vidéo, nombre de segments, etc.).
• Modélisation de processus : Les séquences d'actions de vérité terrain sont utilisées pour visualiser et comparer les graphes de flux de travail entre les groupes à performance supérieure et inférieure.

3. Contributions clés

1. Faisabilité de la reconnaissance d'actions cliniques par quelques exemples : L'étude démontre qu'un encodeur de base DINOv2 figé avec décodage HMM Viterbi atteint 57,4 % de MOF dans la reconnaissance 1-shot leave-one-out de vidéos de simulation infirmière égocentrique. Cela établit la faisabilité dans des conditions de données extrêmement faibles sans ajustement fin. DINOv2 a constamment surpassé ResNet-50 et CLIP, suggérant que les transformers de vision auto-supervisés sont mieux adaptés aux interactions main-objet fines dans ce domaine.
2. Corrélation négative entre la précision de reconnaissance et la compétence : Une découverte principale est une tendance négative statistiquement significative entre la précision de reconnaissance et la compétence notée par l'instructeur ($\rho = -0,524, p = 0,012$ pour le mIoU). Cette relation est robuste face à six contrôles de facteurs de confusion. Les auteurs l'interprètent comme suit : les étudiants à compétence supérieure produisent des flux de travail plus diversifiés, fluides et conformes au protocole, qui sont intrinsèquement plus difficiles à faire correspondre pour un classifieur basé sur des prototypes, tandis que les étudiants à compétence inférieure présentent des comportements plus répétitifs et modélisés, plus faciles à classifier.
3. Identification de signaux pédagogiquement informatifs : L'analyse par élément révèle que la tendance négative est le plus fortement reflétée dans les comportements attendus liés aux protocoles de sécurité des patients (par exemple, « Utilise les identifiants du patient ») et à la communication d'équipe. Des caractéristiques de séquence simples (par exemple, le ratio de temps d'écran) n'ont montré aucune relation significative avec la compétence, suggérant que la difficulté de classification elle-même est le signal informatif.
4. Différences de flux de travail temporel : Les comparaisons de modèles de processus montrent que les étudiants à performance supérieure présentent des transitions d'actions plus diversifiées et adhèrent plus strictement aux progressions conformes au protocole (par exemple, transitions directes dans la préparation des médicaments), tandis que les étudiants à performance inférieure montrent plus d'hésitation (par exemple, routage à travers des vérifications « Écran » inutilement) et des chemins de flux de travail irréguliers.

4. Résultats

• Reconnaissance d'actions : Dans le cadre de validation croisée (leave-one-out), la performance était inférieure à celle de l'échantillon interne, mettant en évidence le décalage de domaine causé par les différences individuelles d'apparence, d'angle de caméra et d'ordre du flux de travail. Cependant, la performance s'est stabilisée autour de 10 à 15 exemples, indiquant que le goulot d'étranglement est la généralisation et non la capacité de représentation.
• Corrélation de compétence :
  • mIoU : $\rho = -0,524$ ($p=0,012$).
  • MOF : $\rho = -0,439$ ($p=0,041$).
  • F1 : $\rho = -0,433$ ($p=0,044$).
  • Les étudiants à performance inférieure (médiane divisée) avaient un MOF de 9,5 % plus élevé et un mIoU de 8,3 % plus élevé que les étudiants à performance supérieure.
• Analyse par élément : Les corrélations négatives les plus fortes ont été trouvées pour « Communique efficacement avec l'équipe » ($\rho = -0,470$) et « Utilise les identifiants du patient » ($\rho = -0,455$). Les éléments procéduraux effectués de manière statique et répétitive n'ont montré aucune association.
• Modèles de processus : Les groupes à performance supérieure ont montré une fréquence plus élevée de transitions directes « Préparer Médicament $\to$ Appliquer Médicament » (46 % contre 38 % pour les faibles performeurs) et des transitions « Hygiène $\to$ Écran » plus cohérentes (76 %), indiquant un meilleur contrôle des infections et une plus grande fluidité du flux de travail.

5. Importance et affirmations

L'article affirme que la précision de reconnaissance peut servir de signal pédagogique complémentaire dans l'évaluation automatisée des compétences. Contrairement à l'hypothèse selon laquelle une précision plus élevée indique toujours une meilleure performance, l'étude suggère que dans la simulation clinique, une précision de reconnaissance plus faible peut indiquer une compétence supérieure car les apprenants experts présentent des flux de travail diversifiés et adaptatifs qui s'écartent des modèles rigides.

Les auteurs proposent une perspective d'évaluation à deux niveaux :

1. Chronologies d'actions prédites : Fournissent un résumé comportemental grossier de ce que l'étudiant a fait.
2. Difficulté de reconnaissance (par exemple, mIoU/F1) : Sert de signal complémentaire de la manière dont l'étudiant a exécuté la tâche, capturant potentiellement la compétence holistique, la flexibilité procédurale et l'adhésion à la sécurité que les instruments basés sur des listes de contrôle pourraient manquer.

L'étude souligne que si l'analyse basée sur la vision peut capturer les comportements observables et la diversité du flux de travail, elle est fondamentalement limitée dans la capture du raisonnement clinique et du contenu de la communication verbale. Les auteurs restent modestes quant à leurs affirmations, notant qu'avec $N=22$, les résultats sont exploratoires et nécessitent une validation ultérieure. Ils suggèrent que les travaux futurs devraient se concentrer sur la surveillance consciente du protocole en utilisant des méthodes formelles et l'extraction de trajectoires de compétences personnalisées.