📄 medicine

Examining Tools for Assessing Technical Skills in Robotic Surgery: A Validity- Focused Systematic Review

Cette revue systématique évalue la validité des outils d'évaluation actuels pour la chirurgie robotique, révélant que si les méthodes existantes telles que GEARS et OSATS présentent des preuves solides de structure interne, il existe un écart important concernant les outils validés couvrant la plupart des modules de compétences ACS/APDS ainsi qu'un manque de preuves concernant les conséquences de l'évaluation.

Auteurs originaux : Naimisha Badri, Amber Chen-Goodspeed, Folarin Adeyemi, Iman Ghaderi

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Naimisha Badri, Amber Chen-Goodspeed, Folarin Adeyemi, Iman Ghaderi

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à quelqu'un à conduire une voiture. Autrefois, vous auriez pu simplement dire : « Tu es prêt quand je le dirai », en se basant sur le nombre de kilomètres parcourus avec vous. Mais aujourd'hui, nous utilisons des tests de conduite avec des listes de contrôle spécifiques : « A-t-il vérifié les rétroviseurs ? A-t-il mis son clignotant ? S'est-il arrêté au feu rouge ? » Cela garantit que le conducteur est réellement en sécurité, et pas seulement chanceux.

Ce document traite de la mise en œuvre de la même chose pour la chirurgie robotique, mais il constate que nous manquons encore beaucoup de ces listes de contrôle.

Voici la décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. Le problème : Nous avons une nouvelle voiture, mais pas de manuel d'auto-école

La chirurgie robotique est comme une voiture technologique et futuriste. Elle est différente de la chirurgie classique (laparoscopie) car le chirurgien est assis à une console, utilise des instruments articulés et n'a pas le même « ressenti » (retour haptique) que lorsqu'il utilise ses mains directement.

Comme cette technologie est si nouvelle et différente, les chercheurs se sont demandé : « Comment savoir si un chirurgien est réellement doué pour utiliser le robot ? »

Ils ont examiné le « programme de conduite » standard utilisé pour tous les chirurgiens (créé par l'American College of Surgeons). Ce programme comprend 45 compétences spécifiques qu'un chirurgien doit apprendre, allant de choses basiques comme faire des nœuds à des procédures complexes comme l'ablation de la vésicule biliaire.

2. La recherche : À la recherche des « questions d'examen »

Les chercheurs sont partis en chasse (une revue systématique) pour trouver les « tests » ou « fiches d'évaluation » existants qui mesurent ces compétences robotiques spécifiques. Ils voulaient voir s'il existait un moyen valide de noter un chirurgien sur chacune de ces 45 compétences.

Le résultat : C'était un peu un désastre.

Sur les 45 compétences que les chirurgiens doivent apprendre, ils n'ont trouvé des tests valides que pour 13 d'entre elles.
Cela signifie que pour 32 compétences (environ 71 %), il n'y a aucun test du tout. C'est comme avoir une auto-école où vous devez apprendre à faire un créneau, mais où il n'y a aucun test pour voir si vous savez réellement le faire. Vous devez simplement espérer être bon.

3. Les outils : Utiliser de vieilles cartes pour de nouveaux territoires

Pour les 13 compétences qui avaient des tests, les chercheurs ont remarqué autre chose. La plupart du temps, ils n'utilisaient pas de tests spéciaux « robotiques ». Au lieu de cela, ils prenaient des tests conçus pour la chirurgie classique ou la laparoscopie et essayaient simplement de les appliquer aux robots.

Les principaux outils : Les outils les plus courants trouvés étaient le GEARS (Global Evaluative Assessment of Robotic Skills) et l'OSATS (Objective Structured Assessment of Technical Skills).
L'analogie : C'est comme essayer de tester un pilote de Formule 1 en utilisant un test conçu pour une berline standard. Cela peut détecter certaines erreurs de conduite de base, mais cela pourrait manquer les compétences spécifiques à haute vitesse nécessaires pour une voiture de F1.

4. La vérification du « bulletin de notes » : Les tests fonctionnent-ils vraiment ?

Les chercheurs n'ont pas seulement compté les tests ; ils ont vérifié les « bulletins de notes » (preuves de validité) pour voir si les scores donnés par ces outils sont réellement dignes de confiance. Ils ont examiné cinq types de preuves :

Contenu : Le test couvre-t-il les bons sujets ? (Plutement correct).
Processus de réponse : Les évaluateurs comprennent-ils ce qu'ils regardent ? (Correct).
Structure interne : Les différentes parties du test s'articulent-elles logiquement entre elles ? (Solide).
Relations : Les scores correspondent-ils au niveau d'expérience du chirurgien ? (Solide).
Conséquences : L'utilisation de ce test rend-elle réellement les patients plus en sécurité ou aide-t-elle les chirurgiens à mieux apprendre ?

La grande lacune :
Les chercheurs ont constaté que si les tests étaient bons pour mesurer les compétences (comme « a-t-il fait le nœud ? »), ils étaient très mauvais pour prouver les Conséquences.

Analogie : Nous avons un test qui dit : « Cet élève a réussi son examen de conduite. » Mais nous n'avons presque aucune preuve que réussir ce test signifie réellement qu'il ne causera pas d'accident dans la vraie vie. Le lien entre le score du test et la sécurité réelle est la partie la plus faible de l'évidence.

5. La conclusion : Nous devons construire plus de tests

L'article conclut que bien que nous ayons commencé à construire l'« auto-école » pour la chirurgie robotique, il nous manque la majeure partie du programme.

Ce que nous avons : Quelques tests pour les compétences de base (comme faire des nœuds ou la manipulation simple des tissus) et certains tests pour des procédures spécifiques (comme l'ablation du côlon).
Ce qui nous manque : Des tests pour la majorité des procédures complexes et un manque de preuve que ces tests prédisent réellement la sécurité des patients.

L'essentiel :
Les auteurs affirment que nous devons arrêter de deviner. Nous devons construire des tests spécifiques et de haute qualité pour les nombreuses compétences robotiques qui n'ont actuellement aucune évaluation, et nous devons prouver que ces tests aident réellement les chirurgiens à devenir plus sûrs et plus performants. D'ici là, nous volons à l'aveugle sur une immense partie de la formation en chirurgie robotique.

Résumé technique : Examen des outils d'évaluation des compétences techniques en chirurgie robotique

Énoncé du problème
L'évaluation objective de la performance opératoire est la pierre angulaire de l'enseignement chirurgical fondé sur les compétences. Bien que des outils structurés tels que l'Objective Structured Assessment of Technical Skills (OSATS) soient bien établis pour la formation en chirurgie ouverte et laparoscopique, les méthodes d'évaluation équivalentes pour la chirurgie robotique restent fragmentées. La chirurgie robotique exige des capacités cognitives et psychomotrices distinctes — telles que l'ergonomie de la console, le contrôle des instruments articulés et la navigation sans retour haptique direct — qui diffèrent de la laparoscopie conventionnelle. Malgré l'intégration rapide de la chirurgie robotique dans la formation, la maîtrise technique est souvent déduite du volume de cas plutôt que de compétences démontrées de manière objective. De plus, les preuves de validité soutenant les outils d'évaluation robotique existants ne sont pas caractérisées de manière exhaustive. Sous le cadre unitaire contemporain de la validité, les scores d'un instrument doivent être étayés par des preuves à travers cinq domaines : le contenu, le processus de réponse, la structure interne, les relations avec d'autres variables et les conséquences. Cette étude aborde la lacune dans la compréhension du paysage actuel de l'évaluation technique robotique et de la force des preuves de validité soutenant ces outils.

Méthodologie
Les auteurs ont mené une revue systématique via une recherche PubMed afin d'identifier les outils actuels d'évaluation des compétences techniques en chirurgie robotique. La recherche a utilisé des mots-clés incluant « Objective », « Assessment », « Tool », « Skill », « Evaluation », « Proficiency » et « Robot », combinés à des termes spécifiques aux procédures.

Cartographie des cadres : L'étude a cartographié les outils identifiés par rapport aux 45 modules procéduraux du curriculum de compétences de l'American College of Surgeons (ACS) et de l'Association of Program Directors in Surgery (APDS). Plus précisément, 23 équivalents robotiques de ces modules ont été identifiés ; les modules sans équivalent robotique reconnu ont été classés comme domaines non étudiés.
Évaluation de la validité : Une échelle de notation établie, adaptée de Ghaderi et al., a été appliquée pour évaluer la force des preuves pour chaque étude selon les cinq sources de validité :
- Contenu : Représentation du construit et du domaine.
- Processus de réponse : Alignement des actions de l'évaluateur et de la notation avec le construit.
- Structure interne : Alignement statistique des composantes (fiabilité, analyse factorielle).
- Relations avec d'autres variables : Corrélation avec des variables externes (ex. : discrimination novice vs expert).
- Conséquences : Bénéfices prévus et préjudices involontaires de l'utilisation de l'évaluation.
- Les scores allaient de 0 (aucune preuve) à 3 (preuves exhaustives).
Analyse des données : Deux examinateurs indépendants ont noté chaque étude, atteignant un consensus. La fiabilité inter-juges (IRR) a été calculée à l'aide du $\kappa$ de Cohen pondéré et du coefficient de corrélation intraclasse (ICC).

Principales contributions

Cartographie systématique : L'étude fournit une cartographie structurée des outils d'évaluation robotique existants par rapport au curriculum standard de 45 modules de l'ACS/APDS, identifiant précisément quels domaines de compétences disposent de littérature correspondante et lesquels restent non étudiés.
Quantification des preuves de validité : Il s'agit de la première étude évaluant de manière exhaustive la force des preuves de validité pour les outils d'évaluation robotique en utilisant le cadre unitaire, en attribuant des scores numériques aux cinq sources de validité à travers la littérature identifiée.
Métriques de fiabilité : L'étude établit la fiabilité du processus de revue lui-même, démontrant un accord inter-juges substantiel dans la notation des preuves de validité.

Résultats

Couverture des modules : Sur les 45 modules de compétences de l'ACS/APDS, seuls 13 (28,9 %) possédaient des articles publiés correspondants. La majorité des articles identifiés utilisaient des outils d'évaluation précédemment étudiés, notamment le Global Evaluative Assessment of Robotic Skills (GEARS) et l'OSATS.
Force des preuves de validité :
- Plus haut niveau de preuve : « Structure interne » et « Processus de réponse » ont démontré les niveaux de preuve les plus élevés (scores moyens de 2,53 et 2,63, respectivement).
- Preuves modérées : « Contenu » et « Relations avec d'autres variables » ont montré des preuves de soutien modérées à fortes (score moyen de 2,47).
- Plus bas niveau de preuve : « Conséquences » a présenté le niveau de preuve le plus faible (score moyen de 1,32), indiquant un manque de données sur l'impact des évaluations sur les résultats ou la prise de décision.
Fiabilité inter-juges : L'IRR globale était substantielle, avec un $\kappa$ pondéré de 0,754 et un ICC de 0,757. La fiabilité était la plus élevée pour le « Contenu » ( $\kappa=0,746$ ) et la plus faible pour les « Conséquences » ( $\kappa=0,510$ ) et le « Processus de réponse » ( $\kappa=0,514$ ).

Signification et affirmations
Les auteurs affirment que les résultats indiquent un manque significatif d'outils d'évaluation disponibles pour la chirurgie robotique, la majorité des modules de compétences n'ayant aucun article correspondant. La revue souligne que bien que des outils comme GEARS et OSATS soient largement utilisés, ils reposent souvent sur l'adaptation plutôt que sur un développement novateur et spécifique à la procédure.

L'article conclut que la littérature évaluant ces instruments reste limitée, et que relativement peu d'études ont examiné l'évaluation des compétences en chirurgie robotique en utilisant le cadre unitaire contemporain de la validité. Par conséquent, de nombreux outils actuellement utilisés dans la formation en chirurgie robotique ne possèdent qu'une preuve partielle soutenant l'interprétation et l'application appropriée de leurs scores. Les auteurs soutiennent que les travaux futurs doivent se concentrer sur le développement et la validation d'outils d'évaluation globaux et spécifiques aux procédures, particulièrement à mesure que la chirurgie robotique s'intègre de plus en plus dans la pratique. Ils soulignent que le renforcement des preuves de validité est essentiel pour garantir que ces instruments puissent être utilisés en toute confiance pour la formation, le feedback et l'évaluation des compétences, passant ainsi du volume de cas à la démonstration objective de la compétence.

1. Le problème : Nous avons une nouvelle voiture, mais pas de manuel d'auto-école

2. La recherche : À la recherche des « questions d'examen »

3. Les outils : Utiliser de vieilles cartes pour de nouveaux territoires

4. La vérification du « bulletin de notes » : Les tests fonctionnent-ils vraiment ?

5. La conclusion : Nous devons construire plus de tests

Articles similaires