📄 medicine

Examining Tools for Assessing Technical Skills in Robotic Surgery: A Validity- Focused Systematic Review

Esta revisión sistemática evalúa la validez de las herramientas de evaluación actuales para la cirugía robótica, revelando que, si bien los métodos existentes como GEARS y OSATS poseen una sólida evidencia de estructura interna, existe una brecha significativa en las herramientas validadas que cubran la mayoría de los módulos de habilidades de ACS/APDS y una falta de evidencia con respecto a las consecuencias de la evaluación.

Autores originales: Naimisha Badri, Amber Chen-Goodspeed, Folarin Adeyemi, Iman Ghaderi

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Naimisha Badri, Amber Chen-Goodspeed, Folarin Adeyemi, Iman Ghaderi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a alguien a conducir un coche. En los viejos tiempos, podrías haber dicho simplemente: "Estarás listo cuando yo lo diga", basándote en cuántas millas condujo contigo. Pero hoy en día, usamos exámenes de conducir con listas de verificación específicas: "¿Revisó los espejos? ¿Señalizó? ¿Se detuvo en la luz roja?". Esto asegura que el conductor sea realmente seguro, no solo que tenga suerte.

Este artículo trata de hacer lo mismo para la cirugía robótica, pero descubre que todavía nos faltan muchas de las listas de verificación.

Aquí está el desgquel de lo que encontraron los investigadores, utilizando analogías sencillas:

1. El Probleza: Tenemos un coche nuevo, pero no un manual de autoescuela

La cirugía robótica es como un coche de alta tecnología y futurista. Es diferente de la cirugía regular (laparoscopia) porque el cirujano se sienta en una consola, utiliza instrumentos con movimiento de muñeca y no tiene la misma "sensación" (retroalimentación háptica) que al usar sus manos directamente.

Debido a que esta tecnología es tan nueva y diferente, los investigadores se preguntaron: "¿Cómo sabemos si un cirujano es realmente bueno usando el robot?"

Ellos analizaron el "currículo de conducción" estándar utilizado para todos los cirujanos (creado por el Colegio Americano de Cirujanos). Este currículo tiene 45 habilidades específicas que un cirujano debe aprender, que van desde cosas básicas como hacer nudos hasta procedimientos complejos como la extirpación de la vesícula biliar.

2. La Búsqueda: Buscando las "preguntas del examen"

Los investigadores se fueron de caza (una revisión sistemática) para encontrar "exámenes" o "tarjetas de puntuación" existentes que midan estas habilidades robóticas específicas. Querían ver si había una forma válida de calificar a un cirujano en cada una de esas 45 habilidades.

El Resultado: Fue un poco desastroso.

De las 45 habilidades que los cirujanos deben aprender, solo encontraron pruebas válidas para 13 de ellas.
Eso significa que para 32 habilidades (alrededor del 71%), no hay ningún examen en absoluto. Es como tener una escuela de conducción donde tienes que aprender a estacionar en paralelo, pero no hay un examen para ver si realmente puedes hacerlo. Solo tienes que esperar tener suerte.

3. Las Herramientas: Usando mapas viejos para territorios nuevos

Para las 13 habilidades que sí tenían exámenes, los investigadores notaron algo más. La mayoría de las veces, no estaban utilizando pruebas "robóticas" especiales. En su lugar, estaban tomando exámenes diseñados para la cirugía regular o la laparoscopia y simplemente intentando usarlos en los robots.

Las Herramientas Principales: Las herramientas más comunes encontradas fueron GEARS (Evaluación Global de Habilidades Robóticas) y OSATS (Evaluación Objetiva de Habilidades Técnicas Estructuradas).
La Analogía: Es como intentar evaluar a un piloto de Fórmula 1 utilizando un examen diseñado para un sedán estándar. Puede que detecte algunos errores básicos de conducción, pero podría pasar por alto las habilidades específicas de alta velocidad necesarias para un coche de F1.

4. El Control de la "Boleta de Calificaciones": ¿Realmente funcionan los exámenes?

Los investigadores no solo contaron los exámenes; revisaron las "boletas de calificaciones" (evidencia de validez) para ver si las puntuaciones que dan estas herramientas son realmente confiables. Buscaron cinco tipos diferentes de pruebas:

Contenido: ¿Cubre el examen las cosas correctas? (Mayormente bien).
Proceso de Respuesta: ¿Entienden los evaluadores lo que están viendo? (Bien).
Estructura Interna: ¿Encajan las diferentes partes del examen de manera lógica? (Fuerte).
Relaciones: ¿Coinciden las puntuaciones con la experiencia del cirujano? (Fuerte).
Consecuencias: ¿El uso de este examen realmente hace que los pacientes sean más seguros o ayuda a los cirujanos a aprender mejor?

La Gran Brecha:
Los investigadores descubrieron que, si bien los exámenes eran buenos para medir habilidades (como "¿hizo el nudo?"), eran pésimos para demostrar las Consecuencias.

Analogía: Tenemos un examen que dice: "Este estudiante pasó el examen de conducir". Pero casi no tenemos pruebas de que pasar este examen realmente signifique que no chocarán su coche en la vida real. El vínculo entre la puntuación del examen y la seguridad en el mundo real es la parte más débil de la evidencia.

5. La Conclusión: Necesitamos construir más exámenes

El artículo concluye que, si bien hemos comenzado a construir la "escuela de conducción" para la cirugía robótica, nos falta la mayor parte del currículo.

Lo que tenemos: Algunos exámenes para habilidades básicas (como hacer nudos o manipulación simple de tejidos) y algunos exámenes para procedimientos específicos (como la extirpación de un colon).
Lo que nos falta: Exámenes para la mayoría de los procedimientos complejos y una falta de pruebas de que estos exámenes realmente predicen la seguridad del paciente.

La Conclusión Final:
Los autores dicen que debemos dejar de adivinar. Necesitamos construir exámenes específicos y de alta calidad para las muchas habilidades robóticas que actualmente no tienen evaluación, y necesitamos demostrar que estos exámenes realmente ayudan a los cirujanos a ser más seguros y mejores. Hasta entonces, estamos volando a ciegas en una enorme parte del entrenamiento de cirugía robótica.

Resumen Técnico: Examen de Herramientas para la Evaluación de Habilidades Técnicas en Cirugía Robótica

Planteamiento del Problema
La evaluación objetiva del desempeño operatorio es una piedra angular de la educación quirúrgica basada en competencias. Si bien las herramientas estructuradas como la Evaluación Objetiva de Habilidades Técnicas (OSATS, por sus siglas en inglés) están bien establecidas para el entrenamiento abierto y laparoscópico, los métodos de evaluación equivalentes para la cirugía robótica siguen fragmentados. La cirugía robótica exige capacidades cognitivas y psicomotoras distintas —como la ergonomía de la consola, el control de instrumentos con muñeca y la navegación sin retroalimentación háptica directa— que difieren de la laparoscopia convencional. A pesar de la rápida integración de la cirugía robótica en la formación, la competencia técnica suele inferirse a partir del volumen de casos en lugar de demostrarse mediante habilidades objetivas. Además, la evidencia de validez que respalda las herramientas de evaluación robótica existentes no está caracterizada de manera exhaustiva. Bajo el marco unitario contemporáneo de la validez, los puntajes de un instrumento deben estar respaldados por evidencia en cinco dominios: contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias. Este estudio aborda la brecha en la comprensión del panorama actual de la evaluación técnica robótica y la fuerza de la evidencia de validez que respalda estas herramientas.

Metodología
Los autores realizaron una revisión sistemática mediante una búsqueda en PubMed para identificar las herramientas actuales de evaluación de habilidades técnicas en cirugía robótica. La búsqueda utilizó palabras clave que incluyeron "Objetivo", "Evaluación", "Herramienta", "Habilidad", "Evaluación", "Competencia" y "Robot", combinadas con términos específicos de cada procedimiento.

Mapeo de Marco de Trabajo: El estudio mapeó las herramientas identificadas con los 45 módulos procedimentales del currículo de habilidades de la American College of Surgeons (ACS) y la Association of Program Directors in Surgery (APDS). Específicamente, se identificaron 23 equivalentes robóticos de estos módulos; los módulos sin un equivalente robótico reconocido fueron clasificados como dominios no estudiados.
Calificación de Validez: Se aplicó una escala de calificación establecida, adaptada de Ghaderi et al., para calificar la fuerza de la evidencia de cada estudio basada en las cinco fuentes de validez:
- Contenido: Representación del constructo y el dominio.
- Proceso de Respuesta: Alineación de las acciones del evaluador y la puntuación con el constructo.
- Estructura Interna: Alineación estadística de los componentes (fiabilidad, análisis factorial).
- Relación con otras Variables: Correlación con variables externas (p. ej., discriminación entre novato y experto).
- Consecuencias: Beneficios previstos y daños no deseados del uso de la evaluación.
- Los puntajes oscilaron de 0 (sin evidencia) a 3 (evidencia exhaustiva).
Análisis de Datos: Dos revisores independientes calificaron cada estudio, alcanzando un consenso. La fiabilidad interevaluador (IRR) se calculó utilizando el $\kappa$ de Cohen ponderado y el Coeficiente de Correlación Intraclase (ICC).

Contribuciones Clave

Mapeo Sistemático: El estudio proporciona un mapeo estructurado de las herramientas de evaluación robótica existentes frente al currículo estándar de 45 módulos de la ACS/APDS, identificando exactamente qué dominios de habilidades cuentan con literatura correspondiente y cuáles permanecen no estudiados.
Cuantificación de la Evidencia de Validez: Es el primer estudio en evaluar exhaustivamente la fuerza de la evidencia de validez para las herramientas de evaluación de la cirugía robótica utilizando el marco unitario, asignando puntajes numéricos a las cinco fuentes de validez en la literatura identificada.
Métricas de Fiabilidad: El estudio establece la fiabilidad del propio proceso de revisión, demostrando un acuerdo interevaluador sustancial en la calificación de la evidencia de validez.

Resultos

Cobertura de Módulos: De los 45 módulos de habilidades de la ACS/APDS, solo 13 (28.9%) tenían artículos publicados correspondientes. La mayoría de los artículos identificados utilizaron herramientas de evaluación previamente estudiadas, notablemente la Evaluación Global de Habilidades Robóticas (GEARS) y OSATS.
Fuerza de la Evidencia de Validez:
- Mayor Evidencia: "Estructura interna" y "Proceso de respuesta" demostraron los niveles más altos de evidencia (puntajes promedio de 2.53 y 2.63, respectivamente).
- Evidencia Moderada: "Contenido" y "Relación con otras variables" mostraron evidencia de soporte moderada a fuerte (promedio de 2.47).
- Menor Evidencia: "Consecuencias" demostró el nivel más bajo de evidencia (puntaje promedio de 1.32), lo que indica una falta de datos sobre cómo las evaluaciones impactan los resultados o la toma de decisiones.
Fiabilidad Interevaluador: La IRR general fue sustancial, con un $\kappa$ ponderado de 0.754 y un ICC de 0.757. La fiabilidad fue mayor para "Contenido" ( $\kappa=0.746$ ) y menor para "Consecuencias" ( $\kappa=0.510$ ) y "Proceso de respuesta" ( $\kappa=0.514$ ).

Significancia y Reivindicaciones
Los autores afirman que los hallazgos indican una falta significativa de herramientas de evaluación disponibles para la cirugía robótica, ya que la mayoría de los módulos de habilidades no tienen artículos correspondientes. La revisión destaca que, si bien herramientas como GEARS y OSATS se utilizan ampliamente, a menudo dependen de la adaptación en lugar del desarrollo novedoso y específico para cada procedimiento.

El artículo concluye que la literatura que evalúa estos instrumentos sigue siendo limitada, y relativamente pocos estudios han examinado la evaluación de habilidades quirúrgicas robóticas utilizando el marco unitario contemporáneo de validez. En consecuencia, muchas herramientas utilizadas actualmente en el entrenamiento de cirugía robótica poseen solo evidencia parcial que respalda la interpretación y la aplicación apropiada de sus puntajes. Los autores sostienen que el trabajo futuro debe centrarse en el desarrollo y la validación de herramientas de evaluación globales y específicas de cada procedimiento, particularmente a medida que la cirugía robótica se integra cada vez más en la práctica. Enfatizan que fortalecer la evidencia de validez es esencial para asegurar que estos instrumentos puedan utilizarse con confianza para el entrenamiento, la retroalimentación y la evaluación de la competencia, yendo más allá del volumen de casos hacia la demostración objetiva de la habilidad.

1. El Probleza: Tenemos un coche nuevo, pero no un manual de autoescuela

2. La Búsqueda: Buscando las "preguntas del examen"

3. Las Herramientas: Usando mapas viejos para territorios nuevos

4. El Control de la "Boleta de Calificaciones": ¿Realmente funcionan los exámenes?

5. La Conclusión: Necesitamos construir más exámenes

Más como este