Asynchronous Video Feedback and Early Performance Variability in Resident Laparoscopic Cholecystectomy: A Multicenter Observational Study

Resumen Técnico: Retroalimentación Asincrónica mediante Video y Variabilidad Temprana del Desempeño en Colecistectomía Laparoscópica de Residentes

Planteamiento del Problema
La educación quirúrgica basada en competencias requiere una evaluación y retroalimentación longitudinal para guiar a los aprendices hacia la confiabilidad (entrustment). Si bien se ha demostrado que el entrenamiento basado en simulación mejora el desempeño en el quirófano, el impacto específico de la retroalimentación mediante video asincrónico durante las fases iniciales del aprendizaje operativo real sigue siendo incierto. Un desafío educativo crítico es que las puntuaciones medias de desempeño pueden ocultar una variabilidad significativa entre los residentes; una intervención de entrenamiento podría no elevar las puntuaciones promedio, pero aun así ser valiosa si reduce la dispersión del desempeño, atenúa los valores atípicos bajos y ayuda a los residentes a converger hacia un estándar mínimo aceptable. Este estudio investiga si la retroalimentación mediante video asincrónico está asociada con un mayor desempeño técnico o con una reducción de la variabilidad temprana del desempeño en residentes que realizan colecistectomías laparoscópicas.

Metodología
Los autores realizaron un estudio observacional multicéntrico que involucró a residentes de cirugía general de siete programas de residencia en cinco ciudades de Chile.

• Cohorte: La cohorte analítica desduplicada incluyó a 66 residentes y 531 videos de colecistectomía laparoscópica únicos.
• Exposición: Los residentes fueron clasificados en un grupo de "Retroalimentación" (41 residentes, 281 videos) o un grupo de "Sin Retroalimentación" (25 residentes, 250 videos) basándose en su participación en un flujo de trabajo de revisión de video remoto y asincrónico. La retroalimentación se definió a nivel de residente; los residentes no contribuyeron a ambos grupos.
• Evaluación: Los videos fueron evaluados por evaluadores ciegos utilizando una rúbrica de cinco ítems de la Evaluación Objetiva de Habilidades Técnicas Estructurada (OSATS, por sus siglas en inglés) (rango 5–25).
• Hitos (Milestones): El desempeño temprano se evaluó en los casos 3, 5 y 10 registrados. El análisis longitudinal también examinó los contenedores (bins) de volumen de casos acumulados.
• Análisis Estadístico: El estudio analizó tanto la tendencia central (medias/medianas) como la dispersión (varianza). Los métodos incluyeron pruebas t de Welch, pruebas U de Mann–Whitney y la prueba de Levene para la varianza. Crucialmente, se empleó un modelo de efectos mixtos lineales con el residente como intercepto aleatorio para dar cuenta de las observaciones repetidas por el mismo aprendiz, tratando la exposición a la retroalimentación, el número de casos y la exposición a la simulación como efectos fijos.

Resultos Clave

• Desempeño Central: Las puntuaciones basales de OSATS fueron similares entre los grupos. A lo largo de la curva de aprendizaje, las puntuaciones de OSATS aumentaron con la experiencia acumulada (coeficiente 0.93 por cada 10 casos; p < 0.001). Sin embargo, en los hitos de los casos 3, 5 y 10, no hubo diferencias estadísticamente significativas en el desempeño central de OSATS entre los grupos de Retroalimentación y Sin Retroalimentación. El modelo de efectos mixtos confirmó que la exposición a la retroalimentación no se asoció de forma independiente con puntuaciones de OSATS más altas (p = 0.905).
• Variabilidad del Desempeño: En el décimo caso, el grupo de Retroalimentación mostró una tendencia no significativa hacia una menor dispersión en comparación con el grupo Sin Retroalimentación (Levene p = 0.070).
• Cambio Intra-Residente: Un análisis exploratorio de caso completo del cambio intra-residente (ΔOSATS = media de casos 8–10 menos media de casos 1–3) mostró una disminución media de -2.02 en el grupo de Retroalimentación frente a un aumento de +2.27 en el grupo Sin Retroalimentación. Los autores señalan explícitamente que esto fue tratado como exploratorio y probablemente influenciado por el pequeño tamaño de la muestra y la asignación no aleatoria, más que como evidencia de un efecto negativo causal.
• Simulación: La exposición documentada a la simulación mostró una trayectoria descriptiva favorable, pero no fue independientemente significativa en el modelo de efectos mixtos (p = 0.151).

Contribuciones Clave

1. Reencuadre de la Evaluación de la Retroalimentación: El estudio desafía la suposición de que la métrica principal para el éxito de la retroalimentación es un aumento en las puntuaciones técnicas medias. Propone que, en la educación basada en competencias, reducir la variabilidad del desempeño y estandarizar los comportamientos tempranos puede ser tan significativamente educativo como elevar las puntuaciones promedio.
2. Rigor Metodológico: Al utilizar modelos de efectos mixtos y analizar tanto la tendencia central como la dispersión (varianza), el estudio proporciona un marco estadístico más matizado para evaluar las intervenciones de educación quirúrgica que las simples comparaciones de pre-post medias.
3. Contextualización de la Variabilidad: El artículo destaca que puntuaciones medianas similares pueden coexistir con diferentes distribuciones de desempeño, sugiriendo que una dispersión más estrecha puede indicar menos residentes operando en el extremo bajo, lo cual es una consideración de seguridad crítica.

Significancia y Afirmaciones
Los autores concluyen que la retroalimentación mediante video asincrónica no estuvo asociada con una superioridad sostenida en el desempeño central de OSATS. Sin embargo, los análisis exploratorios sugieren la hipótesis de que la retroalimentación mediante video puede funcionar como una intervención de estandarización temprana que reduce la variabilidad del desempeño, en lugar de actuar únicamente como un potenciador directo del desempeño.

El documento afirma que los estudios futuros deben tener la potencia suficiente para detectar diferencias tanto en el desempeño central como en la variabilidad. Argumenta que las métricas de éxito educativo deben definirse a priori: si el objetivo es la estandarización, la dispersión y los resultados basados en umbrales son más informativos que las puntuaciones promedio de OSATS. Los hallazgos apoyan un enfoque educativo escalonado donde la revisión de video asincrónica temprana se utiliza para identificar la inconsistencia y el desempeño en el extremo bajo, sirviendo como parte de un sistema longitudinal en lugar de una intervención independiente. El estudio reconoce limitaciones, incluyendo la naturaleza observacional de la exposición, la incapacidad de modelar los efectos a nivel de centro debido a identificadores faltantes y el pequeño tamaño de la muestra para los análisis de hitos específicos.