Resumen Técnico: Evaluación de Competencias Asistida por IA a partir de Video Egocéntrico en Educación de Enfermería Basada en Simulación

1. Planteamiento del Problema

La evaluación de competencias en simulación clínica, particularmente en la educación de enfermería, depende tradicionalmente de la observación humana experta. Este enfoque es intensivo en tiempo, difícil de escalar para cohortes en crecimiento y está sujeto a variabilidad entre evaluadores. Aunque el video proporciona un registro rico del desempeño del aprendiz, los enfoques automatizados existentes a menudo asumen entornos ricos en datos y de cámara fija (por ejemplo, laparoscopia quirúrgica) y se centran en habilidades técnicas aisladas en lugar de la competencia holística.

Este estudio aborda el desafío de evaluar la competencia holística de enfermería utilizando video egocéntrico (en primera persona) procedente de aprendizaje basado en simulación. El dominio específico es la administración de medicamentos pediátricos, donde la competencia es inherentemente secuencial; los errores pueden surgir de acciones correctas realizadas en el orden equivocado o con pasos de seguridad omitidos. La investigación indaga si la evidencia visual sola, analizada mediante codificadores visuales congelados y aprendizaje con pocos ejemplos, puede apoyar la evaluación de competencias, y si la dificultad de reconocer estas acciones porta señales pedagógicas.

2. Metodología

Los autores proponen un marco de tres etapas aplicado a 22 sesiones de video egocéntrico densamente anotadas (totalizando 3.8 horas y 493 segmentos de acción clínica) de estudiantes de enfermería realizando simulaciones estandarizadas en maniquíes de alta fidelidad.

Etapa 1: Reconocimiento de Acciones con Pocos Ejemplos

• Entrada: Cuadros de video egocéntrico ($V_i$) y un conjunto de soporte ($S$) de ejemplos etiquetados de otras sesiones (configuración de validación cruzada leave-one-out).
• Extracción de Características: Un codificador base congelado ($\phi$) extrae características por cuadro. Se evaluaron tres codificadores base: ResNet-50 (supervisado en ImageNet), DINOv2 ViT-B/14 (auto-supervisado en ImageNet) y CLIP ViT-B/16. No se realizó ajuste fino.
• Cálculo de Prototipos: Los prototipos de clase se calculan a partir de las sesiones de soporte utilizando un paradigma de red prototípica. El estudio compara una estrategia de prototipo medio (promedio de centroides normalizados) contra una estrategia de prototipo agrupado (sub-centroides k-means).
• Suavizado Temporal: Las puntuaciones continuas de similitud coseno entre los cuadros de consulta y los prototipos se pasan a un Modelo Oculto de Markov (HMM) con decodificación de Viterbi. Esto impone secuencias de etiquetas temporalmente coherentes aprendiendo probabilidades de transición desde el conjunto de soporte, en lugar de clasificar cuadros independientemente.
• Salida: Una línea de tiempo de acción predicha ($\hat{y}_i$) para 16 clases de acción clínica más una clase de fondo.

Etapa 2: Análisis de Secuencia

• Construcción de Secuencia: Las etiquetas a nivel de cuadro predichas se colapsan en segmentos de acción ordenados (codificación de longitud de ejecución), descartando el fondo y los segmentos cortos.
• Derivación de Características:
  1. Frecuencias de Transición de Acciones: Flujo par a par entre acciones clínicas para construir modelos de proceso.
  2. Métricas de Reconocimiento: Las métricas por video (precisión Media-sobre-Cuadros [MOF], media de Intersección sobre Unión [mIoU] y F1 Segmental) se retienen como medidas resumidas del ajuste del clasificador.

Etapa 3: Análisis de Competencia

• Correlación: Dado el tamaño de muestra pequeño ($N=22$), se utiliza la correlación de rango de Spearman para mapear características de secuencia y métricas de reconocimiento a puntuaciones de competencia calificadas por instructores (derivadas de la rúbrica del Instrumento de Evaluación de Competencias Creighton [C-CEI], específicamente 11 ítems observables en video).
• Robustez: Se calculan asociaciones parciales controlando seis posibles factores de confusión (cobertura de anotación, duración del video, recuento de segmentos, etc.).
• Modelado de Procesos: Las secuencias de acción de verdad fundamental se utilizan para visualizar y comparar gráficos de flujo de trabajo entre grupos de alto y bajo rendimiento.

3. Contribuciones Clave

1. Viabilidad del Reconocimiento de Acciones Clínicas con Pocos Ejemplos: El estudio demuestra que un codificador base DINOv2 congelado con decodificación HMM de Viterbi alcanza un 57.4% de MOF en reconocimiento 1-shot leave-one-out de video de simulación de enfermería egocéntrico. Esto establece la viabilidad bajo condiciones de datos extremadamente bajos sin ajuste fino. DINOv2 superó consistentemente a ResNet-50 y CLIP, sugiriendo que los transformadores de visión auto-supervisados son más adecuados para interacciones mano-objeto de grano fino en este dominio.
2. Correlación Negativa entre Precisión de Reconocimiento y Competencia: Un hallazgo principal es una tendencia negativa estadísticamente significativa entre la precisión de reconocimiento y la competencia calificada por instructores ($\rho = -0.524, p = 0.012$ para mIoU). Esta relación es robusta ante seis controles de confusión. Los autores interpretan esto como que los estudiantes de mayor competencia producen flujos de trabajo más diversos, fluidos y consistentes con el protocolo que son inherentemente más difíciles de igualar para un clasificador basado en prototipos, mientras que los estudiantes de menor competencia exhiben comportamientos más repetitivos y basados en plantillas que son más fáciles de clasificar.
3. Identificación de Señales Pedagógicamente Informativas: El análisis por ítem revela que la tendencia negativa se refleja más fuertemente en comportamientos esperados relacionados con protocolos de seguridad del paciente (por ejemplo, "Utiliza identificadores del paciente") y comunicación en equipo. Las características simples de secuencia (por ejemplo, relación de tiempo en pantalla) no mostraron una relación significativa con la competencia, lo que sugiere que la dificultad de clasificación en sí misma es la señal informativa.
4. Diferencias en Flujos de Trabajo Temporales: Las comparaciones de modelos de proceso muestran que los estudiantes de alto rendimiento exhiben transiciones de acción más diversas y se adhieren más estrictamente a progresiones consistentes con el protocolo (por ejemplo, transiciones directas en la preparación de medicamentos), mientras que los estudiantes de bajo rendimiento muestran más vacilación (por ejemplo, enrutamiento a través de verificaciones de "Pantalla" innecesariamente) y rutas de flujo de trabajo irregulares.

4. Resultados

• Reconocimiento de Acciones: En la configuración de muestra cruzada (leave-one-out), el rendimiento fue menor que dentro de la muestra, destacando el cambio de dominio causado por diferencias individuales en apariencia, ángulo de cámara y ordenamiento del flujo de trabajo. Sin embargo, el rendimiento se estabilizó alrededor de 10–15 ejemplos, lo que indica que el cuello de botella es la generalización, no la capacidad de representación.
• Correlación de Competencia:
  • mIoU: $\rho = -0.524$ ($p=0.012$).
  • MOF: $\rho = -0.439$ ($p=0.041$).
  • F1: $\rho = -0.433$ ($p=0.044$).
  • Los estudiantes de bajo rendimiento (división mediana) tuvieron un 9.5% más de MOF y un 8.3% más de mIoU que los estudiantes de alto rendimiento.
• Análisis por Ítem: Las correlaciones negativas más fuertes se encontraron para "Comunica efectivamente con el equipo" ($\rho = -0.470$) y "Utiliza identificadores del paciente" ($\rho = -0.455$). Los ítems procedimentales realizados de manera estática y repetitiva no mostraron asociación.
• Modelos de Proceso: Los grupos de alto rendimiento mostraron una mayor frecuencia de transiciones directas "Preparar Med $\to$ Aplicar Med" (46% vs. 38% para los de bajo rendimiento) y transiciones "Higiene $\to$ Pantalla" más consistentes (76%), lo que indica mejor control de infecciones y fluidez del flujo de trabajo.

5. Significado y Afirmaciones

El artículo afirma que la precisión de reconocimiento puede servir como una señal pedagógica complementaria en la evaluación automatizada de competencias. Contrario a la suposición de que una mayor precisión siempre indica un mejor desempeño, el estudio sugiere que en la simulación clínica, una menor precisión de reconocimiento puede indicar una mayor competencia porque los aprendices expertos exhiben flujos de trabajo diversos y adaptativos que se desvían de plantillas rígidas.

Los autores proponen una perspectiva de evaluación de dos niveles:

1. Líneas de tiempo de acción predichas: Proporcionan un resumen conductual grueso de qué hizo el estudiante.
2. Dificultad de reconocimiento (por ejemplo, mIoU/F1): Sirve como una señal complementaria de cómo el estudiante ejecutó la tarea, capturando potencialmente la competencia holística, la flexibilidad procedimental y la adhesión a la seguridad que los instrumentos basados en listas de verificación podrían pasar por alto.

El estudio enfatiza que, si bien el análisis basado en visión puede capturar comportamientos observables y diversidad de flujo de trabajo, está fundamentalmente limitado en la captura del razonamiento clínico y el contenido de la comunicación verbal. Los autores permanecen modestos sobre sus afirmaciones, señalando que con $N=22$, los hallazgos son exploratorios y requieren mayor validación. Sugieren que el trabajo futuro debe centrarse en el monitoreo consciente del protocolo utilizando métodos formales y la minería de trayectorias de competencia personalizadas.