First-Cohort Micro-Credentialing in Thoracentesis and Paracentesis: Feasibility, Uptake, Retention, and Early Implementation Barriers in Procedural Training

Resumen Técnico: Primera Cohorte de Microcredencialización en Toracentesis y Paracentesis

Planteamiento del Problema
La formación procedimental en la educación médica carece frecuentemente de evidencia auditable del desempeño observado. La documentación actual suele depender de indicadores indirectos como las calificaciones de los cursos, la asistencia o los exámenes escritos, los cuales confirman la participación o el conocimiento, pero no logran preservar la evidencia observable de que un estudiante pueda ejecutar un procedimiento de forma segura según un estándar definido. Esta brecha es particularmente crítica para las habilidades psicomotoras, donde un estudiante puede comprender los pasos teóricos pero carecer de una competencia demostrada. Además, los modelos tradicionales de retroalimentación de alta calidad consumen muchos recursos, lo que crea un cuello de botella para escalar la formación en cohortes grandes. Si bien las microcredenciales digitales ofrecen un mecanismo para hacer visibles y portátiles las competencias, persisten interrogantes sin resolver sobre su adopción cuando se desacoplan de las calificaciones, su capacidad para documentar la retención a largo plazo en lugar de solo el desempeño del "día del examen", y la escalabilidad de la evaluación sin sobrecargar al profesorado.

Metodología
Los autores realizaron una evaluación prospectiva del programa (estudio de factibilidad) de una vía de microcredencialización de cuatro niveles para toracentesis y paracentesis dentro de un programa de simulación de pregrado médico. El estudio fue diseñado para examinar la factibilidad, la adopción, la retención y las barreras iniciales de implementación, en lugar de probar la efectividad causal.

El marco de cuatro niveles incluyó:

1. Nivel 1 (Competencia en Simulación): Los estudiantes completaron la preparación remota y los intentos grabados en el simulador. Estos fueron revisados de forma asíncrona por evaluadores utilizando una escala de calificación global OSATS de tipo Likert de 5 puntos y listas de verificación específicas del procedimiento. Se emitió una credencial al alcanzar $\ge$80% de la puntuación máxima en ambos instrumentos sin errores críticos.
2. Nivel 2 (Retención de Seis Meses): Los estudiantes fueron reevaluados aproximadamente seis meses después. Para obtener esta credencial, debían mantener al menos el 70% de su puntuación OSATS inicial y no cometer errores críticos.
3. Nivel 3 (Certificación de Evaluador Par): Una vía de "Entrenar a los Entrenadores" permitió que los estudiantes competentes se sometieran a una capacitación de calibración (revisión de rúbricas, comparación de videos estandarizados, alineación de la calificación de expertos) para convertirse en evaluadores pares, ampliando así la capacidad de evaluación.
4. Nivel 4 (Desempeño Clínico Supervisado): Los estudiantes podían recibir una credencial clínica tras realizar un procedimiento supervisado en un entorno clínico real, requiriendo la certificación de Nivel 2 previa, la atestación de un tutor y el consentimiento del paciente.

Resultos Clave

• Emisión y Adopción de Credenciales: En el extracto acumulativo, se registraron 553 credenciales de Nivel 1, 203 de Nivel 2, 25 de Nivel 3 y 2 de Nivel 4. La tasa de aceptación general (reclamada/emitida) fue del 51.4% (199/387) en el conjunto de datos inicial. Para las cohortes maduras de 2023–2024, la adopción fue del 53.3%. Aproximadamente el 48.2% de las credenciales aceptadas se compartieron públicamente.
• Retención: Entre los que regresaron voluntariamente para la reevaluación de Nivel 2, 105/117 estudiantes de paracentesis y 98/121 de toracentesis cumplieron con los criterios de retención. Las puntuaciones medias de OSATS mostraron un aumento no significativo para la toracentesis (21.68 a 22.12, $p=0.226$) y un aumento significativo para la paracentesis (21.39 a 22.31, $p=0.0166$).
• Factibilidad del Evaluador Par: Se emitieron 25 credenciales de Nivel 3, lo que demuestra la factibilidad de activar una vía de evaluadores pares desde dentro de la comunidad de estudiantes.
• Atestación Clínica: Se emitieron dos credenciales de Nivel 4, confirmando la factibilidad de capturar el desempeño clínico supervisado dentro del flujo de trabajo.
• Barreras de Implementación: Se identificaron cuatro barreras principales: (1) incentivo/visibilidad limitados cuando las credenciales no estaban vinculadas a decisiones de progresión; (2) el tiempo de lanzamiento (la reclamación fue menor cuando los avisos estaban alejados de los hitos calificados); (3) restricciones en la captura del Nivel 4 debido a la disponibilidad de pacientes y los flujos de trabajo de consentimiento; y (4) barreras de comunicación respecto a las alertas de la plataforma.

Contribuciones Clave y Significado
El artículo redefine la microcredencialización no como "distribución de insignias", sino como una vía de evaluación orientada a la validez. Su contribución principal es demostrar que una vía de evidencia estructurada —que combina la práctica deliberada, la evaluación de video asíncrona, la emisión basada en criterios y la retención longitudinal— puede implementarse a escala.

• Argumento de Validez: El estudio postula que el valor de una microcredencial reside en la evidencia que hay detrás (instrumentos estructurados, umbrales predefinidos, registros auditables) más que en el artefacto digital en sí.
• La Retención como Constructo: El estudio operacionaliza la "retención" como un constructo acreditable, yendo más allá de las evaluaciones de un solo punto para documentar la durabilidad del desempeño a lo largo del tiempo, aunque señala que esto se limita actualmente a los que regresan voluntariamente.
• Escalabilidad mediante la Evaluación por Pares: El modelo "Entrenar a los Entrenadores" (Nivel 3) se presenta como un mecanismo factible para ampliar la capacidad de los evaluadores y apoyar la revisión de video escalable, aunque su impacto en la confiabilidad inter-evaluador y la calidad de la retroalimentación requiere mayor evaluación.
• Alineación Educativa: La adopción moderada (aprox. 53%) sugiere que la disponibilidad técnica de la plataforma es insuficiente; el éxito de la adopción depende de la alineación educativa, el respaldo del profesorado y la integración de las credenciales en los hitos curriculares y la identidad profesional.

Limitaciones y Afirmaciones Modestas
Los autores declaran explícitamente que este es un estudio de evaluación de factibilidad, no un ensayo de efectividad. Por consiguiente, no afirman que la microcredencialización mejore directamente la competencia clínica o los resultados de los pacientes. Las limitaciones clave incluyen:

• Sesgo de Autoselección: Los datos de adopción y retención se basan en reclamantes y regresantes voluntarios, lo que puede reflear la motivación en lugar de una competencia generalizable.
• Métricas de Confiabilidad: No se cuantificó formalmente la confiabilidad inter-evaluador entre los evaluadores pares en esta cohorte; se realizó la calibración, pero la confiabilidad del grupo emergente de evaluadores pares aún debe ser medida.
• Generalización Clínica: Los datos del Nivel 4 son exploratorios ($n=2$) y están limitados por la naturaleza oportunista de los procedimientos clínicos.
• Problemas de Denominador: Las tasas de aceptación se calcularon basándose en las credenciales emitidas en lugar del total de la población elegible, ya que no se rastreó completamente el número total de estudiantes elegibles.

El artículo concluye que, si bien el modelo es factible, las iteraciones futuras requieren una reevaluación protocolizada de todos los estudiantes elegibles, un monitoreo continuo de la confiabilidad de los evaluadores y una integración más sólida de las credenciales en el ecosistema de competencias más amplio para impulsar la adopción.