Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration

Resumen Técnico: Establecimiento de Estándares en la Era de la Evaluación Basada en el Lugar de Trabajo

Planteamiento del Problema
La transición hacia la educación médica basada en competencias (CBME, por sus siglas en inglés) en cirugía ha desplazado la evaluación de valoraciones globales al final de la rotación hacia evaluaciones frecuentes y directas basadas en el lugar de trabajo (WBA). Si bien las WBA generan una cantidad sustancial de datos longitudinales sobre el desempeño operatorio, existe una brecha crítica en la orientación sobre cómo traducir estos datos en decisiones defensibles y de alto riesgo respecto a la competencia del residente, específicamente para la graduación. Los métodos de establecimiento de estándares existentes en la educación médica se centran predominantemente en tareas únicas, procedimientos únicos o exámenes escritos, en lugar de datos de desempeño longitudinales y multiprocedimentales. En consecuencia, no existe un enfoque de consenso para establecer un estándar de graduación basado en datos longitudinales de WBA, a pesar de los llamados del campo para extender las metodologías de establecimiento de estándares a este dominio.

Metodología
Este estudio piloto empleó un Panel de Referencia (Benchmark Panel) estructurado y facilitado para evaluar la viabilidad y la confiabilidad de adaptar tres métodos establecidos de establecimiento de estándares a los datos longitudinales de WBA.

• Composición del Panel: Participaron diez educadores quirúrgicos (cirujanos en práctica o becarios/fellows) con diversa experiencia en una sesión virtual de dos horas.
• Herramienta de Evaluación: El estudio utilizó la puntuación de Desempeño Operatorio (OP) de la Sociedad para la Mejora del Aprendizaje Profesional Médico (SIMPL). Esta puntuación (rango 372–628) agrega las WBA acumulativas utilizando un modelo de Teoría de Respuesta al Ítem de dos parámetros (2PL IRT) para la calibración de procedimientos e Inferencia Bayesiana (BN) para la puntuación. La puntuación refleja la probabilidad de que un residente obtenga una calificación de "listo para la práctica" (definida como un desempeño seguro, efectivo e independiente) en procedimientos específicos.
• Definición de la Política: El panel tenía como objetivo definir una puntuación de corte correspondiente a un estándar de graduación "listo para la práctica" para procedimientos de alto valor y alta frecuencia, apuntando a un umbral donde al menos el 75% de los desempeños sean juzgados como listos para la práctica.
• Métodos de Establecimiento de Estándares:
  1. Método Angoff: Los panelistas estimaron la probabilidad de que un "residente graduado mínimamente competente" cumpliera con el estándar de listo para la práctica en una lista de procedimientos específicos.
  2. Método de Marcador (Bookmark Method): Los procedimientos se ordenaron según la probabilidad predicha de que un residente obtenga una calificación de listo para la práctica. Los panelistas colocaron un "marcador" en el punto donde un residente mínimamente competente tendría menos del 75% de probabilidad de éxito.
  3. Mapeo de Constructos (Construct Mapping): Los panelistas revisaron un mapa de calor que mostraba las puntuaciones SIMPL OP, las probabilidades predichas de calificaciones de listo para la práctica por procedimiento y los rangos percentiles. Identificaron la puntuación que separa a los residentes intermedios de los listos para la práctica, utilizando tanto criterios de referencia como de norma.
• Análisis: El análisis cuantitativo consistió en un ANOVA de medidas repetidas de un factor para comparar las medias de las puntuaciones de corte de OP a nivel de participante entre los métodos. El análisis cualitativo utilizó la metodología de descripción interpretativa sobre las transcripciones de las sesiones para identificar temas relacionados con la utilidad del proceso y del método.

Resultos Clave

• Convergencia Cuantitativa: Las medias de las puntuaciones de corte de OP a nivel de participante fueron 577 (DE 30) para Angoff, 588 para Bookmark y 582 (DE 19) para Mapeo de Constructos. El análisis estadístico reveló que no hubo una asociación significativa entre el método de establecimiento de estándares y las puntuaciones de corte resultantes [F(2, 18) = 0.63, p = 0.54]. Las comparaciones por pares también fueron no significativas.
• Estándar Propuesto: Basándose en la convergencia de los métodos y la retroalimentación cualitativa, el panel propuso un estándar de graduación de 582 en la puntuación SIMPL OP, anclado en el método de Mapeo de Constructos. Esta puntuación corresponde al percentil 86 en la muestra y predice una probabilidad del 88–90% de obtener una calificación de listo para la práctica para la apendicectomía laparoscópica, 83–85% para la colecistectomía laparoscópica y 76–80% para la colectomía parcial abierta.
• Hallazgos Cualitativos:
  • El Mapeo de Constructos fue percibido como el de mayor utilidad debido a su eficiencia, capacidad de combinar la referencia de criterio y de norma, y su capacidad de traducir una única puntuación de corte a través de múltiples procedimientos.
  • El método Angoff fue visto como cognitivamente demandante, con panelistas que tuvieron dificultades para alinearse en un modelo mental compartido de un residente "mínimamente competente" y para evitar el pensamiento idealista ("debería") en lugar del basado en la experiencia ("sería").
  • El método Bookmark enfrentó desafíos respecto al orden predeterminado de los procedimientos; los panelistas carecieron de consenso sobre la exactitud de la lista, lo que redujo la confianza en el método.
  • Desafíos del Proceso: Los panelistas destacaron la dificultad de definir a un residente "mínimamente competente", equilibrar la competencia procedimental frente a la competencia en el manejo de enfermedades, e incorporar variaciones en la complejidad de los casos.

Significado y Reivindicaciones
El artículo sostiene que tres métodos distintos de establecimiento de estándares pueden adaptarse de manera factible a los datos longitudinales de desempeño operatorio de las WBA, produciendo puntuaciones de corte estadísticamente convergentes. Esta convergencia respalda la propuesta de la puntuación de corte de OP de 582 como un punto de partida con base empírica para un trabajo posterior de consenso entre múltiples partes interesadas.

El estudio postula que la selección del método debe guiarse por las compensaciones en los requisitos de recursos, las dependencias de los datos y la utilidad percibida, en lugar de un único "mejor" método. Específamente, los hallazgos sugieren que:

1. El Mapeo de Constructos ofrece un marco robusto para establecer estándares de competencia defensibles e informados por datos, vinculando el juicio de los expertos con las distribuciones de desempeño observadas.
2. Los esfuerzos futuros de establecimiento de estándares deben tratar la alineación del modelo mental de "mínimamente competente" como una actividad previa y distinta para reducir la carga cognitiva y mejorar la consistencia.
3. El marco propuesto proporciona un mecanismo inicial para traducir los datos longitudinales de las WBA en estándares de graduación accionables, abordando una brecha crítica en la implementación de la CBME en cirugía.

Los autores mantienen la modestia respecto a sus afirmaciones, señalando que este es un estudio piloto con un solo panel y que la puntuación de corte específica está ligada al algoritmo de puntuación de SIMPL. Enfatizan que, si bien los métodos son generalizables, la puntuación de corte absoluta requiere una mayor validación en diversos contextos de formación y grupos de partes interesadas.