Global Validation and Cognitive Diagnosis Evaluation of the Pharmacology Concept Inventory: Multinational, Multi-Stage Psychometric and Invariance Analysis

Resumen Técnico: Validación Global y Evaluación del Diagnóstico Cognitivo del Inventario de Conceptos de Farmacología

Planteamiento del Problema
El estudio aborda la necesidad crítica de una herramienta de evaluación válida, fiable y basada en conceptos para evaluar la comprensión de los estudiantes de farmacología en diversos contextos educativos internacionales. Si bien el Inventario de Conceptos de Farmacología (PCI, por sus siglas en inglés) fue desarrollado previamente para evaluar conceptos farmacológicos fundamentales e identificar conceptos erróneos, carecía de una validación multinacional a gran escala. Las herramientas de evaluación existentes a menudo no logran considerar la naturaleza interconectada del razonamiento farmacológico ni proporcionar información diagnóstica sobre las fortalezas y debilidades conceptuales específicas. Los autores argumentan que, sin una validación empírica robusta a través de cohortes y enfoques pedagógicos variados, la utilidad del PCI para la comparación de referencias (benchmarking), la planificación curricular y la identificación de conceptos erróneos persistentes sigue siendo limitada.

Metodología
La investigación empleó un diseño cuantitativo, transversal, que involucró una muestra multinacional a gran escala de 1,211 estudiantes de 23 instituciones en 12 países (incluyendo Australia, el Reino Unido, EE. UU., Canadá y diversas naciones de Europa y Asia). Los participantes fueron seleccionados de programas de ciencias biomédicas y profesionales de la salud que habían completado cursos de farmacología.

El PCI consta de 24 ítems de opción múltiple que cubren siete conceptos farmacológicos centrales: aclaramiento de fármacos (DCl), biodisponibilidad de fármacos (DBio), concentración de estado estacionario (Css), volumen de distribución (Vd), eficacia de fármacos (DE), tolerancia a fármacos (DT) y relaciones estructura-actividad (SAR). Cada ítem incluye distractores basados en conceptos erróneos documentados de los estudiantes y una opción de "no estoy seguro" para mitigar el azar en las respuestas.

El marco analítico utilizó un enfoque de tres etapas impulsado por modelos:

1. Evaluación de la Dimensionalidad: La muestra se dividió en dos submuestras independientes. Se realizó un Análisis Factorial Exploratorio (EFA) utilizando correlaciones tetracóricas y Análisis Paralelo (PA) en la primera submuestra, seguido de un Modelado de Ecuaciones Estructurales Exploratorias (ESEM). La segunda submuestra se utilizó para el Análisis Factorial Confirmatorio (CFA) para verificar la validez estructural.
2. Modelado Psicométrico: El estudio integró la Teoría Clásica de los Tests (CTT), la Teoría de Respuesta al Ítem (IRT) y la Evaluación de Diagnóstico Cognitivo (CDA).
   • CTT: Evaluó la dificultad de los ítems (valores p) y la discriminación (correlaciones punto-biseriales).
   • IRT: Ajustó modelos 1PL, 2PL y 3PL para estimar los parámetros de dificultad y discriminación de los ítems, seleccionándose el modelo 2PL basado en el Criterio de Información Bayesiana (BIC).
   • CDA: Utilizó una matriz-Q dirigida por la teoría que vincula los ítems con atributos únicos. Se compararon múltiples modelos (GDINA, DINA, DINO, A-CDM, R-RUM) para determinar el mejor ajuste para los perfiles de maestría diagnóstica. El modelo de DINA Generalizado (GDINA) fue seleccionado para la estimación final de parámetros debido a su flexibilidad para manejar el razonamiento compensatorio y no compensatorio.
3. Análisis de Invarianza y Sesgo: Se emplearon modelos de Múltiples Indicadores Múltiples Causas (MIMIC) para evaluar el impacto de las variables demográficas (género, idioma, tipo de programa, año de estudio, nivel académico) en la competencia latente. El Funcionamiento Diferencial de los Ítems (DIF) se analizó mediante enfoques combinados de MIMIC e IRT para identificar ítems que funcionaban de manera distinta entre subgrupos.

Resultos Clave

• Dimensionalidad: Los análisis factoriales indicaron que el PCI mide principalmente una única dimensión subyacente de competencia farmacológica, respaldada por un factor primario dominante tanto en el EFA como en el CFA. Aunque un modelo de 7 factores (uno por concepto) mostró índices de ajuste elevados, sufrió de inestabilidad y altas correlaciones inter-factores (superando 1.0 en algunos casos), lo que sugiere que los conceptos no son empíricamente separables. Un modelo unidimensional con agrupaciones multidimensionales secundarias proporcionó la interpretación más estable.
• Propiedades Psicométricas: El instrumento demostró una fuerte consistencia interna (alfa de Cronbach = 0.86; Omega total = 0.93). La discriminación de los ítems fue consistentemente fuerte a través de los marcos CTT, IRT y CDA, con la mayoría de los ítems mostrando una discriminación excelente (≥ 0.40). La dificultad de los ítems fue generalmente moderada, aunque los dominios de concentración de estado estacionario (Css) y aclaramiento de fármacos (DCl) mostraron mayor incertidumbre y menores probabilidades de maestría.
• Diagnóstico Cognitivo: El CDA exploratorio reveló que las probabilidades de maestría variaron significativamente según el concepto. La tolerancia a fármacos (DT) tuvo la mayor probabilidad de maestría (68%), mientras que las relaciones estructura-actividad (SAR) tuvieron la menor (33%). El análisis indicó que los estudiantes suelen mantener conceptos erróneos (seleccionando distractores) en lugar de simplemente estar inseguros, ya que las respuestas impulsadas por conceptos erróneos fueron más frecuentes que las respuestas de "no estoy seguro".
• Predictores Demográficos: La regresión MIMIC identificó el "tipo de programa" y el "año de estudio" como predictores significativos de la competencia latente. Los estudiantes de medicina superaron a los estudiantes no médicos, y los estudiantes de años iniciales (1.º/2.º año) puntuaron significativamente más alto que los de años avanzados (3.er año en adelante). El género, el trasfondo lingüístico y el nivel académico (pregrado vs. posgrado) no fueron predictores significativos.
• Funcionamiento Diferencial de los Ítems (DIF): Cuatro ítems (DCl3, Css1, DE5, Vd2) exhibieron un DIF confirmado a través de tipos de programa o años de estudio. Específicamente, los estudiantes no médicos y los de años avanzados encontraron estos ítems más difíciles que sus grupos de referencia, incluso controlando la capacidad latente general.

Significancia y Reivindicaciones
El estudio establece al PCI como una herramienta válida, fiable y con utilidad diagnóstica para evaluar la comprensión conceptual en la educación farmacológica en contextos internacionales. Los autores afirman que el PCI identifica con éxito conceptos erróneos persistentes y proporciona una visión matizada de la competencia del estudiante que va más allá de las puntuaciones totales simples.

Las contribuciones clave incluyen:

1. Validación de una Herramienta Global: El PCI está validado en 12 países y diversos sistemas educativos, lo que respalda su uso como un estándar de referencia para la educación en farmacología.
2. Utilidad Diagnóstica: Al integrar la CDA, la herramienta ofrece a los educadores información específica sobre qué conceptos centrales (por ejemplo, SAR, DCl) son más desafiantes y dónde prevalecen los conceptos erróneos, facilitando intervenciones instructivas dirigidas.
3. Perspectiva sobre la Estructura del Conocimiento: Los hallazgos sugieren que el razonamiento farmacológico es un proceso jerárquico e interconectado en lugar de una colección de dominios aislados. Esto desafía la noción de pruebas de conceptos estrictamente discretos y apoya un enfoque integrado para el diseño curricular.
4. Equidad y Justicia: La identificación de ítems específicos con DIF permite el refinamiento futuro para asegurar la equidad entre diferentes poblaciones de estudiantes, mientras que el bajo alcance general de DIF respalda la generalizabilidad del instrumento.

Los autores concluyen que el PCI sirve como un marco robusto para la planificación curricular basada en evidencia, la mejora de la enseñanza y la evaluación de los resultados de aprendizaje, siendo adecuado tanto para la evaluación formativa como sumativa.