Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education
Este estudio cuasiexperimental de contrapeso en la educación de los servicios médicos de emergencia demuestra que la dificultad de los ítems de opción múltiple y el desempeño del examinando permanecen esencialmente invariantes respecto a la posición del ítem, lo que respalda la validez de aleatorizar el orden de las preguntas en las evaluaciones computarizadas.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás tomando un examen importante, como un examen final de una materia difícil. Te sientas, con el lápiz en la mano, y la primera pregunta te golpea. Si esa primera pregunta es un monstruo —superdifícil y confusa— podrías entrar en pánico. Tu corazón se acelera, tu cerebro se siente nublado y, de repente, incluso las preguntas que podrías haber respondido empiezan a parecer imposibles. Esta es la idea detrás de la "ansiedad ante los exámenes": el miedo de que el orden de las preguntas importe. Si te topas con un muro al principio, podrías tropezar durante el resto del examen.
Pero aquí está el giro: ¿qué pasaría si a las preguntas en sí no les importara dónde se sientan? En el mundo de la medición educativa, existe una regla de oro llamada "invarianza". Es como decir que un ladrillo es un ladrillo, ya sea que esté en la parte inferior de un muro o en la parte superior. El peso y el tamaño del ladrillo no cambian solo porque lo hayas movido. Del mismo modo, la dificultad de una pregunta de examen debería ser un rasgo fijo de la pregunta en sí, no un truco de su posición. Si esta regla se cumple, los ordenadores pueden barajar las preguntas de forma aleatoria para evitar que los estudiantes utilicen recursos no autorizados, y las puntuaciones seguirán siendo justas. Pero si la regla se rompe, barajar las preguntas podría hacer que el examen sea accidentalmente más difícil o más fácil para algunas personas, arruinando la equidad.
Esto es exactamente el misterio que un grupo de investigadores en Arabia Saudita decidió resolver. No estaban simplemente adivinando; realizaron un experimento ingenioso con estudiantes que estudian servicios médicos de emergencia. Querían ver si mover una pregunta desde el puro principio de un cuestionario hasta el puro final cambiaba qué tan difícil se sentía o cuántos estudiantes la respondían correctamente. También se preguntaron si empezar con preguntas fáciles y dejar las difíciles para después (la forma "de fácil a difícil") era realmente mejor para el cerebro de todos que lo contrario.
El Gran Barajado de Preguntas
Para resolver este caso, los investigadores organizaron un juego "contrabalanceado". Imagina que tienes un mazo de 10 cartas, cada una representa una pregunta médica sobre la salud del corazón. Crearon dos versiones del cuestionario. El Grupo A recibió las cartas en orden de más fácil a más difícil. El Grupo B recibió exactamente las mismas cartas, pero en orden inverso: de más difícil a más fácil. Debido a que los grupos estaban perfectamente emparejados, cada una de las preguntas fue planteada al inicio del examen para un grupo y al final para el otro. Era como ver la misma película, pero un grupo vio el final primero y el otro vio el principio primero.
El estudio involucró a 89 estudiantes (65 hombres y 24 mujeres) que realizaban un cuestionario de 10 preguntas sobre cardiología. Las preguntas variaban desde simples comprobaciones de memoria (como "¿Cuál es el nombre de esta válvula cardíaca?") hasta complejos acertijos clínicos (como "Mira esta tira de ritmo cardíaco y dime qué sucede"). Los investigadores utilizaron un truco estadístico especial para ver si la "dificultad" de una pregunta cambiaba solo por el hecho de haber cambiado de asiento.
El Veredicto: El Ladrillo no se Mueve
Los resultados fueron sorprendentemente tranquilos. Los investigadores descubrieron que la dificultad de una pregunta era casi completamente invariante a su posición. En lenguaje sencillo: una pregunta era igual de difícil (o de fácil) ya fuera que apareciera primero o al final.
Cuando analizaron a los estudiantes varones, que constituían el grupo más grande, los datos fueron increíblemente consistentes. La dificultad de una pregunta cuando estaba al principio del examen se correlacionó casi perfectamente (una puntuación de 0.975) con su dificultad cuando estaba al final. Incluso para las preguntas que fueron movidas a través de todo el examen —desplazándose nueve posiciones— la dificultad apenas se movió. La diferencia promedio en qué tan difícil se sintió una pregunta fue un minúsculo 0.05 en una escala de 0 a 1.
Los investigadores también comprobaron si el tipo de pregunta importaba. ¿Se volvieron las complejas y agotadoras preguntas clínicas más difíciles cuando los estudiantes estaban cansados al final del examen? No. La "invarianza" se mantuvo tanto para las preguntas simples de memoria como para las difíciles preguntas clínicas. La posición de la pregunta no cambió las probabilidades de que un estudiante la respondiera correctamente.
¿Cambió el Orden la Puntuación?
El equipo también se preguntó: "¿Ayuda a los estudiantes obtener puntuaciones más altas comenzar con preguntas fáciles?". La respuesta fue un "tal vez, pero probablemente no".
Cuando compararon los dos grupos, los estudiantes que realizaron la versión "de fácil a difícil" obtuvieron puntuaciones ligeramente más altas en promedio que aquellos que realizaron la versión "de difícil a fácil". El grupo combinado obtuvo 0.48 puntos más de 10. Sin embargo, esta diferencia no fue estadísticamente significativa; el intervalo de confianza osciló entre -0.33 y 1.28, lo que significa que la verdadera diferencia podría ser cero. En otras palabras, el orden no pareció dar una ventaja real.
Hubo un pequeño y débil indicio de beneficio. El orden "de fácil a difícil" hizo que las puntuaciones del examen parecieran ligeramente más consistentes internamente (una medida estadística llamada KR-20 pasó de 0.390 a 0.488). Pero los investigadores advirtieron que estos números eran inestables porque el examen era muy corto (solo 10 preguntas) y los grupos eran pequeños. Así que, aunque empezar con lo fácil podría ser un buen hábito, el estudio no demostró que fuera una solución mágica para obtener mejores puntuaciones.
Por Qué Esto Importa
La gran conclusión es un alivio para cualquiera que diseñe exámenes o los tome. El estudio sugiere que barajar las preguntas —algo que los ordenadores hacen automáticamente para prevenir el uso de recursos no autorizados— no rompe la equidad del examen. La dificultad de una pregunta es un rasgo estable, como el peso de un ladrillo, y no le importa si está al principio o al final de la fila.
Este hallazgo extiende nuestra comprensión desde los estudiantes universitarios generales hasta el mundo de alto riesgo del entrenamiento médico de emergencia. Nos dice que, incluso para el razonamiento médico complejo y de vida o muerte, el orden de las preguntas no distorsiona los resultados. Aunque el enfoque "de fácil a difícil" puede sentirse más agradable para los estudiantes, los datos sugieren que la aleatorización del orden es segura y justa, asegurando que las puntuaciones reflejen lo que los estudiantes saben, y no solo dónde se sentaron en la línea de las preguntas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.