Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education
Diese kontrabalancierte quasi-experimentelle Studie in der Ausbildung des Rettungsdienstwesens zeigt, dass die Schwierigkeit von Multiple-Choice-Fragen und die Leistung der Prüflinge gegenüber der Position der Fragen im Wesentlichen invariant bleiben, was die Validität der Randomisierung der Fragenreihenfolge in computergestützten Prüfungen unterstützt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schreiben eine große Prüfung, wie etwa eine Abschlussprüfung in einem schwierigen Fach. Sie setzen sich hin, den Bleistift in der Hand, und die erste Frage trifft Sie. Wenn diese erste Frage ein Monster ist – super schwer und verwirrend – geraten Sie vielleicht in Panik. Ihr Herz rast, Ihr Gehirn fühlt sich neblig an, und plötzlich sehen selbst die Fragen, die Sie eigentlich hätten beantworten können, unmöglich aus. Dies ist die Idee hinter der „Prüfungsangst“: die Angst, dass die Reihenfolge der Fragen eine Rolle spielt. Wenn man früh auf eine Wand stößt, könnte man für den Rest des Tests ins Straucheln geraten.
Aber hier kommt die Wendung: Was wäre, wenn die Fragen selbst eigentlich gar nicht darum scheren, wo sie sitzen? In der Welt der Bildungsmessung gibt es eine goldene Regel namens „Invarianz“. Es ist so, als würde man sagen, dass ein Ziegelstein ein Ziegelstein ist, egal ob er unten oder ganz oben an einer Wand sitzt. Das Gewicht und die Größe des Ziegels ändern sich nicht, nur weil man ihn bewegt hat. Ähnlich verhält es sich mit der Schwierigkeit einer Testfrage: Sie sollte ein festes Merkmal der Frage selbst sein, nicht ein Trick ihrer Position. Wenn diese Regel gilt, können Computer die Fragen zufällig durchmischen, um Studenten daran zu hindern, unbefugte Ressourcen zu nutzen, und die Ergebnisse werden dennoch fair sein. Aber wenn die Regel gebrochen wird, könnte das Durchmischen der Fragen die Tests versehentlich für manche Menschen schwerer oder leichter machen und damit die Fairness ruinieren.
Genau dieses Rätsel wollten eine Gruppe von Forschern in Saudi-Arabien lösen. Sie raten nicht nur herum; sie führten ein kluges Experiment mit Studenten durch, die den Rettungsdienst studierten. Sie wollten sehen, ob das Verschieben einer Frage vom ganz am Anfang eines Quiz zum ganz am Ende des Quiz veränderte, wie schwer sie sich anfühlte oder wie viele Studenten sie richtig beantworteten. Sie fragten sich auch, ob es für das Gehirn aller Beteiligten besser war, mit leichten Fragen zu beginnen und die schweren für später aufzusparen (der Weg „von leicht nach schwer“), als das Gegenteil zu tun.
Das große Fragen-Mischspiel
Um diesen Fall zu knacken, bauten die Forscher ein „kontrabalanciertes“ Spiel auf. Stellen Sie sich ein Deck aus 10 Karten vor, die jeweils eine medizinische Frage über das Herz darstellen. Sie erstellten zwei Versionen des Quiz. Gruppe A erhielt die Karten in der Reihenfolge von leicht nach schwer. Gruppe B erhielt exakt dieselben Karten, aber in der umgekehrten Reihenfolge: von schwer nach leicht. Da die Gruppen perfekt aufeinander abgestimmt waren, wurde jede einzelne Frage für die eine Gruppe am Anfang des Tests und für die andere Gruppe am ganz am Ende gestellt. Es war, als würde man denselben Film sehen, nur dass eine Gruppe das Ende zuerst sah und die andere den Anfang zuerst.
Die Studie umfasste 89 Studenten (65 Männer und 24 Frauen), die einen 10-Fragen-Quiz über Kardiologie absolvierten. Die Fragen reichten von einfachen Gedächtnisprüfungen (wie „Wie heißt diese Herzklappe?“) bis hin zu komplexen klinischen Rätseln (wie „Betrachten Sie diesen Herzrhythmusstreifen und sagen Sie uns, was nicht stimmt“). Die Forscher nutzten einen speziellen statistischen Trick, um zu sehen, ob sich die „Schwierigkeit“ einer Frage änderte, nur weil sie ihren Platz wechselte.
Das Urteil: Der Ziegel bewegt sich nicht
Die Ergebnisse waren überraschend ruhig. Die Forscher fanden heraus, dass die Schwierigkeit einer Frage fast vollständig invariant gegenüber ihrer Position war. Auf Deutsch gesagt: Eine Frage war genauso schwer (oder genauso leicht), egal ob sie zuerst oder zuletzt erschien.
Als sie sich die männlichen Studenten ansah, die die größere Gruppe bildeten, waren die Daten unglaublich konsistent. Die Schwierigkeit einer Frage, wenn sie am Anfang des Tests stand, korrelierte fast perfekt (ein Wert von 0,975) mit ihrer Schwierigkeit, wenn sie am Ende des Tests stand. Selbst für Fragen, die über den gesamten Test verschoben wurden – eine Verschiebung um neun Positionen –, änderte sich die Schwierigkeit kaum. Der durchschnittliche Unterschied darin, wie schwer sich eine Frage anfühlte, war ein winziger Wert von 0,05 auf einer Skala von 0 bis 1.
Die Forscher prüften auch, ob die Art der Frage wichtig war. Wurden die komplexen, hirngeschundenen klinischen Fragen schwerer, wenn die Studenten am Ende des Tests müde waren? Nein. Die „Invarianz“ galt sowohl für einfache Gedächtnisfragen als auch für die schwierigen klinischen Fragen. Die Position der Frage änderte nicht die Wahrscheinlichkeit, dass ein Student sie richtig beantwortete.
Ändert die Reihenfolge die Punktzahl?
Das Team fragte auch: „Hilft es Studenten, höhere Punktzahlen zu erreichen, wenn sie mit leichten Fragen beginnen?“ Die Antwort war ein höfliches „Vielleicht, aber wahrscheinlich nicht“.
Als sie die beiden Gruppen verglichen, erzielten die Studenten, die die „leicht-zu-schwer“-Version absolvierten, im Durchschnitt etwas höhere Punktzahlen als diejenigen, die die „schwer-zu-leicht“-Version absolvierten. Die kombinierte Gruppe erzielte 0,48 Punkte mehr von insgesamt 10. Dieser Unterschied war jedoch statistisch nicht signifikant; das Konfidenzintervall reichte von -0,33 bis 1,28, was bedeutet, dass der wahre Unterschied problemlos Null sein könnte. Mit anderen Worten: Die Reihenfolge schien keinen wirklichen Vorteil zu bieten.
Es gab einen kleinen, unsicheren Hinweis auf einen Vorteil. Die „leicht-zu-schwer“-Reihenfolge ließ die Testergebnisse intern etwas konsistenter erscheinen (ein statistisches Maß namens KR-20 ging von 0,390 auf 0,488). Aber die Forscher warnten davor, dass diese Zahlen instabil waren, weil der Test so kurz war (nur 10 Fragen) und die Gruppen klein waren. So dass, obwohl es eine nette Gewohnheit sein könnte, mit leicht zu beginnen, die Studie nicht bewies, dass es ein Wundermittel für bessere Punktzahlen war.
Warum das wichtig ist
Die wichtigste Erkenntnis ist eine Erleichterung für jeden, der Tests entwirft oder sie ablegt. Die Studie legt nahe, dass das Durchmischen von Fragen – etwas, das Computer automatisch tun, um die Nutzung unbefugter Ressourcen zu verhindern – die Fairness des Tests nicht bricht. Die Schwierigkeit einer Frage ist ein stabiles Merkmal, wie das Gewicht eines Ziegels, und es ist ihr egal, ob sie am Anfang oder am Ende der Reihe steht.
Dieser Befund erweitert unser Verständnis von allgemeinen College-Studenten auf die hochsensible Welt des Rettungsdienst-Trainings. Er zeigt uns, dass selbst bei komplexem, lebensentscheidendem medizinischem Denken die Reihenfolge der Fragen die Ergebnisse nicht verzerrt. Während der „leicht-zu-schwer“-Ansatz für Studenten vielleicht angenehmer sein mag, deuten die Daten darauf hin, dass das Randomisieren der Reihenfolge sicher und fair ist und sicherstellt, dass die Punktzahlen widerspiegeln, was die Studenten wissen, und nicht nur, wo sie in der Schlange der Fragen saßen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.