Sequential generalized kernel equating: Providing comparable scores across multiple test forms with nonequivalent groups and differently measured covariates
Dieser Artikel schlägt „sequenzielle generalisierte Kernel-Gleichsetzung" vor und bewertet diese Methode, die die Verzerrung bei der Gleichsetzung von Testergebnissen für nichtäquivalente Gruppen reduziert, indem sie Unterschiede in den Verteilungen von Kovariaten berücksichtigt, die mittels verschiedener Testformen gemessen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Lehrkraft und versuchen, die Noten zweier verschiedener Klassen, Klasse A und Klasse B, zu vergleichen, um herauszufinden, welche besser abgeschnitten hat. Doch es gibt einen Haken: Sie können die Ergebnisse der Abschlussprüfungen nicht direkt miteinander vergleichen, weil Klasse A eine schwierige Version des Tests abgelegt hat und Klasse B eine leichte Version. Um einen fairen Vergleich zu ermöglichen, müssen Sie die Noten „angleichen" – das heißt, Sie müssen sie auf dieselbe Skala übertragen.
Normalerweise würden Sie für einen fairen Vergleich beiden Klassen einige identische „Anker"-Fragen geben, um zu sehen, wie viel schwieriger der eine Test im Vergleich zum anderen war. Doch was, wenn Sie diese Ankerfragen nicht haben?
Hier kommt die Studie ins Spiel. Sie schlägt eine clevere Umgehungslösung vor, bei der Hintergrundinformationen (wie frühere Noten eines Schülers oder die Schulart) als Ersatz für die fehlenden Ankerfragen dienen. Die Autoren bezeichnen diese Methode als Sequentielle Generalisierte Kernel-Angleichung.
Hier ist die einfache Aufschlüsselung des Problems und ihrer Lösung:
Das Problem: Das „Lineal" selbst ist defekt
Bei Standardmethoden geht man davon aus, dass die Hintergrundinformationen (das „Lineal", mit dem Sie die Leistung messen) für alle gleich sind.
- Das Szenario: Stellen Sie sich vor, Sie verwenden „Mathe-Noten aus einem vorherigen Test" als Ihr Hintergrund-Lineal, um die neuen Englischtest-Ergebnisse anzugleichen.
- Der Fehler: Was ist, wenn Klasse A letztes Jahr einen schwierigen Mathe-Test und Klasse B einen leichten Mathe-Test geschrieben hat?
- Das Ergebnis: Eine Mathe-Note von „80" bedeutet für Klasse A etwas völlig anderes als für Klasse B. Wenn Sie diese unpassenden Zahlen verwenden, um die Englischnoten zu korrigieren, wird Ihr endgültiger Vergleich verzerrt sein. Es ist, als würde man versuchen, die Körpergröße zweier Personen mit einem Lineal zu messen, das sich für die eine Person zusammenzieht und für die andere dehnt.
Die Lösung: Die „Zwei-Schritte"-Korrektur
Die Autoren schlagen einen sequentiellen Ansatz vor. Anstatt die rohen, unpassenden Hintergrundnoten sofort zu verwenden, korrigieren Sie die Hintergrundnoten zuerst.
Stellen Sie es sich so vor:
- Schritt 1: Das Lineal kalibrieren. Bevor Sie die Englischtests vergleichen, gleichen Sie zunächst die Mathe-Noten von Klasse A und Klasse B gegeneinander an. Sie übertragen die „leichten Mathe"-Noten von Klasse B auf die Skala der „schwierigen Mathe"-Noten von Klasse A. Jetzt sprechen alle dieselbe „Mathe-Sprache".
- Schritt 2: Das Hauptereignis vergleichen. Jetzt, da die Hintergrund-Mathe-Noten fair und vergleichbar sind, verwenden Sie diese angepassten Noten, um Ihnen beim Angleichen der Englischtests zu helfen.
Was die Studie herausfand
Die Autoren führten Computersimulationen durch (wie ein Videospiel, in dem sie fiktive Schüler und Tests erstellten), um zu prüfen, ob diese Zwei-Schritte-Methode besser funktioniert als die alte Ein-Schritte-Methode.
- Wenn das „Lineal" defekt war (unterschiedliche Schwierigkeit): Die alte Methode lieferte unfaire Ergebnisse (hohe Verzerrung). Die neue sequentielle Methode korrigierte zuerst das Lineal, was den endgültigen Vergleich der Englischnoten erheblich genauer machte.
- Wenn das „Lineal" in Ordnung war (gleiche Schwierigkeit): Beide Methoden funktionierten gut, aber die neue Methode schadete nichts.
- Der Kompromiss: Die neue Methode fügt ein wenig „Rauschen" (statistische Unsicherheit) hinzu, da Sie einen zusätzlichen Berechnungsschritt durchführen. Der Vorteil der Beseitigung der großen Verzerrung (Ungerechtigkeit) wiegt diesen kleinen Nachteil jedoch bei weitem auf.
Realitätscheck: Die tschechische Hochschulreifeprüfung
Um zu beweisen, dass dies in der Praxis funktioniert, wandten sie dies auf die tschechische nationale Hochschulreifeprüfung an.
- Sie versuchten, Englischtest-Ergebnisse von Schülern zu vergleichen, die die Prüfung im Frühjahr bzw. im Herbst ablegten.
- Sie verwendeten die Noten der Schüler in ihrer Muttersprache (Tschechisch) als Hintergrund-„Lineal".
- Der Realitätscheck: Sie stellten fest, dass die tschechischen Tests über die Jahre hinweg tatsächlich sehr konsistent waren. Da das „Lineal" in diesem speziellen Fall nicht wirklich defekt war, änderte die neue Methode die endgültigen Englischnoten im Vergleich zur alten Methode kaum.
- Die Lehre: Dies beweist, dass die neue Methode zwar leistungsstark ist, Sie sie aber nicht immer benötigen, wenn Ihre Hintergrunddaten bereits stabil sind. Wenn Sie jedoch vermuten, dass Ihre Hintergrunddaten inkonsistent sind (wie bei verschiedenen Mathe-Tests), ist diese Methode Ihr Sicherheitsnetz, um Fairness zu gewährleisten.
In Kürze
Wenn Sie versuchen, Testergebnisse zwischen verschiedenen Gruppen zu vergleichen, ohne dass ein gemeinsamer „Anker"-Test vorliegt, und Sie dabei Hintergrunddaten (wie frühere Noten) zur Hilfe verwenden, stellen Sie sicher, dass diese Hintergrunddaten zuerst fair gemessen werden. Wenn die Hintergrunddaten aus verschiedenen Quellen oder Tests mit unterschiedlichen Schwierigkeitsgraden stammen, verwenden Sie diese sequentielle Methode, um die Hintergrunddaten zu korrigieren, bevor Sie die Haupttestergebnisse angleichen. So stellen Sie sicher, dass Sie nicht Äpfel mit Birnen vergleichen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.