Associations Between Multi-Source Formative Assessment and Summative Examination Performance in Undergraduate Diagnostic Medicine: Evidence Supporting Programmatic Assessment
Diese Studie zeigt, dass multi-quellenbasierte formative Assessments über kognitive, prozedurale und kommunikative Domänen hinweg eine signifikante inkrementelle Validität bei der Vorhersage der Leistung in diagnostischen medizinischen Prüfungen im Grundstudium bieten, was das Design multidominaler programmatischer Assessment-Systeme unterstützt und gleichzeitig die Einschränkungen von Theorieaufgaben aufgrund von Deckeneffekten hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, wer der beste Bäcker einer Stadt ist. Sie könnten sie einfach bitten, an einem einzigen Samstag einen riesigen Kuchen zu backen, und sie nach diesem einen Ergebnis beurteilen. Das ist wie ein „summativer“ Test: eine große, abschließende Prüfung, die nur einmal stattfindet. Aber was wäre, wenn Sie sehen wollten, wie sie tatsächlich lernen? Was wäre, wenn Sie ihnen dabei zusehen würden, wie sie jede Woche Brot backen, wie sie mit einem schwierigen Teig umgehen und wie sie mit ihren Kunden sprechen? Das ist die „formative“ Bewertung: eine Reihe von kleineren, risikoarmen Überprüfungen, die über einen längeren Zeitraum stattfinden, um Schülern beim Wachsen zu helfen.
In der Welt der medizinischen Ausbildung versuchen Lehrer herauszufinden, wie sie diese beiden Ansätze am besten mischen. Sie nutzen ein System namens „programmatische Bewertung“, das wie das Bau eines riesigen Mosaiks aus hunderten von winzigen Kacheln ist. Jede dieser Kacheln ist eine kleine Aufgabe oder eine kurze Überprüfung. Die Idee ist, dass man, wenn man alle Kacheln zusammen betrachtet, ein viel klareres Bild der Fähigkeiten eines Studenten erhält, als durch nur ein einziges großes Bild. Aber hier liegt der knifflige Teil: Sind all diese kleinen Kacheln tatsächlich in der Lage vorherzusagen, wie gut ein Student bei der großen Abschlussprüfung abschneiden wird? Und tragen verschiedene Arten von Kacheln – etwa solche, die das Gehirn testen, solche, die die Handfertigkeiten testen, und solche, die die Kommunikationsfähigkeiten testen – jeweils etwas Einzigartiges zum Puzzle bei?
Diese Studie der Guangdong Medical University geht genau dieser Frage auf den Grund. Die Forscher untersuchten 382 Medizinstudenten, die einen Kurs in diagnostischer Medizin absolvierten (das Erlernen der Frage, was mit einem Patienten nicht stimmt). Sie verfolgten fünf verschiedene Arten von Hausaufgaben und Übungsaufgaben, die während des Semesters stattfanden und alle auf einer einzigen Online-Plattform aufgezeichnet wurden. Sie wollten sehen, ob diese „Übungskacheln“ die Ergebnisse der schriftlichen Abschlussprüfung der Studenten vorhersagen konnten.
Dies ist das Ergebnis, und es ist ein wenig wie eine Überraschungsparty, bei der manche Gäste viel hilfreicher sind als andere. Zuerst entdeckten sie, dass fast jede einzelne Art von Übungsaufgabe mit der Note der Abschlussprüfung verknüpft war. Wenn ein Student bei der Übung gut abschnitt, neigte er dazu, auch bei der Abschlussprüfung gut abzuschneiden. Als die Forscher jedoch genauer hinsah, um zu sehen, welche Aufgaben die wirklich unabhängigen Prädiktoren waren (das heißt, welche neue Informationen lieferten, die die anderen nicht bereits abdeckten), wurden die Ergebnisse interessant.
Die „gehirngestützten“ Aufgaben waren ein gemischtes Paket. Eine Art von Hausaufgabe, bei der die Studenten direkt nach einer Vorlesung Multiple-Choice-Fragen beantworteten, entpuppte sich als ein wenig tückisch. Die Punktzahlen waren für alle so hoch (ein Durchschnitt von 89,04 von 100), dass es einem Deckeneffekt entsprach; fast alle erreichten das Maximum, sodass sie nicht zwischen einem guten und einem großartigen Studenten unterscheiden konnte. Es war zu einfach und geschah zu kurz nach dem Unterricht, um ein nützlicher Prädiktor zu sein. Aber die andere kognitive Aufgabe, das sogenannte Problemorientierte Lernen (PBL), war ein Star. Bei PBL arbeiten Studenten in Gruppen, um komplexe medizinische Rätsel zu lösen. Diese Aufgabe war ein starker Prädiktor, was darauf hindeutet, dass die Fähigkeit, ein Problem logisch zu durchdenken, ein entscheidender Schlüssel zum Erfolg ist.
Dann waren da die „praktischen“ Aufgaben. Die Studenten mussten Videos von sich selbst aufnehmen, wie sie körperliche Untersuchungen durchführten (wie das Abhören eines Herzschlags oder der Lunge) und Feedback von Lehrern erhielten. Diese Videoaufgabe war ein weiterer großer Gewinner. Sie sagte die Ergebnisse der Abschlussprüfung voraus, selbst nachdem man die Intelligenz der Studenten oder deren Leistungen bei den Gruppenrätseln berücksichtigt hatte. Dies deutet darauf an, dass der Akt des Selbstaufnehmens, des Erhaltens von Feedback und des Korrigierens der eigenen Technik tatsächlich hilft, das Material tiefgreifend zu lernen, und nicht nur, wie man die Hände bewegt.
Schließlich gab es die „zwischenmenschliche“ Aufgabe. Studenten übten, mit Schauspielern (sogenannten standardisierten Patienten) zu sprechen, um zu lernen, wie man eine Anamnese erhebt. Diese Aufgabe brachte einen kleinen, aber realen Schub für die Vorhersage. Sie war nicht der wichtigste Faktor, aber sie lieferte dennoch eine einzigartige Information, die die anderen Tests vermissten.
Wenn man all diese Teile zusammenfügt, fanden die Forscher heraus, dass diese verschiedenen Arten von Übungsaufgaben etwa 50,5 % der Unterschiede in der Leistung der Studenten bei der Abschlussprüfung erklärten. Die Forscher kamen zu dem Schluss, dass ein gutes Bewertungssystem alle drei Arten von „Kacheln“ benötigt: kognitiv (Denken), prozedural (Tun) und kommunikativ (Sprechen). Sie lernten auch, dass eine Hausaufgabe nur dann ein guter Prädiktor für zukünftigen Erfolg ist, wenn sie anspruchsvoll genug ist, um die Studenten voneinander zu unterscheiden, und nicht nur ein schneller, einfacher Quiz direkt nach dem Unterricht ist. Durch die Nutzung einer einzigen Online-Plattform, um all diese Daten zu sammeln, können Schulen ein viel reicheres, genaueres Bild des Weges eines Studenten erstellen, was beweist, dass Lernen mehr ist als nur das Bestehen eines einzigen großen Tests.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.