Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review
Diese systematische Übersichtsarbeit zeigt auf, dass die Literatur zur Bewertung des nationalen AETCOM-Professionalitätslehrplans Indiens methodisch fehlerhaft und „invertiert“ ist, indem sie große, selbstbewusste Behauptungen über die Wirksamkeit auf der Grundlage schwacher Designs und Spin aufstellt, während sie es versäumt, die notwendigen Belege dafür zu liefern, ob der Lehrplan tatsächlich die reale medizinische Praxis verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht herauszufinden, ob ein neues, staatlich vorgeschriebenes Rezept für eine „Perfekte Suppe“ die Menschen tatsächlich gesünder macht. In der Welt der medizinischen Ausbildung wird dieses Rezept AETCOM genannt – ein nationales Programm in Indien, das angehende Ärzte lehrt, wie man freundlich, ethisch und gut im Umgang mit Patienten ist. Aber hier liegt der Haken: Woher wissen Sie, ob die Suppe tatsächlich funktioniert? Sie können nicht einfach den Koch fragen, ob er glaubt, dass sie gut schmeckt, und Sie können auch nicht nur auf die Zutatenliste schauen. Sie müssen beobachten, was passiert, wenn die Suppe echten Kunden in einem echten Restaurant serviert wird. Hier kommt die Wissenschaft der „Evaluation“ ins Spiel. Es ist der Prozess der Überprüfung, ob eine Lektion tatsächlich das Verhalten in der realen Welt verändert und nicht nur im Klassenzimmer. Um dies richtig zu machen, nutzen Wissenschaftler einige große Ideen: „Validität“, was so ist, als würde man prüfen, ob Ihr Lineal tatsächlich die Länge misst und nicht etwa die Temperatur; „Transfer von Training“, was die Frage stellt, ob das, was Sie in der Küche lernen, Ihnen tatsächlich hilft, besser zu kochen, wenn es im Restaurant hektisch wird; und „Spin“, wenn jemand einen Bericht schreibt, der einen kleinen Erfolg wie einen riesigen Sieg aussehen lässt.
Stellen Sie sich nun ein Team von Detektiven vor – die Forscher Siddalingaiah und Masali –, die beschließen, den Stapel Berichte zu untersuchen, die über dieses Rezept für die „Perfekte Suppe“ geschrieben wurden. Sie fragten nicht einfach: „Funktioniert die Suppe?“, sondern sie stellten eine viel seltsamere Frage: „Sind die Berichte, die wir haben, überhaupt in der Lage, diese Frage zu beantworten?“ Sie untersuchten Dutzende von Studien ab dem Jahr 2015, die versuchten, das AETCOM-Curriculum zu testen. Was sie fanden, war ein wenig so, als würde man einen Raum betreten, in dem alle herumschreien, dass die Suppe fantastisch sei, aber niemand die Suppe im Restaurant tatsächlich probiert. Stattdessen probieren sie die Rohzutaten in der Küche oder fragen einfach den Koch, wie er sich fühlt.
Die Detektive fanden heraus, dass die „Größe“ des in diesen Studien berichteten Erfolgs vollständig davon abhing, wie der Test aufgebaut war, und nicht davon, wie gut die Suppe tatsächlich war. Wenn Lehrer ihre eigenen Studenten unmittelbar nach dem Unterricht bewerteten, waren die Ergebnisse riesig und glänzend, wie eine Punktzahl von 3,49 auf einer Skala, bei der 1 bereits großartig ist. Aber als die Forscher nach den einzigen zwei Studien suchten, die Studenten, die das Training erhielten, tatsächlich mit Studenten verglichen, die es nicht erhielten, verschwand die Magie. Die Punktzahl sank auf winzige 0,12. Es war, als hätten die ersten Tester eine Lupe benutzt, die alles größer erscheinen ließ, während die zweite Gruppe einen einfachen, ehrlichen Spiegel benutzte. Die Arbeit zeigt, dass je „permissiver“ (oder lockerer) die Regeln des Tests waren, desto größer der berichtete Erfolg schien.
Noch interessanter fanden die Forscher ein seltsames Muster von „Spin“. Sie fanden heraus, dass in 75 % der Berichte die Autoren Behauptungen aufstellten, die weit über das hinausgingen, was sie tatsächlich gemessen hatten. Es ist, als würde ein Schüler eine Eins in einem Rechtschreibtest bekommen und dann in seinem Bericht schreiben: „Dies beweist, dass ich den Nobelpreis für Literatur gewinnen werde.“ Die Studien maßen Dinge wie „wie sich Studenten fühlten“ oder „was sie in einem Test wussten“, aber die Berichte behaupteten, diese Studien würden beweisen, dass Ärzte nun Patienten besser behandeln oder dass Klagen verschwinden würden. Tatsächlich behaupteten 89 % der Berichte mehr, als ihre Beweise stützen konnten. Sie waren in genau den Bereichen so sicher, in denen sie am wenigsten Beweise hatten.
Der Artikel weist auch darauf hin, dass fast niemand die „Arbeitsbedingungen“ überprüfte. Denken Sie an Folgendes: Man kann einen Fahrer lehren, perfekt auf einem leeren Parkplatz einzuparken, aber wenn die echten Stadtstraßen blockiert, überfüllt und der Chef angewiesen hat, schnell zu fahren, kann er trotzdem einen Unfall bauen. Die Forscher fanden heraus, dass nur 5 % der Studien prüften, ob die Vorgesetzten der Ärzte das neue Verhalten unterstützten, und nur 12 % prüften, ob die Ärzte überhaupt die Chance hatten, das Gelernte zu praktizieren. Ohne zu wissen, ob der „Parkplatz“ offen war, kann man dem Fahrer nicht die schlechte Parktechnik vorwerfen, und man kann auch der Fahrschule nicht die Schuld geben.
Was ist also das Urteil? Der Artikel sagt nicht, dass das AETCOM-Curriculum schlecht ist oder nicht funktioniert. Er sagt, dass die aktuelle Art und Weise, wie wir es testen, kaputt ist. Die Evidenzbasis ist „invertiert“: Sie ist am lautesten und selbstbewusstesten dort, wo sie eigentlich am schwächsten ist. Die Autoren kommen zu dem Schluss, dass wir noch nicht sagen können, ob das Curriculum ein Erfolg oder ein Misserfolg ist, schlichtweg weil wir noch keinen Test gebaut haben, der tatsächlich sehen kann, ob die Lektionen hängen bleiben, wenn Ärzte mit echten Patienten in echten Krankenhäusern zu tun haben. Sie schlagen vor, dass wir aufhören sollten, die „Lupen-Tests“ zu verwenden, und statfangen sollten, ein System aufzubauen, das beobachtet, was in der realen Welt passiert, und prüft, ob das Umfeld es ermöglicht, die neuen Fähigkeiten auch anzuwenden. Bis wir das tun, bleiben die großen Behauptungen über das Retten von Leben und das Heilen von Beziehungen genau das – Behauptungen, keine bewiesenen Fakten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.