Evaluating the Effectiveness of an Information System-Assisted Competency Assessment for Residents: A Single-Center Study in China
Diese einzentrische Studie in China zeigt, dass eine durch ein Informationssystem unterstützte Kompetenzbewertung für die groß angelegte Assistenzarzt-Ausbildung machbar ist, offenbart jedoch eine signifikante Milde der Lehrkräfte sowie eine Inflation bei den Selbstbewertungen der Assistenzärzte, was die kritische Notwendigkeit einer Kalibrierung der Beurteiler unterstreicht, um die Genauigkeit der Bewertung zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Ausbildung war das Ziel seit langem, sicherzustellen, dass jeder Arzt, der ein Residenzprogramm abschließt, nicht nur kenntlich, sondern wahrhaft kompetent ist. Über Jahrzehnte hinweg stützte sich diese Ausbildung stark darauf, wie viel Zeit ein Student in einem Krankenhaus verbrachte und ob er schriftliche Prüfungen bestand. Der moderne Ansatz, bekannt als kompetenzbasierte medizinische Ausbildung, verlagert den Fokus jedoch darauf, was ein Arzt tatsächlich tun kann. Er zerlegt den komplexen Beruf des Arztes in spezifische Fähigkeiten, wie etwa die Steuerung der Patientenversorgung, die Kommunikation mit einer Familie oder das Unterrichten eines jüngeren Kollegen. Die Herausforderung für Krankenhäuser besteht darin, wie sie diese Fähigkeiten über hunderte von Auszubildenden hinweg fair und genau messen können. Wenn die Personen, die die Assistenzärzte bewerten, zu nachsichtig sind oder wenn die Assistenzärzte glauben, besser zu sein, als sie es sind, versagt das System darin, zu identifizieren, wer mehr Hilfe benötigt. Oh ohne ein klares Bild der tatsächlichen Fähigkeiten eines Assistenzarztes kann ein Krankenhaus nicht garantieren, dass seine Ärzte bereit sind, Patienten sicher zu behandend.
Um dies zu lösen, wandten sich Forscher am West China Hospital in Sichuan, China, an die Technologie, um fast 1.800 Assistenzärzte aus 24 verschiedenen medizinischen Fachrichtungen zu evaluieren. Sie entwickelten ein digitales System, um Daten darüber zu sammeln, wie diese Auszubildenden über mehrere Monate hinweg Leistung erbrachten. Anstatt sich auf eine einzige Meinung zu verlassen, sammelte das System drei verschiedene Arten von Feedback für jeden Assistenzarzt: eine Bewertung durch ihren direkten Fakultätsmentor, eine Bewertung durch ein spezielles Komitee von Experten, bekannt als Clinical Competency Committee, und eine Bewertung durch die Assistenzärzte selbst. Die Forscher wollten sehen, ob dieser digitale Ansatz in einem so großen Maßstab funktionieren konnte und, was noch wichtiger war, ob die verschiedenen Gruppen von Evaluatoren übereinstimmten. Sie suchten nach der Wahrheit hinter den Zahlen: Stiegen die Punktzahlen, während die Assistenzärzte an Erfahrung gewannen, und sahen die Menschen, die sie bewerteten, dieselbe Realität?
Die Ergebnisse zeigten, dass das digitale System gut funktionierte und eine massive Menge an Daten erfolgreich organisierte, die mit Papierformularen unmöglich zu verwalten gewesen wäre. Als die Forscher die vom Expertenkomitee vergebenen Punktzahlen betrachteten, zeichnete sich ein klares Muster ab. Während die Assistenzärzte von ihrem ersten bis zu ihrem dritten Ausbildungsjahr vorrückten, verbesserten sich ihre Punktzahlen in jedem Kompetenzbereich signifikant. Dies bestätigte, dass die Ausbildung funktionierte und dass die Assistenzärzte tatsächlich im Laufe der Zeit geschickter wurden. Eine bestimmte Fähigkeit stach jedoch als durchgehend schwach hervor. Über alle drei Ausbildungsjahre hinweg erhielten die Assistenzärzte in den Bereichen Lehrkompetenz die niedrigsten Bewertungen. Selbst die erfahrensten Auszubildenden hatten in diesem Bereich Schwierigkeiten, was darauf hindeutete, dass sie zwar exzellente Ärzte wurden, aber nicht darauf vorbereitet wurden, andere zu unterrichten.
Die Studie offenbarte auch eine erhebliche Diskrepanz zwischen dem, wer die Bewertung vornahm, und der Art und Weise, wie sie bewerteten. Die Fakultätsmentoren, die täglich eng mit den Assistenzärzten zusammenarbeiten, vergaben Punktzahlen, die im Allgemeinen im gleichen Bereich wie die des Expertenkomitees lagen, aber sie waren konsistent zu gütig. In fünf von sechs Kompetenzbereichen bewerteten die Mentoren die Assistenzärzte höher als das Komitee es tat. Diese „Milde“ bedeutete, dass die Mentoren nicht dieselben Schwächen erkannten, die das Komitee sah. Die Kluft war noch größer, wenn es um die Sicht der Assistenzärzte auf ihre eigene Leistung ging. Wenn die Assistenzärzte sich selbst bewerteten, vergaben sie sich selbst Punktzahlen, die dramatisch höher waren als die Bewertungen des Expertenkomitees. Im Durchschnitt bewertete ein Assistenzarzt sich selbst etwa vier Punkte höher als das Komitee ihn bewertete. Dies deutet darauf hin, dass die Assistenzärzte nicht nur leicht überheblich waren; sie waren sich der Lücke zwischen ihrer Selbstwahrnehmung und ihrer tatsächlichen Leistung weitgehend nicht bewusst.
Die Forscher fanden heraus, dass das digitale System ein mächtiges Werkzeug war, um diese verborgenen Muster aufzudecken. Es ermöglichte ihnen zu sehen, dass das Ausbildungsprogramm zwar erfolgreich darin war, klinische Fähigkeiten aufzubauen, aber daran scheiterte, Lehrfähigkeiten zu entwickeln. Es verdeutlichte auch die dringende Notwendigkeit einer besseren Schulung für die Personen, die die Bewertung vornehmen. Die Fakultätsmentoren mussten lernen, objektiver zu sein, und die Assistenzärzte benötigten Hilfe dabei, zu lernen, ihre eigene Arbeit genau zu beurteilen. Die Studie behauptete nicht, diese Probleme gelöst zu haben, aber sie bewies, dass ein computergestütztes System die klaren, ehrlichen Daten liefern konnte, die nötig sind, um sie zu beheben. Durch den Übergang von fragmentierten Papierunterlagen zu einer einheitlichen digitalen Plattform schuf das Krankenhaus einen Weg, den Fortschritt zu messen, der sowohl groß angelegt als auch detailliert war. Dieser Ansatz bietet einen Weg in die Zukunft der medizinischen Ausbildung, in der Daten genutzt werden können, um sicherzustellen, dass jeder Assistenzarzt wirklich bereit ist, Patienten zu versorgen, anstatt nur die erforderliche Zeit absolviert zu haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.