Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
Diese Studie zeigt, dass ein lokal bereitgestelltes DeBERTa-v3-Modell zur Verarbeitung natürlicher Sprache die Qualität der Bewertung des Lernens (Quality of Assessment for Learning, QuAL) von narrativen Rückmeldungen zu vertrauenswürdigen beruflichen Tätigkeiten (Entrustable Professional Activities) über mehrere Residenzprogramme hinweg präzise und skalierbar automatisieren kann, wobei eine erhebliche Übereinstimmung mit menschlichen Wertern erreicht wird und gleichzeitig der Datenschutz gewahrt bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Ausbildung geht es beim Lernen nicht mehr nur darum, Fakten auswendig zu lernen; es geht darum, zu beweisen, dass man den Job ausüben kann. Moderne Programme verlassen sich auf ein System, bei dem Ärzte in der Ausbildung ständig dabei beobachtet werden, wie sie reale Aufgaben bewältigen, von der Verwaltung der Patientenversorgung bis hin zum Umgang mit einer Krise. Diese Beobachtungen werden nicht nur mit einer Zahl, sondern auch mit schriftlichen Kommentaren festgehalten. Diese Notizen sind das Lebenselixier des Prozesses. Sie sagen dem Auszubildenden, was er gut gemacht hat, was er korrigieren muss und wie seine Handlungen mit den Standards des Berufsstandes zusammenhängen. Ohne diese spezifischen, qualitativ hochwertigen Notizen erhält ein Auszubildender zwar eine Punktzahl, bleibt sich aber unsicher darüber, wie er sich verbessern kann. Das Problem ist, dass das Schreiben dieser Notizen harte Arbeit ist und die Qualität dessen, was geschrieben wird, stark variiert. Einige Notizen sind reich an Details und klaren Ratschlägen; andere sind vage oder gehen völlig am Thema vorbei. Um dies zu beheben, haben Pädagogen eine Methode entwickelt, um die Qualität dieser Kommentare zu messen, wobei sie auf drei spezifische Dinge achten: den Nachweis dessen, was passiert ist, einen klaren Verbesserungsvorschlag und eine Verknüpfung zu einem Lernziel. Doch das Überprüfen jeder einzelnen Notiz von Hand ist langsam und ermüdend, was es schwierig macht, sicherzustellen, dass jeder Auszubildende das Feedback erhält, das er verdient.
Ein Forschungsteam der University of Alberta setzte sich das Ziel zu prüfen, ob ein Computer bei dieser schweren Arbeit helfen könnte. Sie wollten wissen, ob ein spezialisiertes Computerprogramm, das die menschliche Sprache versteht, in der Lage wäre, diese tausenden schriftlichen Notizen zu lesen und sie genauso zu bewerten wie ein menschlicher Experte. Das Ziel war nicht, die Lehrer zu ersetzen, sondern ein Werkzeug zu bauen, das das Volumen der Arbeit bewältigen kann, während die Daten innerhalb der Mauern des Krankenhauses und der Universität sicher bleiben. Sie konzentrierten sich auf eine spezifische Art der medizinischen Ausbildung namens „Entrustable Professional Activities“, bei denen Assistenzärzte in ihrer Fähigkeit bewertet werden, bestimmte Aufgaben auszuführen. Die Forscher sammelten über 5.000 schriftliche Kommentare aus 24 verschiedenen Residenzprogrammen einer einzigen kanadischen Institution. Diese Kommentare stammten aus einem Jahr der Ausbildung zwischen 2019 und 2020. Bevor der Computer die Daten überhaupt sah, waren die Notizen bereits sorgfältig von menschlichen Experten unter Verwendung einer Standard-Checkliste gelesen und bewertet worden. Dieses menschliche Scoring diente als Goldstandard, als die richtige Antwort, gegen die die Leistung des Computers gemessen werden sollte.
Die Forscher bauten ein Computermodell, das sie vollständig auf ihren eigenen lokalen Servern ausführten, um sicherzustellen, dass niemals sensible Patienten- oder Auszubildendeninformationen ihre sichere Umgebung verließen. Sie brachten das Modell dazu, nach den drei Schlüsselelementen in den Notizen zu suchen: Evidenz, Vorschläge und Verbindungen. Für den Teil der Evidenz musste das Modell entscheiden, wie gut der Schreiber beschrieb, was tatsächlich geschah, reichend von keiner Beschreibung überhaupt bis hin zu einer sehr detaillierten Darstellung. Für die anderen beiden Teile musste es lediglich entscheiden, ob ein Verbesserungsvorschlag vorhanden war und ob die Notiz die Beobachtung mit einem breiteren Lernziel verknüpfte. Um sicherzustellen, dass der Test fair und realistisch war, teilten sie die Daten so auf, dass Notizen über denselben Auszubildenden niemals sowohl in der Trainingsgruppe als auch in der Testgruppe auftauchten. Dies verhinderte, dass der Computer einfach den spezifischen Schreibstil eines bestimmten Auszubildenden auswendig lernte und so vorgab, die Regeln zu verstehen.
Als die Forscher das Modell auf die ungesehenen Testdaten losließen, waren die Ergebnisse ermutigend. Der Computer wurde sehr gut darin, zu erkennen, ob eine Notiz einen klaren Verbesserungsvorschlag enthielt, wobei er in den meisten Fällen richtig lag. Er leistete auch gute Arbeit bei der Identifizierung des Evidenzabschnitts und beurteilte in der überwiegenden Mehrheit der Fälle korrekt die Qualität der Beschreibung. Das Modell war weniger perfekt darin, die Verbindung zwischen der Beobachtung und dem Lernziel zu finden, aber es war dennoch gut genug, um nützlich zu sein. Als die Forscher die vom Modell vergebene Gesamtwertung für jede Notiz mit der menschlichen Bewertung verglichen, stellten sie fest, dass in mehr als 86 Prozent der Fälle die Punktzahl des Computers innerhalb von nur einem Punkt der des menschlichen Experten lag. Die Fehler, die es machte, waren meist geringfügig, wie etwa die Vergabe einer Zwei statt einer Drei, anstatt großer Fehler, die die Qualität des Feedbacks völlig falsch darstellen würden.
Die Studie legt nahe, dass diese Art von lokal laufendem Computerwerkzeug ein praktischer Partner für medizinische Pädagogen werden könnte. Es bietet eine Möglichkeit, die Qualität des Feedbacks über viele Programme hinweg zu überwachen, ohne die massiven Kosten, die mit der Einstellung von Menschen verbunden wären, die jede einzelne Notiz lesen müssen. Da das Modell auf lokalen Computern läuft, respektiert es die Privatsphäre der Auszubildenden und der Institution und vermeidet die Risiken, sensible Daten an externe Unternehmen zu senden. Die Forscher weisen vorsichtig darauf hin, dass dies ein Ausgangspunkt ist und keine fertige Lösung. Das Modell muss noch in anderen Krankenhäusern und in realen Situationen getestet werden, um zu sehen, ob es Lehrern und Auszubildenden langfristig hilft. Aber die Ergebnisse zeigen, dass es möglich ist, ein System zu bauen, das die Nuancen des medizinischen Feedbacks versteht, und so einen skalierbaren Weg bietet, um sicherzustellen, dass jeder Auszubildende die klare, handlungsorientierte Anleitung erhält, die er benötigt, um ein erfahrener Arzt zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.