Multi-model LLM assessment of Quality Control Circle methodological quality: a designed-anchor reliability study
Diese Studie zeigt, dass ein Panel aus mehreren großen Sprachmodellen die methodische Qualität von Quality-Control-Circle-Berichten zuverlässig und konsistent bewerten kann, wobei eine starke Übereinstimmung zwischen den Modellen erzielt und gezielt eingebaute methodische Schwächen im Vergleich zu schlüsselwortbasierten Methoden effektiv erkannt werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In vielen Krankenhäusern in Ost- und Südostasien arbeiten kleine Teams von Frontalpersonal zusammen, um Probleme zu lösen und die Patientenversorgung zu verbessern. Sie folgen einem strengen, schrittweisen Prozess: Sie wählen ein Thema, messen die aktuelle Situation, setzen sich ein Ziel, finden die Ursachen für Probleme und testen dann Lösungen, um zu sehen, ob diese funktionieren. Sobald ein Zyklus abgeschlossen ist, schreibt das Team einen formellen Bericht, der ihren Weg dokumentiert. Diese Berichte sind lebenswichtig. Krankenhäuser nutzen sie, um die Qualität der Pflege zu beurteilen, um um Auszeichnungen zu konkurrieren und um zu beweisen, dass sie Sicherheitsstandards erfüllen. Das Lesen und Bewerten dieser Berichte ist jedoch eine schwere Last. Menschliche Experten müssen jede Seite lesen, nach spezifischen Details suchen und eine Punktzahl vergeben. Dies kostet viel Zeit, und verschiedene Experten sind oft uneins darüber, was einen guten Bericht ausmacht. Da die Anzahl der Berichte wächst, wird es für Menschen nahezu unmöglich, sie alle gründlich und konsistent zu überprüfen.
Hier kommt die Idee auf, künstliche Intelligenz zur Unterstützung einzusetzen. Große Sprachmodelle sind Computerprogramme, die Texte lesen, den Kontext verstehen und komplexe Anweisungen verstehen können, ähnlich wie ein Mensch. Forscher fragten sich, ob diese Programme darauf trainiert werden könnten, diese Krankenhausberichte zu lesen und sie fair zu bewerten. Die große Frage war nicht nur, ob der Computer eine Punktzahl geben konnte, sondern ob verschiedene Computerprogramme untereinander übereinstimmen würden. Wenn ein Programm sagt, ein Bericht sei exzellent, und ein anderes sagt, er sei schlecht, kann dem System nicht vertraut werden. Um die Antwort zu finden, entwarf ein Forscherteam einen speziellen Test, um zu sehen, ob eine Gruppe verschiedener Modelle der künstlichen Intelligenz diese Qualitätsberichte zuverlässig beurteilen kann.
Die Forscher erstellten einen Satz von dreißig gefälschten Berichten, die exakt wie echte Berichte aus taiwanesischen Krankenhäusern aussahen. Sie schrieben diese Berichte in der traditionellen chinesischen Sprache unter Verwendung derselben Struktur und des gleichen Stils wie die Originaldokumente. Um den Test streng zu gestalten, pflanzten sie heimlich spezifische Fehler in diese Berichte ein, wie etwa fehlende Schritte in der Analyse oder schwache Belege für die Lösungen. Sie erstellten auch einen „Goldstandard“-Score für jeden Bericht, der als korrekter Lösungsschlüssel für den Test diente. Dann baten sie fünf verschiedene Modelle der künstlichen Intelligenz, diese Berichte zu lesen. Den Modellen wurden weder die korrekten Punktzahlen noch die genaue Stelle der Fehler mitgeteilt; sie sahen lediglich den Text der Berichte. Die den Modellen gegebenen Anweisungen listeten jedoch explizit neun spezifische methodische Prüfungen auf, die vor der Bewertung durchzuführen waren, welche neun der zehn Arten der eingepflanzten Fehler entsprachen. Jedes Modell wurde gebeten, den Bericht auf acht verschiedenen Aspekten der Qualität zu bewerten, wie etwa der Tiefe der Analyse, der Solidität der Daten oder der Organisation der Lösungen. Um die Ergebnisse stabil zu halten, las jedes Modell jeden Bericht dreimal.
Die Studie ergab, dass sich vier der verschiedenen Modelle sehr gut untereinander einigten, wenn sie zusammenarbeiteten. Ihre Bewertungen waren konsistent genug, um als zuverlässig zu gelten, mit einem Übereinstimmungsgrad, den die Forscher als „gut“ beschreiben. Dies bedeutet, dass, wenn man diese verschiedenen Programme bitten würde, denselben Bericht zu bewerten, sie wahrscheinlich eine ähnliche Punktzahl vergeben würden. Die Modelle waren auch überraschend gut darin, die versteckten Fehler zu entdecken. Als die Forscher die Modelle baten, die gefundenen Probleme aufzulisten, identifizierten die Modelle die eingepflanzten Fehler in fast allen Fällen. Dies war weitaus effektiver als eine einfache Computersuche, die nur nach bestimmten Schlüsselwörtern sucht. Die einfache Suche übersah viele Fehler, weil die Modelle die Bedeutung des Textes verstanden und nicht nur die Wörter.
Dennoch zeigte die Studie auch, dass die Computer nicht perfekt waren. Obwohl sie untereinander übereinstimmten, entsprachen ihre Punktzahlen nicht immer exakt dem „Goldstandard“-Lösungsschlüssel. In einigen Fällen waren die Modelle zu großzügig und vergaben hohe Punktzahlen für Berichte, die erhebliche Mängel aufwiesen. In anderen Fällen waren sie zu streng. Die Forscher stellten fest, dass die Modelle dazu neigten, Berichte mit höheren Punktzahlen zu bewerten, die länger waren, was darauf hindeutet, dass sie möglicherweise die Länge des Textes mit der Qualität der Arbeit verwechseln. Darüber hinaus wurden die „Goldstandard“-Scores, die zum Vergleich verwendet wurden, von derselben Art von Computerprogramm erstellt, das die gefälschten Berichte geschrieben hatte, was bedeutet, dass der Lösungsschlüssel selbst eine gewisse Voreingenommenheit aufweisen könnte. Aus diesem Grund sind die Forscher vorsichtig zu betonen, dass die Computer zwar untereinander übereinstimmen können, aber noch nicht bewiesen haben, dass sie mit menschlichen Experten übereinstimmen oder die menschliche Urteilskraft ersetzen können.
Die wichtigste Erkenntnis ist, dass ein Team aus verschiedenen Modellen der künstlichen Intelligenz mit einem hohen Grad an Konsistenz zusammenarbeiten kann, um diese Berichte zu bewerten. Sie können versteckte Schwächen im Text viel besser erkennen als eine einfache Stichwortsuche. Dies deutet darauf hin, dass diese Werkzeuge in Zukunft eingesetzt werden könnten, um Tausende von Berichten zu sortieren, diejenigen zu markieren, die die Aufmerksamkeit eines menschlichen Experten erfordern, und die eindeutigen, qualitativ hochwertigen Berichte schnell zu bearbeiten. Doch die Studie geht nicht so weit zu behaupten, dass die Computer bereit sind, die Kontrolle vollständig zu übernehmen. Die Forscher betonen, dass der nächste Schritt darin besteht, diese Modelle an echten Berichten aus echten Krankenhäusern zu testen, um zu sehen, ob sie das Urteilsvermögen erfahrener menschlicher Prüfer erreichen können. Bis dahin bleiben diese Werkzeuge eine vielversprechende Möglichkeit, Menschen bei der Bewältigung des Arbeitsaufwandes zu unterstützen, anstatt die menschliche Expertise zu ersetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.