A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models
Diese Studie zeigt, dass die Anwendung von Methoden der Multi-Kriterien-Entscheidungsanalyse zur Aggregation von Rangfolgen, insbesondere Borda Count und Reciprocal Rank Fusion, zur Kombination von Outputs aus mehreren Large Language Models die Genauigkeit und Stabilität der automatisierten ICD-10-klinischen Kodierung im Vergleich zur Verwendung einzelner Modelle oder einfacher Abstimmungsverfahren signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges, unordentliches Puzzle zu lösen, bei dem die Puzzleteile medizinische Diagnosen sind. In der Welt des Gesundheitswesens muss jede Geschichte eines Patienten in einen spezifischen Code übersetzt werden, wie eine Geheimsprache namens ICD-10, damit Krankenhäuser Krankheiten nachverfolgen und bezahlt werden können. Aber diese Sprache ist riesig, kompliziert und voller tückischer Regeln. Vor kurzem haben superintelligente Computerprogramme, sogenannte Large Language Models (LLMs), gelernt, diese Codes zu erraten, indem sie Arztberichte lesen. Betrachten Sie diese Modelle als ein Team von brillanten, aber leicht unterschiedlichen Detektiven. Jeder Detektiv betrachtet dieselbe Fallakte und erstellt seine eigene Liste von Verdächtigen (die Codes), sortiert von „am wahrscheinlichsten“ bis „am wenigsten wahrscheinlich“. Das Problem ist, dass Detektiv A manchmal glaubt, Verdächtiger X sei der Schuldige, während Detektiv B davon überzeugt ist, dass es Verdächtiger Y ist. Wenn man nur einem Detektiv zuhört, liegt man vielleicht falsch. Hier kommt ein Feld namens Multi-Criteria Decision Analysis ins Spiel. Es ist im Grunde die Kunst, viele verschiedene Meinungen zusammenzuführen und zu vermischen, um die eine beste Antwort zu finden, ganz so, wie eine Jury Zeugenaussagen kombiniert, um ein Urteil zu fällen. Die große Frage lautet: Wie mischt man diese Listen von Verdächtigen so, dass die endgültige Gruppe klüger ist als jeder einzelne Detektiv für sich allein?
Diese Arbeit befasst sich genau mit dieser Frage, indem sie jedes KI-Modell als einen separaten „Wähler“ in einer großen Wahl für die korrekten medizinischen Codes behandelt. Die Forscher nahmen 1.117 echte geburtshilfliche (schwangerschaftsbezogene) medizinische Notizen, die in brasilianischem Portugiesisch verfasst waren, und baten fünf verschiedene leistungsstarke KI-Modelle, eine geordnete Liste möglicher Codes für jede Notiz zu erstellen. Anstatt den Gewinner aus nur einem Modell zu wählen, testeten sie drei verschiedene Wege, um alle Listen zu einer einzigen „Konsensliste“ zu kombinieren. Sie probierten eine einfache Methode namens „Plurality Voting“ (bei der der Code, der auf den meisten Listen ganz oben steht, gewinnt), eine detailliertere Methode namens „Borda Count“ (bei der ein Code Punkte erhält, basierend darauf, wie hoch er auf jeder Liste erscheint, nicht nur an der obersten Stelle) und eine Methode namens „Reciprocal Rank Fusion“ (die einem Code einen großen Schub gibt, wenn er nahe an der Spitze erscheint, aber auch jene weiter unten mitzählt).
Die Ergebnisse waren recht eindeutig und in ihrer Einfachheit überraschend. Das Team fand heraus, dass das Kombinieren der Modelle fast immer besser funktionierte, als nur dem besten einzelnen Modell zu vertrauen. Konkret war die „Borda Count“-Methode der Star der Show. Als die Forscher sich die Top-3-Vorschläge ansah (eine Zahl, die sie als den idealen Mittelpunkt für die Balance zwischen Genauigkeit und Abdeckung fanden), verbesserte die Borda-Count-Methode die Gesamtgenauigkeit um etwa 20 % auf der Ebene der breiten Kategorien und um fast 19 % auf der Ebene der spezifischen Codes im Vergleich zum besten individuellen KI-Modell. Dies deutet darauf hin, dass das Zuhören auf die „Menge“ der KI-Modelle, insbesondere durch Beachtung dessen, wo ein Code auf jedermanns Liste erscheint, eine viel zuverlässigere Entscheidung schafft als das Vertrauen auf einen einzelnen Experten.
Die Arbeit schließt jedoch auch einige Dinge aus. Sie fand heraus, dass die einfachste Methode, Plurality Voting (nur zu zählen, wer die Nummer 1 ist), nicht so gut funktionierte wie die nuancierteren Methoden, die die gesamte Rangfolge betrachteten. Sie zeigte auch, dass man nicht einfach unendlich viele Vorschläge zur Liste hinzufügen kann. Während das Hinzufügen von mehr Codes hilft, mehr echte Diagnosen zu erfassen (Recall), zieht es letztlich die Genauigkeit (Precision) nach unten, da man zu viele falsche Vermutungen einschließt. Die Studie legt nahe, dass die „goldene Zahl“ 3 ist; geht man darüber hinaus, sinkt die Qualität der Entscheidung. Darüber hinaus merken die Autoren an, dass es nicht viel half, den „stärksten“ Modellen einfach mehr Gewicht zu geben; die ungewichtete, einfache Kombination aller Modelle war genauso gut wie die komplexen gewichteten Varianten.
Kurz gesagt legt die Arbeit nahe, dass die beste Strategie für die klinische Kodierung nicht darin besteht, das eine perfekte KI-Modell zu finden, sondern ein paar verschiedene Modelle wählen zu lassen, die ein System nutzen, das ihre vollständigen Rangfolgen respektiert. Dieser Ansatz bietet eine praktische, robuste Möglichkeit, die medizinische Entscheidungsfindung zu verbessern, ohne die Modelle neu trainieren oder in ihre „Black Boxes“ hineinsehen zu müssen. Die Ergebnisse basieren auf echten Daten und statistischen Tests mit Konfidenzintervallen, was zeigt, dass diese Methode eine stabile und effektive Art ist, mit der unordentlichen Realität der medizinischen Kodierung umzugehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.