Decomposing Error and Style in Automated Clinical Coding
Diese Arbeit argumentiert, dass ein Großteil der Leistungsdifferenz bei der automatisierten klinischen Kodierung, die auf Modellfehler zurückgeführt wird, tatsächlich auf nicht modellierte, systematische Kodierungsstile zurückzuführen ist, und zeigt auf, dass die explizite Konditionierung von Modellen auf ein kodierspezifisches Stilrubrik die Genauigkeit signifikant verbessert und Diskrepanzen über verschiedene Evaluationsmethoden hinweg auflöst.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Mal, wenn ein Patient eine Arztpraxis oder ein Krankenhaus verlässt, beginnt eine kritische administrative Arbeit. Ein medizinischer Kodierer muss die vom Arzt geschriebenen klinischen Notizen lesen und sie in einen standardisierten Satz von alphanumerischen Codes übersetzen. Diese Codes sagen den Versicherungsgesellschaften und staatlichen Programmen genau, was mit dem Patienten nicht stimmte und was unternommen wurde, um ihn zu behandeln, was wiederum bestimmt, wie viel der Leistungserbringer erhält. Jahrzehntelang hat das Feld der automatisierten Kodierung diese Aufgabe als ein einfaches Spiel des Abgleichens behandelt: Ein Computerprogramm liest die Notiz, und wenn seine Liste von Codes nicht perfekt mit einer einzelnen, von einem menschlichen Experten erstellten „Goldstandard“-Liste übereinstimmt, wird der Computer als falsch markiert. Dieser Ansatz setzt voraus, dass zwei Experten, die dieselbe Notiz lesen und dieselben Regeln befolgen, exakt dieselbe Liste von Codes erstellen werden.
Doch in der medizinischen Realität hält diese Annahme nicht stand. Selbst hochqualifizierte menschliche Experten, die dieselbe Patientenakte lesen und dieselben offiziellen Richtlinien anwenden, erstellen oft unterschiedliche Listen von Codes. Sie können sich uneinig darüber sein, ob eine geringfügige Erkrankung aufgeführt werden soll, wie spezifisch eine Diagnose sein muss oder ob administrative Codes für Leistungen hinzugefügt werden sollen, die zwar besprochen, aber nicht durchgeführt wurden. Lange Zeit glaubten Forscher, dass diese Uneinigkeit einfach menschlicher Fehler sei – ein chaotischer, unvermeidbarer Preis eines riesigen Systems mit zehntausenden möglichen Codes. Doch eine neue Studie legt nahe, dass das, was wie ein Fehler aussieht, eigentlich etwas ganz anderes ist: ein systematischer Stilunterschied. So wie zwei Autoren dasselbe Ereignis mit unterschiedlichem Detailgrad oder Fokus beschreiben könnten, wenden zwei Kodierer unterschiedliche interne Richtlinien darüber an, was es verdient, aufgezeichnet zu werden und wie viel Evidenz erforderlich ist, um einen Code zu rechtfertigen.
Ein Team von Forschern bei Amazon setzte sich zum Ziel, diese Lücke zu untersuchen, indem es fragte, ob die Uneinigkeit zwischen den Kodierern zufälliges Rauschen war oder ein vorhersagbares Muster, das man messen und nutzen konnte. Sie begannen mit der Untersuchung eines öffentlichen Datensatzes von 110 Patientenkontakten, die von zwei unabhängigen Teams kodiert worden waren. Obwohl beide Teams mit identischen Notizen arbeiteten, stimmten sie nur bei 73 Prozent der Codes überein. Als die Forscher eine dritte, unabhängige Gruppe von klinischen Auditoren hinzuzogen, um die Notizen zu überprüfen und alle Codes zu entfernen, die offensichtlich unbegründet waren, stieg die Übereinstimmung nur leicht auf 77 Prozent. Dies bedeutete, dass selbst nach Entfernung offensichtlicher Fehler immer noch ein Viertel der Codes zwischen den Experten differierte. Die Forscher stellten die Hypothese auf, dass diese verbleibende Differenz kein Wissensdefizit war, sondern ein Unterschied im „Kodierstil“ – eine spezifische Gruppe von Präferenzen, die jeder Kodierer oder jede medizinische Einrichtung hinsichtlich der Aggressivität der Kodierung, der Spezifität und des erforderlichen Dokumentationsaufwands pflegt.
Um diese Idee zu testen, entwickelten die Forscher ein System, das diesen Stil messen konnte. Sie erstellten eine einfache Rubrik oder Checkliste mit zehn verschiedenen Dimensionen. Einige Dimensionen stellten Fragen wie: „Listet der Kodierer nur die Hauptbeschwerde auf oder führt er jede einzelne erwähnte Problematik auf?“ Andere fragten: „Leitet der Kodierer einen Zustand aus einer erwähnten Medikation ab oder wartet er, bis der Arzt die Diagnose explizit nennt?“ Unter Verwendung eines Large Language Models analysierten sie hunderte von Patientennotizen und die dazugehörigen Codelisten, um jeden Datensatz auf diesen zehn Dimensionen zu bewerten. Dieser Prozess erzeugte ein „Stilprofil“ für jede Gruppe von Kodierern, das im Wesentlichen deren kollektive Gewohnheiten in einer Reihe von Zahlen zusammenfasste, die ihren Ansatz beschrieben.
Der Durchbruch gelang den Forschern, als sie diese Stilprofile nutzten, um die Computermodelle zu steuern. Anstatt den Computer einfach nur anzuweisen, „diese Notiz zu kodieren“, fügten sie einen spezifischen Instruktionsblock hinzu, der den Stil des zu imitierenden Kodierers beschrieb. Wenn beispielsweise der Zielstil „aggressiv“ war, wurde der Computer angewiesen, jede im Text erwähnte mögliche Erkrankung aufzulisten. Wenn der Stil „konservativ“ war, wurde er angewiesen, nur das aufzulisten, was explizit bestätigt wurde. Die Ergebnisse waren beeindruckend. Wenn der Computer mit einem Stilprofil gefütert wurde, das der zu kodierenden Daten entsprach, sprang seine Genauigkeit drastisch nach oben. Wenn der Computer hingegen ein Stilprofil erhielt, das mit den Daten kollidierte – etwa indem man einem konservativen Kodierer befahl, aggressiv zu sein, oder umgekehrt –, brach seine Leistung um bis zu 21 Punkte ein.
Dieser Befund deutet darauf an, dass vieles, was zuvor der Unfähigkeit des Computers zugeschrieben wurde, die Medizin zu verstehen, eigentlich das Scheitern des Computers war, die Gewohnheiten des Kodierers zu verstehen. Die Forscher testeten dies über fünf verschiedene Datensätze hinweg, einschließlich ambulanter Besuche und stationärer Krankenhausaufenthalte, und fanden heraus, dass der Effekt bei fast jeder von ihnen angewandten Methode Bestand hatte. Ob sie ein einfaches Prompting oder eine komplexe, mehrstufige Pipeline verwendeten – das Hinzufügen des korrekten Stilprofils verbesserte die Ergebnisse konsistent. Tatsächlich schnitt ein einfaches, untrainiertes Computermodell, das durch die richtigen Stilinstruktionen geleitet wurde, genauso gut ab wie ein hoch entwickeltes, vortrainiertes Modell ohne eine solche Anleitung. Dies impliziert, dass der Computer die medizinischen Regeln bereits kennt; er muss nur wissen, welche Version der Regeln er in einem spezifischen Kontext anwenden soll.
Die Studie zeigte auch, dass dieser „Stil“ eine Eigenschaft der Datenquelle ist und nicht bloß zufälliges Rauschen. Als die Forscher die Stilprofile verschiedener Krankenhäuser und Kodierteams visualisierten, sahen sie, dass die Profile nach der Quelle gruppiert waren. Ein Krankenhaus, das dazu neigte, Diagnosen sehr spezifisch zu erfassen, hatte ein distinktes Profil, das sich von einem Krankenhaus unterschied, das eher breite, weniger spezifische Codes bevorzugte. Diese Clusterbildung bestätigte, dass Stil eine reale, messbare Charakteristik der Arbeitsweise einer medizinischen Gruppe ist. Die Forscher merkten jedoch auch an, dass ihre zehnstufige Checkliste keine perfekte Landkarte des gesamten Spektrums darstellte. In einem spezifischen Fall, bei dem zwei Teams bei 27 Prozent ihrer Codes uneins waren, konnte die Checkliste den Unterschied nicht vollständig erklären, was darauf hindeutet, dass es noch verborgene Dimensionen des Stils gibt, die ihre derzeitigen Werkzeuge nicht erfassen können. Darüber hinaus funktionierte der Ansatz bei stationären Krankenhausaufenthalten weniger gut, da das schiere Volumen der Codes pro Patient die einfache Skala, die sie entworfen hatten, überforderte.
Letztendlich definiert diese Arbeit die Art und Weise neu, wie wir über die automatisierte medizinische Kodierung denken sollten. Sie legt nahe, dass das Ziel nicht darin bestehen sollte, jeden Computer dazu zu zwingen, eine einzige, starre „Goldstandard“-Liste zu erreichen, sondern anzuerkennen, dass verschiedene medizinische Umgebungen legitime, systematische Unterschiede in der Dokumentation ihrer Pflegeleistungen aufweisen. Indem wir diese Stile messen und uns an sie anpassen, können Computer weitaus genauer werden. Die Forscher kommen zu dem Schluss, dass die Lücke zwischen menschlicher und maschineller Leistung nicht nur eine Frage der Intelligenz oder des Trainings ist, sondern eine Frage der Abstimmung. Wenn wir den Computer lehren können, dieselbe „Sprache“ der Dokumentation zu sprechen wie der menschliche Kodierer, können wir einen erheblichen Teil der Genauigkeit zurückgewinnen, der zuvor als Fehler verloren geglaubt wurde. Das bedeutet nicht, dass der Computer rät; es bedeutet, dass der Computer endlich auf die richtigen Anweisungen hört.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.