Evaluation and LLM-Guided Learning of ICD Coding Rationales

Diese Arbeit evaluiert die Erklärbarkeit von ICD-Codierungsmodellen hinsichtlich Glaubwürdigkeit und Plausibilität, stellt einen neuartigen, annotierten Datensatz vor und nutzt von einem LLM generierte Rationale als Fernüberwachungssignale, um die Qualität der Rationale-Generierung zu verbessern.

Das Wesentliche

Das große Problem: Der "Blackbox"-Arzt

Stell dir vor, ein Computerprogramm (eine KI) liest die Krankenakte eines Patienten und sagt: "Der Patient hat Diabetes Typ 2." Das ist gut, aber für einen echten Arzt reicht das nicht. Der Arzt fragt: "Warum?"

Bisherige KI-Systeme waren wie ein Magier, der eine Kugel schwingt und plötzlich das richtige Ergebnis nennt, aber niemand weiß, wie er es gemacht hat. Sie zeigen zwar manchmal an, welche Wörter sie "angeschaut" haben (wie ein unscharfer Fingerzeig), aber diese Hinweise sind oft verwirrend oder für Menschen nicht nachvollziehbar. Das macht es schwer, der KI zu vertrauen.

Was diese Forscher gemacht haben: Ein neues Regelbuch

Die Forscher von der Universität Manchester haben sich drei wichtige Fragen gestellt und Lösungen entwickelt:

1. Der fehlende Bauplan (Der neue Datensatz)

Bisher gab es kaum eine "Goldstandard"-Liste, an der man messen konnte, ob die KI wirklich gute Erklärungen liefert. Die alten Listen waren wie ein veraltetes Kochbuch aus den 90ern – sie passten nicht mehr zu den heutigen Rezepten (den neuen medizinischen Codes).

Die Lösung: Die Forscher haben ein neues, modernes Kochbuch erstellt. Sie haben 150 echte Patientenakten von Hand von medizinischen Experten durchgearbeitet. Diese Experten haben genau markiert: "Hier steht der Beweis für Diabetes, hier für Bluthochdruck."

• Vergleich: Früher haben die KI-Modelle geraten, welcher Satz wichtig ist. Jetzt haben sie einen echten Lehrer, der mit einem roten Stift genau unterstreicht, was zählt.

2. Drei Arten von Erklärungen im Vergleich

Die Forscher haben getestet, welche Art von "Hinweis" am besten funktioniert:

• Der "Suchmaschinen"-Ansatz (Entity Linking): Die KI sucht einfach nach bekannten Wörtern wie "Insulin".
  • Vergleich: Wie ein Kind, das nur nach dem Wort "Hund" sucht, um zu wissen, dass da ein Tier ist. Es findet das Wort, versteht aber den Kontext nicht immer.
• Der "Künstliche Intelligenz"-Ansatz (LLM): Hier nutzen sie eine super-smarte KI (wie Gemini), die den Text liest und in ganzen Sätzen erklärt: "Der Patient nimmt Insulin, also hat er Diabetes."
  • Vergleich: Das ist wie ein kluger Assistent, der den Text liest und dir die Geschichte in eigenen Worten erzählt. Dieser Ansatz war der Gewinner! Die KI-erklärungen klangen fast so menschlich wie die von echten Ärzten.
• Der "Mathematik"-Ansatz (Attention Scores): Die alte Methode, bei der die KI nur Zahlen berechnet, welche Wörter wichtig waren.
  • Vergleich: Wie ein verwirrter Tourist, der auf eine Landkarte zeigt und sagt: "Da ist was Wichtiges!", aber nicht weiß, was genau. Das funktionierte am schlechtesten.

3. Lernen vom Lehrer (LLM-gesteuertes Lernen)

Das ist der spannendste Teil. Da die "kluge KI" (der Lehrer) so gute Erklärungen liefern kann, haben die Forscher die "kleine KI" (den Schüler) trainiert, diese Erklärungen nachzumachen.

• Die Methode: Sie haben der kleinen KI gesagt: "Schau, wie der große Lehrer das macht!"
• Der Trick mit den Beispielen: Um die KI noch besser zu machen, haben sie ihr vor dem Start ein paar Beispielaufgaben gezeigt (Few-Shot Prompting).
  • Vergleich: Stell dir vor, du willst Kochen lernen. Wenn dir jemand nur sagt "Koch das", bist du verloren. Wenn dir jemand aber sagt: "Schau, wie ich das mache (Beispiel 1), und hier ist noch ein Beispiel (Beispiel 2)", dann klappt es viel besser.
  • Ergebnis: Durch diese kleinen Beispiele wurde die KI nicht nur besser im Erklären, sondern auch noch genauer im eigentlichen Diagnosenstellen.

Warum ist das wichtig?

Stell dir vor, du sitzt im Wartezimmer und der Computer sagt dir, du hast eine Krankheit. Wenn der Computer nur sagt "Ja, das ist es", bist du vielleicht verunsichert. Wenn er aber sagt: "Ich habe das hier in deinem Bericht gefunden: 'Patient klagt über Durst und häufiges Wasserlassen', und das passt zu Diabetes", dann vertraust du dem Ergebnis viel mehr.

Zusammenfassend:
Die Forscher haben gezeigt, dass wir KI-Systeme im Gesundheitswesen nicht nur als "Blackbox" nutzen sollten. Indem wir ihnen beibringen, gute, menschenlesbare Erklärungen zu geben (und zwar durch das Lernen von noch smarteren KIs), machen wir die Medizin transparenter, sicherer und vertrauenswürdiger. Sie haben den Weg geebnet, damit Computer nicht nur "wissen", sondern auch "erklären" können.

Technische Zusammenfassung

1. Problemstellung

Die automatische Kodierung von medizinischen Diagnosen und Eingriffen in ICD-Codes (International Classification of Diseases) aus unstrukturierten klinischen Texten (z. B. Entlassungsberichten) ist eine kritische, aber fehleranfällige Aufgabe. Während Deep-Learning-Modelle die Kodiergenauigkeit stark verbessert haben, fehlt es ihnen oft an Erklärbarkeit (Explainability).

Bestehende Ansätze zur Erklärbarkeit stützen sich meist auf Attention-Mechanismen, die Textsegmente als Begründung (Rationale) hervorheben. Es gibt jedoch drei wesentliche Lücken in der aktuellen Forschung:

1. Fehlende standardisierte Evaluierung: Es gibt keine umfassenden, hochwertigen Datensätze mit manuell annotierten Begründungen, die speziell für moderne ICD-10-Daten (statt veralteter ICD-9-Daten) erstellt wurden.
2. Eingeschränkte Vergleichbarkeit: Die meisten Studien evaluieren nur Attention-basierte Begründungen und ignorieren andere Typen wie Entitäts-Links oder LLM-generierte Texte.
3. Mangel an Rationale-Learning: Da große, manuell annotierte Datensätze für Begründungen fehlen, werden Modelle selten explizit darauf trainiert, plausible Begründungen zu generieren.

Zudem ist der bisher einzige verfügbare Datensatz (MDACE) auf MIMIC-III (ICD-9) basiert und weist erhebliche Verteilungsverschiebungen (Distribution Shifts) auf, was die Evaluierung von auf ICD-10 trainierten Modellen verzerrt.

2. Methodik

Das Paper verfolgt einen dreistufigen Ansatz: Datenerstellung, Evaluierung und LLM-gestütztes Lernen.

A. Erstellung des Datensatzes RD-IV-10

Die Autoren stellen einen neuen, manuell annotierten Datensatz vor, der auf MIMIC-IV und dem ICD-10-System basiert.

• Annotation: Medizinisches Fachpersonal annotierte 150 Entlassungsberichte.
• Granularität: Im Gegensatz zu früheren Datensätzen (die oft nur eine Begründung pro Code lieferten) enthält RD-IV-10 durchschnittlich 35,94 Begründungssegmente pro Dokument.
• Qualität: Die Annotationen decken direkte und indirekte Hinweise, Medikamente und klinische Faktoren ab und stimmen zu 93,15 % (Full) bzw. 83,88 % (Top-50) mit den Original-ICD-Codes überein, was eine signifikante Verbesserung gegenüber MDACE darstellt.

B. Evaluierungsrahmen

Die Erklärbarkeit wird entlang zweier Dimensionen bewertet:

1. Faithfulness (Treue): Misst, wie sehr die extrahierten Begründungen die interne Entscheidungsfindung des Modells widerspiegeln.
   • Metriken: Suffizienz (Performance bei Erhalt nur der Begründung) und Komprehensivität (Performance-Verlust bei Entfernung der Begründung).
   • Getestete Modelle: CAML, LAAT und PLM-ICD (Attention-basierte Modelle).
2. Plausibility (Plausibilität): Misst, wie überzeugend die Begründungen für menschliche Experten sind.
   • Vergleich: Manuelle Annotationen (Goldstandard) vs. drei Arten von automatisierten Begründungen:
     • Naive Entitäts-basierte Begründungen (Entity Linking).
     • Starke LLM-generierte Begründungen (Gemini 2-Flash, LLaMA-3.3).
     • Modell-generierte Begründungen (Attention-Weights).

C. LLM-gestütztes Rationale-Learning

Aufgrund der hohen Plausibilität von LLM-Ausgaben nutzen die Autoren diese als distant supervision (schwache Aufsicht) für das Training neuer Modelle.

• Multi-Objective Learning: Ein zusätzlicher Verlustterm zwingt das ICD-Kodiermodell, seine Attention-Weights mit den LLM-generierten Masken abzugleichen.
• NER-Formulierung: Das Problem wird als Named Entity Recognition (NER) umformuliert, wobei Begründungstexte als Entitäten behandelt werden, die dem jeweiligen ICD-Code zugeordnet sind.
• Few-Shot Prompting: Um die Qualität der LLM-Generierung weiter zu steigern, werden wenige manuell annotierte Beispiele aus dem RD-IV-10-Datensatz in die Prompts der LLMs integriert.

3. Wichtige Beiträge

1. RD-IV-10 Datensatz: Ein neuer, hochwertiger Benchmark für ICD-10 mit reichhaltigen, mehrstufigen Begründungsannotationen, der die Lücke bei modernen Evaluierungsressourcen schließt.
2. Umfassende Vergleichsstudie: Die erste systematische Evaluierung von drei unterschiedlichen Rationale-Typen (Entity-Linking, LLM, Attention) hinsichtlich Treue und Plausibilität.
3. LLM-gestützte Lernansätze: Einführung und Validierung von zwei Methoden (Multi-Objective und NER), die schwache LLM-Labels nutzen, um Modelle zu trainieren, die plausible Begründungen liefern.
4. Few-Shot Verbesserung: Demonstration, dass die Integration weniger menschlicher Beispiele in LLM-Prompts die Qualität der generierten Begründungen und damit auch die Leistung der darauf trainierten Modelle signifikant steigert.

4. Ergebnisse

Evaluierung der Begründungstypen

• Faithfulness: Attention-basierte Modelle (insbesondere PLM-ICD) zeigen eine moderate Treue, aber die extrahierten Begründungen stimmen kaum mit menschlichen Erklärungen überein.
• Plausibility:
  • Modell-generierte Begründungen (Attention): Erzielen extrem niedrige Scores (nahe 0 % F1-Score) im Vergleich zu menschlichen Annotationen. Sie sind für Menschen kaum nachvollziehbar.
  • Entity-Linking: Mittelmäßige Ergebnisse, leiden aber unter Inkonsistenzen zwischen den Kodierungsschemata (SNOMED CT vs. ICD-10).
  • LLM-generierte Begründungen: Gemini 2-Flash erreicht die besten Ergebnisse und übertrifft alle anderen Methoden deutlich. Es generiert Begründungen, die menschlichen Annotationen sehr nahe kommen.
  • Few-Shot Effekt: Die Verwendung von Few-Shot-Beispielen in den Prompts verbessert die Plausibilität der LLM-Ausgaben um durchschnittlich 39–50 % (F1-Score).

Rationale-Learning Ergebnisse

• Multi-Objective Learning: Verbessert die Plausibilität leicht, ohne die Kodiergenauigkeit zu beeinträchtigen.
• NER-Formulierung: Zeigt das beste Potenzial. Das NER-Modell, trainiert mit LLM-Labels, erreicht eine höhere Plausibilität als das Lehrer-Modell (Gemini 2-Flash) selbst.
  • Trade-off: Die Kodiergenauigkeit (F1-Score) des NER-Modells ist niedriger als bei reinen Kodiermodellen (PLM-ICD), da der Fokus auf der Extraktion von Entitäten liegt. Dennoch ist dies ein vielversprechender Ansatz für die Erklärbarkeit.
• Few-Shot im Training: NER-Modelle, die mit Few-Shot-generierten Daten trainiert wurden, übertreffen Modelle ohne Few-Shot-Unterstützung konsistent in der Plausibilität.

5. Bedeutung und Fazit

Das Paper liefert einen Paradigmenwechsel in der Forschung zur Erklärbarkeit von klinischen Kodiermodellen:

1. Validierung von LLMs: Es zeigt, dass moderne LLMs (wie Gemini) nicht nur für die Generierung von Text, sondern auch als hochqualitative "Lehrer" für die Extraktion von medizinischen Begründungen dienen können, wenn sie korrekt promptet werden.
2. Überwindung von Datenknappheit: Durch die Nutzung von LLMs als schwache Aufsicht und die Verbesserung durch Few-Shot-Learning kann das Problem des Mangels an manuell annotierten Begründungsdaten gelöst werden.
3. Praxisrelevanz: Die vorgestellten Methoden ermöglichen die Entwicklung von KI-Systemen, die nicht nur korrekte Codes liefern, sondern auch menschlich verständliche und vertrauenswürdige Begründungen liefern, was für die Akzeptanz in der klinischen Praxis entscheidend ist.

Zusammenfassend demonstriert die Arbeit, dass die Kombination aus hochwertigen manuellen Benchmarks (RD-IV-10), LLM-generierten Supervisionssignalen und Few-Shot-Prompting der Schlüssel zu robusten und erklärbaren ICD-Kodiersystemen ist.