💬 NLP

Managing Map Cardinality in Automatic Disease Classification Mapping: Balancing Precision, Recall and Coverage

Dieses Paper führt ein neuartiges Blocking-and-Matching-Framework ein, das große Sprachmodelle nutzt, um die Präzisions-Recall-Coverage-Trade-offs bei der automatischen Klassifizierung von Krankheitszuordnungen zu adressieren und dabei komplexe Eins-zu-viele-Beziehungen zwischen ICD-Versionen effektiv handhabt, während es bestehende embedding-basierte und schwellenwertbasierte Methoden übertrifft.

Ursprüngliche Autoren: Santosh Purja Pun, Oliver Obst, Jim Basilakis, Jeewani Anupama Ginige

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Santosh Purja Pun, Oliver Obst, Jim Basilakis, Jeewani Anupama Ginige

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek medizinischer Unterlagen von einer Sprache in eine andere zu übersetzen. Aber anstatt Englisch und Französisch zu verwenden, übersetzen Sie zwischen verschiedenen Versionen der „Internationalen Klassifikation der Krankheiten“ (ICD). Betrachten Sie die ICD als ein riesiges, sich entwickelndes Wörterbuch der Krankheiten. Alle paar Jahre erhält das Wörterbuch eine neue Ausgabe (wie ICD-9, ICD-10, ICD-11), und die Begriffe ändern sich, werden aufgespalten oder zusammengefasst.

Das Problem? Ein Arzt im Jahr 2024, der das neue Wörterbuch verwendet, schreibt vielleicht einen einzigen Code für eine Erkrankung auf, während dieselbe Erkrankung im alten Wörterbuch durch drei verschiedene Codes beschrieben werden könnte. Oder ein alter Code deckt nun eine ganze Gruppe von Krankheiten ab, die jetzt in viele neue, spezifischere Codes aufgeteilt sind.

Die Autoren dieser Arbeit versuchen, eine Maschine zu bauen, die automatisch eine Landkarte zwischen diesen verschiedenen Wörterbuchausgaben zeichnen kann, damit alte Patientenakten im neuen System verstanden werden können.

Das Problem: Das „Goldlöckchen“-Dilemma

Frühere Methoden versuchten, dies mithilfe zweier einfacher Strategien zu lösen, aber beide hatten einen Makel, so als würde man versuchen, eine Nadel im Heuhaufen mit einem Magneten zu finden, der entweder zu schwach oder zu stark war:

Der „Strenge Türsteher“ (Schwellenwert-Methode): Diese Methode verbindet Codes nur dann, wenn sie sich sehr ähnlich sehen.
- Das Ergebnis: Sie ist sehr genau (hohe Präzision), übersieht aber viele gültige Verbindungen (niedrige Trefferquote/Recall). Es ist wie ein Türsteher, der nur Leute durchlässt, die exakt auf der VIP-Liste stehen, wodurch viele tatsächliche VIPs draußen bleiben.
Die „Großzügige Gastgeberin“ (Top-K-Methode): Diese Methode schnappt sich die 5 ähnlichsten Codes für jeden Eintrag, egal wie schwach die Verbindung ist.
- Das Ergebnis: Sie erfasst fast alles (hohe Trefferquote), zieht aber auch eine Menge irrelevanter Unordnung mit hinein (niedrige Präzision). Es ist wie ein Türsteher, der jeden reinlässt, der auch nur ein bisschen wie die VIP-Liste aussieht, und damit den Eingang mit Hochstaplern verstopft.

Die Autoren wollten eine Methode, die sowohl präzise als auch umfassend ist, ohne sich in Fehlalarmen zu verlieren.

Die Lösung: Der „Bibliotheks-Sortierer“-Ansatz

Die Autoren ließen sich einen Trick aus dem Bereich der „Entity Resolution“ (der zur Identifizierung von Duplikaten in Datenbanken verwendet wird) inspirieren. Sie nennen ihre Methode Blocking-and-Matching.

Stellen Sie sich das wie das Organisieren einer riesigen Bibliothek vor:

Schritt 1: Die Blocking-Phase (Der „Regal-Filter“)
Anstatt jedes einzelne Buch aus der alten Bibliothek mit jedem einzelnen Buch aus der neuen Bibliothek zu vergleichen (was ewig dauern würde), sortieren sie die Bücher zuerst in kleinere, handhabbare Boxen (Blocks).

Sie nutzen ein intelligentes Computerprogramm, um zu erraten, welche Bücher zusammengehören könnten.
Sie verwenden eine hybride Strategie: Sie greifen die 5 wahrscheinlichsten Übereinstimmungen (der „Großzügige Gastgeber“-Ansatz), prüfen aber auch auf „Rückwärts-Übereinstimmungen“ (wenn Buch A auf Buch B verweist, weist Buch B dann auch zurück auf Buch A?).
Dies erstellt eine kleine, hochwertige Shortlist von Kandidaten für jeden einzelnen Code und stellt sicher, dass sie nichts Wichtiges übersehen, während die Liste klein genug bleibt, um handhabbar zu bleiben.

Schritt 2: Die Matching-Phase (Der „Experten-Bibliothekar“)
Nun, da sie eine kleine Box mit potenziellen Übereinstimmungen für einen bestimmten Code haben, verwenden sie keine einfache mathematische Formel, um zu entscheiden. Stattdessen fragen sie ein Large Language Model (LLM) – eine superintelligente KI, die auf riesigen Textmengen trainiert wurde – um als Experten-Bibliothekar zu fungieren.

Sie formulieren die Aufgabe als eine Multiple-Choice-Frage: „Hier ist die Beschreibung des alten Codes. Hier sind 5 potenzielle neue Codes. Welche davon sind tatsächlich dasselbe?“
Die KI liest die Beschreibungen und nutzt ihr „gesunden Menschenverstand“ sowie ihr medizinisches Wissen, um alle korrekten Antworten auszuwählen. Sie kann sagen: „Ja, dieser passt, und dieser passt auch“, und so die komplexen „Eins-zu-viele“-Situationen bewältigen, an denen einfache Mathematik scheitert.

Die Ergebnisse: Eine bessere Landkarte

Die Autoren testeten diese Methode mit realen medizinischen Daten (die Übersetzung zwischen ICD-9, ICD-10 und ICD-11).

Die alten Wege: Der „Strenge Türsteher“ übersah zu viele Verbindungen, und der „Großzügige Gastgeber“ war voller Fehler.
Der neue Weg: Ihre „Bibliotheks-Sortierer“-Methode erreichte das Beste aus beiden Welten. Sie fand fast so viele korrekte Verbindungen wie der „Großzügige Gastgeber“ (hohe Trefferquote), aber mit weita-hin weniger Fehlern (hohe Präzision).
Abdeckung: Entscheidend ist, dass es gelang, fast jeden Code aus dem alten System auf das neue abzubilden (100 % Abdeckung), womit das Problem gelöst wurde, bei dem die strikte Methode große Lücken hinterließ.

Der Kompromiss

Die Autoren geben zu, dass diese Methode nicht kostenlos ist. Eine superintelligente KI zu bitten, jeden einzelnen Code zu lesen und zu entscheiden, benötigt viel Rechenleistung und Zeit (etwa 43 Stunden für den von ihnen durchgeführten Test). Die Autoren argumentieren jedoch, dass diese Aktualisierungen medizinischer Wörterbücher nur selten stattfinden (etwa einmal im Jahrzehnt), sodass es sich lohnt, diese Rechenleistung im Voraus aufzuwenden, um eine saubere, genaue Landkarte zu erstellen, die menschliche Experten vor jahrelanger manueller Arbeit bewahrt.

Kurz gesagt: Sie haben aufgehört, eine einfache mathematische Formel zu versuchen, eine komplexe Denkaufgabe zu lösen. Stattdessen nutzten sie einen smarten Filter, um die Optionen einzugrenzen, und baten dann eine superintelligente KI, die endgültigen, nuancierten Entscheidungen zu treffen, was zu einer viel genaueren und vollständigeren Landkarte führte.

Technisches Resümee: Verwaltung der Kartinalität bei der automatischen Krankheitsklassifizierung

Problemstellung
Die automatische Abbildung von Krankheitsklassifizierungssystemen, wie etwa der Internationalen Klassifikation der Krankheiten (ICD), ist entscheidend für die Integration von Gesundheitsdaten und die longitudinale Analyse. Bestehende embedding-basierte Methoden konzentrieren sich jedoch primär auf Eins-zu-eins-Abbildungen und versäumen es, komplexe Eins-zu-viele-Szenarien zu adressieren, in denen ein einzelner Quellcode semantisch mit mehreren Zielcodes korrespondiert. Aktuelle Selektionsstrategien zur Handhabung der Kartinalität – spezifisch schwellenwertbasierte und Top-K-Methoden – leiden unter inhärenten Zielkonflikten zwischen Präzision, Recall (Trefferquote) und Mapping-Abdeckung (dem Anteil der Quellcodes, für die mindestens eine Abbildung existiert).

Schwellenwertbasierte Methoden priorisieren die Präzision auf Kosten von Recall und Abdeckung; hohe Schwellenwerte führen zu einer geringen Abdeckung, wodurch viele Quellcodes unabgebildet bleiben.
Top-K-Methoden garantieren eine hohe Abdeckung und einen hohen Recall, opfern jedoch die Präzision, indem sie eine feste Anzahl von Übereinstimmungen erzwingen, was oft zu signifikanten falsch-positiven Ergebnissen führt (z. B. das Erzeugen von $K-1$ falsch-positiven Ergebnissen bei validen Eins-zu-eins-Abbildungen).

Diese Einschränkungen schaffen einen Engpass für die manuelle Validierung, bei der Terminologie-Experten entweder durch übermäßige falsch-positive Ergebnisse navigieren oder große Lücken unabgebildter Daten manuell abbilden müssen.

Methodik
Die Autoren schlagen ein neuartiges Blocking-and-Matching-Framework vor, das von Entity-Resolution-Pipelines inspiriert ist, um automatisch Abbildungen zwischen verschiedenen ICD-Versionen (z. B. ICD-9-CM $\leftrightarrow$ ICD-10-CM und ICD-10-AM $\leftrightarrow$ ICD-11) zu generieren. Der Ansatz operiert in zwei distinkten Phasen:

Blocking-Phase (Kandidatengenerierung):
Anstatt alle möglichen Paare zu evaluieren, generiert die Methode eine reduzierte Menge an Kandidatenzielcodes für jeden Quellcode. Die Autoren führen eine hybride Selektionsstrategie ein, die Folgendes kombiniert:
- Top-K-Selektion: Ruft die Top- $K$ Zielcodes basierend auf der Embedding-Ähnlichkeit ab.
- Bidirektionale Mapping-Expansion (BiMaps): Konstruiert Eins-zu-eins-Abbildungen in beide Richtungen (Quelle $\to$ Ziel und Ziel $\to$ Quelle) und aggregiert diese.
  Die Vereinigung dieser Mengen bildet den „Block“ der Kandidaten. Dieser hybride Ansatz zielt darauf ab, den Recall zu maxim sichern (indem wahre Übereinstimmungen beibehalten werden), während die Blockgröße minimiert wird, um das „Lost in the Middle“-Phänomen bei Large Language Models (LLMs) zu vermeiden, bei dem übermäßiger Kontext die Leistung beeinträchtigt.
Matching-Phase (LLM-Selektion):
Die Matching-Aufgabe wird als Multiple-Choice-Frage (MCQ) umformuliert. Für jeden Quellcode und seinen Block an Kandidaten wird ein Prompt konstruiert, der ein Large Language Model (speziell Qwen3-8B) anweist, alle semantisch äquivalenten Zielcodes zu identifizieren. Im Gegensatz zur traditionellen Entity Resolution, die oft nur eine einzige Übereinstimmung auswählt, ermöglicht dieser Ansatz dem LLM, null, eins oder mehrere Optionen zu wählen, wodurch die Eins-zu-viele-Kartinalitätsproblematik direkt adressiert wird.

Zentrale Beiträge

Neuartiges Framework: Einführung einer Blocking-and-Matching-Pipeline, die embedding-basierte Kandidatengenerierung mit LLM-gesteuerter Selektion für das ICD-Mapping integriert.
Trade-off-Mitigierung: Die Methode adressiert den Zielkonflikt zwischen Präzision, Recall und Abdeckung, der bei selektionsbasierten Methoden besteht, und liefert eine hohe Präzision bei gleichzeitig vergleichbarem Recall und breiter Mapping-Abdeckung.
Hybride Blocking-Strategie: Entwicklung einer Top-K + BiMaps-Strategie, die die Recheneffizienz mit der Beibehaltung valider Kandidatenpaare ausbalanciert.
Empirische Validierung: Demonstration einer ausgewogenen Performance über mehrere ICD-Versionspaare und drei spezifische Krankheitskapitel (Verdauungsorgane, Infektiöse/Parasitäre Krankheiten und Atemwege) hinweg.

Ergebnisse
Die Studie evaluierte die vorgeschlagene Methode gegenüber den Baseline-Methoden Schwellenwertbasiert ( $\lambda=0,85$ ) und Top-K ( $K=5$ ) über vier Mapping-Aufgaben hinweg.

Präzision: Das Blocking-and-Matching-Framework erreichte die höchste Präzision in fast allen Aufgaben (zwischen 0,47 und 0,71), was eine 2- bis 3,5-fache Verbesserung gegenüber der Top-K-Baseline und eine Verbesserung um 5 bis 35 Prozentpunkte gegenüber BiMaps in den meisten Fällen darstellt.
Recall: Das Framework hielt einen wettbewerbsfähigen Recall (0,53–0,85), der mit den High-Recall-Baselines BiMaps und Top-K vergleichbar ist, ohne die mit wahlloser Top-K-Selektion verbundenen Präzisionsverluste.
Abdeckung: Die Methode erreichte eine nahezu perfekte Mapping-Abdeckung (MC $\ge$ 0,98) und stellte sicher, dass fast jeder Quellcode mindestens eine Kandidatenabbildung erhielt, wodurch die Beschränkungen der schwellenwertbasierten Methoden überwunden wurden.
F1-Score: Das Framework erzielte die höchsten F1-Scores (0,53–0,77) in 11 von 12 Mapping-Aufgaben und demonstrierte damit eine überlegene Balance zwischen Präzision und Recall.

Bedeutung und Ansprüche
Das Paper behauptet, dass das vorgeschlagene Framework eine robuste, trainingsfreie Lösung für die automatische Krankheitsklassifizierungs-Abbildung bietet. Durch die Nutzung des allgemeinen medizinischen Wissens, das in vortrainierten LLMs via Zero-Shot-Prompting eingebettet ist, vermeidet die Methode die Notwendigkeit einer aufgabenspezifischen Feinabstimmung oder gelabelter Mapping-Daten.

Die Autoren betonen, dass der LLM-basierte Ansatz zwar einen Rechenaufwand einführt (z. B. ~43 Stunden für die evaluierten Datensätze), dies jedoch eine gerechtfertigte Vorabinvestition im Vergleich zur arbeitsintensiven und zeitaufwendigen Natur des manuellen Mappings ist, welches oft große Expertenteams und erhebliche Mittel erfordert. Die Methode ist besonders signifikant für große ICD-Versionswechsel (die unhäufig vorkommen), bei denen die Erstellung hochwertiger, wiederverwendbarer Mapping-Tabellen essenziell für die nachgelagerte Interoperabilität von Gesundheitsdaten ist. Der Ansatz reduziert effektiv den manuellen Arbeitsaufwand für Terminologie-Experten, indem er irrelevante Kandidaten herausfiltert (hohe Präzision), während er gleichzeitig sicherstellt, dass keine validen Abbildungen übersehen werden (hohe Abdeckung).

Das Problem: Das „Goldlöckchen“-Dilemma

Die Lösung: Der „Bibliotheks-Sortierer“-Ansatz

Die Ergebnisse: Eine bessere Landkarte

Der Kompromiss

Mehr davon