Managing Map Cardinality in Automatic Disease Classification Mapping: Balancing Precision, Recall and Coverage

Technische Samenvatting: Beheer van Map-Cardinaliteit bij Automatische Ziekteclassificatie

Probleemstelling
De automatische mapping van ziekteclassificatiesystemen, zoals de International Classification of Diseases (ICD), is cruciaal voor de integratie van gezondheidsgegevens en longitudinale analyses. Bestaande embedding-gebaseerde methoden richten zich echter primair op één-op-één mappings, waardoor ze tekortschieten bij complexe één-op-veel scenario's waarbij een enkele broncode semantisch overeenkomt met meerdere doelcodes. De huidige selectiestrategieën om cardinaliteit te beheren — specifiek drempelwaarde-gebaseerde methoden en Top-K methoden — kampen met inherente afwegingen tussen precisie, recall en mapping-dekking (het aandeel broncodes met ten minste één mapping).

• Drempelwaarde-gebaseerde methoden geven prioriteit aan precisie ten koste van recall en dekking; hoge drempelwaarden leiden tot een lage dekking, waardoor veel broncodes niet worden gemapt.
• Top-K methoden garanderen een hoge dekking en recall, maar offeren precisie op door een vast aantal matches af te dwingen, wat vaak significante fout-positieven introduceert (bijv. het genereren van $K-1$ fout-positieven voor geldige één-op-één mappings).

Deze beperkingen creëren een knelpunt voor handmatige validatie, waarbij experts in terminologie ofwel moeten waden door een overmaat aan fout-positieven, ofwel handmatig grote gaten in niet-gemapte data moeten invullen.

Methodologie
De auteurs stellen een nieuw blocking-and-matching framework voor, geïnspireerd door entity resolution-pipelines, om automatisch mappings te genereren tussen verschillende ICD-versies (bijv. ICD-9-CM $\leftrightarrow$ ICD-10-CM en ICD-10-AM $\leftrightarrow$ ICD-11). De aanpak werkt in twee afzonderlijke fasen:

1. Blocking Stage (Candidate Generation):
   In plaats van alle mogelijke paren te evalueren, genereert de methode een gereduceerde set kandidaat doelcodes voor elke broncode. De auteurs introduceren een hybride selectiestrategie die de volgende elementen combineert:

   • Top-K Selectie: Haalt de top $K$ doelcodes op op basis van embedding-gelijkenis.
   • Bidirectionale Mapping Expansie (BiMaps): Construeert één-op-één mappings in beide richtingen (Bron $\to$ Doel en Doel $\to$ Bron) en aggregeert deze.
     De unie van deze sets vormt de "block" van kandidaten. Deze hybride aanpak heeft als doel de recall te maximaliseren (het behouden van ware matches) terwijl de grootte van de block wordt geminimaliseerd om het "lost in the middle"-fenomeen in Large Language Models (LLMs) te vermijden, waarbij overmatige context de prestaties verslechtert.

2. Matching Stage (LLM Selection):
   De mapping-taak wordt geherformuleerd als een Multiple-Choice Question (MCQ). Voor elke broncode en zijn block aan kandidaten wordt een prompt geconstrueerd die een Large Language Model (specifiek Qwen3-8B) instrueert om alle semantisch equivalente doelcodes te identificeren. In tegen tegenstelling tot traditionele Entity Resolution, die vaak slechts één match selecteert, staat deze aanpak het LLM toe om nul, één of meerdere opties te selecteren, waarmee de één-op-veel cardinaliteitsuitdaging direct wordt geadresseerd.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van een blocking-and-matching pipeline die embedding-gebaseerde kandidaatgeneratie integreert met LLM-gestuurde selectie voor ICD-mapping.
2. Mitigatie van Afwegingen: De methode adresseert de precisie-recall-dekking afweging die inherent is aan selectie-gebaseerde methoden, door een hoge precisie te leveren terwijl een vergelijkbare recall en brede mapping-dekking behouden blijft.
3. Hybride Blocking Strategie: De ontwikkeling van een Top-K + BiMaps strategie die de balans vindt tussen computationele efficiëntie en het behoud van geldige kandidaatparen.
4. Empirische Validatie: Demonstratie van gebalanceerde prestaties over meerdere ICD-versieparen en drie specifieke ziektehoofdstukken (Spijsvertering, Infectieus/Parasitair, en Respiratoir).

Resultaten
De studie evalueerde de voorgestelde methode tegenover baseline drempelwaarde-gebaseerde ($\lambda=0.85$) en top-K ($K=5$) methoden over vier mapping-taken.

• Precisie: Het blocking-and-matching framework behaalde de hoogste precisie over bijna alle taken (variërend van 0,47 tot 0,71), wat een 2–3,5x verbetering betekent ten opzichte van de Top-K baseline en een verbetering van 5–35 procentpunt ten opzichte van BiMaps in de meeste gevallen.
• Recall: Het framework behield een concurrerende recall (0,53–0,85), vergelijkbaar met de high-recall BiMaps en Top-K baselines, zonder de precisie-penalties die gepaard gaan met ongecontroleerde Top-K selectie.
• Dekking: De methode bereikte een bijna perfecte mapping-dekking (MC $\ge$ 0,98), waardoor vrijwel elke broncode ten minste één kandidaat-mapping ontving, waarmee de beperkingen in dekking van drempelwaarde-gebaseerde methoden werden overwonnen.
• F1-score: Het framework behaalde de hoogste F1-scores (0,53–0,77) in 11 van de 12 mapping-taken, wat een superieure balans tussen precisie en recall aantoont.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework een robuuste, training-vrije oplossing biedt voor automatische ziekteclassificatie-mapping. Door gebruik te maken van de algemene medische kennis die in pre-trained LLM's is ingebed via zero-shot prompting, vermijdt de methode de noodzaak voor taakspecifieke fine-tuning of gelabelde mapping-data.

De auteurs benadrukken dat hoewel de LLM-gebaseerde aanpak een computationele overhead introduceert (bijv. ~43 uur voor de geëvalueerde datasets), dit een rechtvaardige investering vooraf is vergeleken met de arbeidsintensieve, tijdrovende aard van handmatige mapping, die vaak grote teams van experts en aanzienlijke financiering vereist. De methode is bijzonder significant voor grote ICD-versieovergangen (die zelden voorkomen), waarbij het creëren van hoogwaardige, herbruikbare mapping-tabellen essentieel is voor downstream interoperabiliteit van gezondheidsgegevens. De aanpak reduceert de handmatige werklast voor experts in terminologie effectief door irrelevante kandidaten weg te filteren (hoge precisie) terwijl wordt gegarandeerd dat geen geldige mappings worden gemist (hoge dekking).