ELM: A Hybrid Ensemble of Language Models for Automated Tumor Group Classification in Population-Based Cancer Registries

Probleemstelling

Bevolkingskankerregisters (Population-Based Cancer Registries, PBCRs) spelen een cruciale rol in kankerbewaking en onderzoek door gestructureerde data te verzamelen uit ongestructureerde pathologierapporten. Het handmatig toewijzen van deze rapporten aan specifieke tumorgroepen (brede anatomische en histologische categorieën) is echter een uiterst arbeidsintensief proces.

• Huidige uitdagingen: Een middelgroot register verwerkt ongeveer 100.000 rapporten per jaar, wat ongeveer 900 personeelsuren kost.
• Beperkingen van bestaande systemen: Bestaande geautomatiseerde systemen, zoals het regelgebaseerde eMaRC (Electronic Mapping, Reporting, and Coding), falen vaak vanwege de linguïstische complexiteit van klinische taal. Ze kunnen geen lange-termijn afhankelijkheden begrijpen of contextuele nuances vatten (bijv. het onderscheid tussen een primaire tumor en een metastase, of specifieke anatomische locaties). eMaRC slaagt er niet in om bij ongeveer 40% van de gevallen een tumorgroep toe te wijzen, en wanneer het dat wel doet, zijn de fouten zo frequent dat volledige handmatige controle noodzakelijk blijft, waardoor automatisering inefficiënt wordt.

Methodologie: De ELM-architectuur

Het paper introduceert ELM (Ensemble of Language Models), een hybride architectuur die de sterktes combineert van kleine, encoder-only taalmodellen en grote taalmodellen (LLMs). Het doel is om zowel hoge nauwkeurigheid als operationele efficiëntie te bereiken.

1. Het Ensemble van Encoder-only Modellen:

• Opzet: Het systeem gebruikt zes fijnafgestemde (fine-tuned) encoder-only modellen (op basis van GatorTron, BCCRTron en ClinicalBERT).
• Token-segmentatie: Pathologierapporten worden opgesplitst in een bovenste segment (eerste 512 tokens, vaak de "Definitieve Diagnose") en een onderste segment (laatste 512 tokens, vaak interpretaties en conclusies). Dit maximaliseert de dekking van diagnostisch relevante informatie binnen de tokenlimieten van transformer-modellen.
• Voting-mechanisme: Elk van de zes modellen voorspelt onafhankelijk een tumorgroep.
  • Als 5 van de 6 modellen overeenstemming (consensus) bereiken én de voorspelde groep niet tot een vooraf gedefinieerde set "moeilijke categorieën" (zoals huidkanker of cervixkanker) behoort, wordt de voorspelling geaccepteerd.
  • Dit dekt ongeveer 80-85% van de rapporten af.

2. LLM Arbitrage (Schiedsrechter):

• Trigger: Cases waarbij minder dan 5 modellen overeenstemmen, of waarbij de voorspelling valt onder een "moeilijke categorie", worden doorgestuurd naar een LLM.
• Prompt Engineering: De LLM (Mistral Nemo Instruct-2407, 12B parameters) ontvangt een zorgvuldig ontworpen prompt die:
  • De rol van de LLM definieert als een "specialistische pathologie-assistent".
  • De keuze beperkt tot een klein setje van 2-4 waarschijnlijke opties (gebaseerd op de ensemble-voorspellingen en domeinkennis), wat hallucinaties minimaliseert.
  • Specifieke richtlijnen geeft voor complexe onderscheidingen (bijv. leukemie vs. lymfoom, melanoom vs. niet-melanoom).
  • Output vereist in JSON-formaat met redenering.
• Privacy: De LLM wordt lokaal gehost om te voldoen aan gezondheidsprivacyregels.

Belangrijkste Bijdragen

1. Eerste succesvolle hybride implementatie: ELM is het eerste systeem dat een hybride architectuur (kleine modellen + LLM) succesvol toepast voor tumorgroepclassificatie in een real-world PBCR-omgeving.
2. Strategische routing: Het systeem routeert alleen onzekere of complexe gevallen naar de dure LLM, terwijl de snelle encoder-only modellen het merendeel van de taken afhandelen.
3. Domeinspecifieke aanpassing: Het gebruik van een lokaal getraind model (BCCRTron) en zorgvuldig geprompte LLM-arbitrage die rekening houdt met specifieke klinische nuances.
4. Operationele validatie: Het paper documenteert niet alleen technische metrics, maar ook de daadwerkelijke impact op de workflow van het British Columbia Cancer Registry (BCCR).

Resultaten

Het model werd getest op een vastgehouden testset van 2.058 pathologierapporten over 19 tumorgroepen.

• Algemene prestaties: ELM bereikte een gewogen Precision, Recall en F1-score van 0,94.
  • Dit is een statistisch significante verbetering ten opzichte van alleen het ensemble van encoder-only modellen (F1: 0,91) en ver boven regelgebaseerde systemen (eMaRC F1: 0,64).
  • Een "LLM-only" aanpak (zonder ensemble-richting) scoorde lager (F1: 0,88), wat aantoont dat de beperking van de keuze door het ensemble cruciaal is.
• Verbetering bij moeilijke categorieën: De grootste winst werd geboekt bij complexe groepen:
  • Leukemie: F1 van 0,76 naar 0,88.
  • Lymfoom: F1 van 0,76 naar 0,89.
  • Huidkanker: F1 van 0,44 naar 0,58 (en tot 0,74 bij specifieke strategische routing).
• Efficiëntie:
  • Encoder-only ensemble: ~600ms per rapport.
  • LLM-arbitrage: ~2-3 seconden (alleen voor 15-20% van de gevallen).
  • Gemiddelde verwerkingstijd: ~850ms per rapport.
  • Dit is 3-4 keer sneller en goedkoper dan het gebruik van een LLM voor elk rapport.

Betekenis en Impact

• Operationele efficiëntie: Door de implementatie bij het BCCR is de behoefte aan handmatige controle met 60-70% gereduceerd. Dit bespaart naar schatting 900 personeelsuren per jaar.
• Kwaliteit: Kwaliteitsaudits tonen aan dat de datakwaliteit gelijk blijft aan volledig handmatige processen, terwijl registrars zich kunnen richten op complexere cognitieve taken (zoals het oplossen van ambiguïteiten en patiëntvolgdata).
• Toekomstperspectief: De studie bewijst dat een zorgvuldig ontworpen hybride architectuur de kloof kan overbruggen tussen de hoge nauwkeurigheid van LLMs en de operationele haalbaarheid van kleine modellen. Dit biedt een blauwdruk voor andere registers wereldwijd om hun data-pipelines te moderniseren zonder in te leveren op kwaliteit.

Samenvattend demonstreert ELM hoe de combinatie van domeinkennis, ensemble learning en gerichte LLM-arbitrage een robuuste oplossing biedt voor een langdurig probleem in de gezondheidszorginformatica.