OEMA: Ontology-Enhanced Multi-Agent Collaboration Framework for Zero-Shot Clinical Named Entity Recognition

Probleemstelling

Met de snelle uitbreiding van ongestructureerde klinische teksten in elektronische gezondheidsrecords (EHR's) is Named Entity Recognition (NER) cruciaal geworden voor het extraheren van medische informatie. Traditionele methoden (zoals CRF) en geavanceerde modellen (zoals BioClinicalBERT) vereisen echter kostbare, handmatig geannoteerde datasets.

Hoewel Zero-Shot Learning met Large Language Models (LLMs) de afhankelijkheid van gelabelde data vermindert, blijven er twee fundamentele uitdagingen bestaan:

1. Mismatch tussen voorbeeldselectie en taakgranulariteit: Bestaande zelfverbeteringsframeworks selecteren voorbeelden vaak op basis van zinsniveau (bijv. willekeurige steekproeven of k-nearest neighbors). NER is echter een token-niveau taak. Zinsniveau-semanticiteit is onvoldoende om de precisie van entiteitsgrenzen te waarborgen, wat leidt tot ruis en slechte prestaties.
2. Gebrek aan integratie tussen promptontwerp en zelfverbetering: Bestaande studies behandelen prompt-engineering en zelf-annotatie vaak als gescheiden componenten. Er is geen empirisch bewijs dat geavanceerde promptontwerpen (zoals het gebruik van entiteitstypen) effectief worden geïntegreerd in zelf-annotatieframeworks om de generalisatie te verbeteren.

Methodologie: Het OEMA Framework

De auteurs stellen OEMA (Ontology-Enhanced Multi-Agent Collaboration Framework) voor, een innovatief zero-shot framework dat drie samenwerkende agenten gebruikt om klinische NER uit te voeren zonder gelabelde trainingsdata:

1. Self-Annotator (Zelf-annotator):

   • Deze agent gebruikt een LLM om een ongelabeld corpus te labelen via een zero-shot prompt.
   • Om de betrouwbaarheid te vergroten, wordt een zelfconsistentie-strategie (self-consistency) toegepast met meerderheidsstemming over meerdere gegenereerde antwoorden. Dit creëert een "zelf-geannoteerd corpus" dat dient als bron voor voorbeelden.

2. Discriminator (Discriminator):

   • Deze agent lost het granulariteitsprobleem op. In plaats van zinsniveau-vergelijking, gebruikt deze agent een medische ontologie (SNOMED CT).
   • Voor een doelzin en kandidaat-voorbeelden uit het zelf-geannoteerde corpus, worden top-level SNOMED CT-concepten en hun tekstspans geëxtraheerd.
   • Een token-niveau nuttigheidsscore wordt toegewezen aan elk voorbeeld op basis van de semantische relevantie ten opzichte van de doelzin.
   • De agent selecteert de top-$k$ meest relevante voorbeelden uit een grotere set van $K$ kandidaten (gevarieerde k-nabijheidsburen), wat zorgt voor een fijner, semantisch onderbouwd voorbeeldset.

3. Predictor (Predictor):

   • Deze agent voert de uiteindelijke NER-taak uit.
   • Het combineert twee elementen in de prompt:
     • Type-priors: Beschrijvingen van de entiteitstypen (bijv. "medisch probleem", "behandeling") om semantische beperkingen op te leggen.
     • Gestructureerde voorbeelden: De door de discriminator geselecteerde, hoogwaardige few-shot voorbeelden.
   • Deze "dubbele prompting-strategie" (type-priors + gestructureerde voorbeelden) optimaliseert de inferentie.

Belangrijkste Bijdragen

1. Ontologie-gedreven token-niveau selectie: OEMA introduceert een strategie die de filteringsdrempel verlaagt van zinsniveau naar token-niveau, gebruikmakend van SNOMED CT. Dit verkleint de kloof tussen voorbeeldselectie en de vereiste precisie van de NER-taak.
2. Multi-agent samenwerking voor prompt-integratie: Het framework integreert expliciet type-priors (entiteitstypen) met zelf-geannoteerde few-shot voorbeelden binnen een multi-agent architectuur. Dit lost het probleem op van de beperkte generalisatie van puur zelf-geannoteerde data.
3. State-of-the-art Zero-Shot Prestaties: Het paper is het eerste dat aantoont dat een dergelijke multi-agent aanpak zero-shot klinische NER kan verbeteren tot een niveau dat vergelijkbaar is met toezicht (supervised) modellen.

Resultaten

De methode werd getest op twee benchmark datasets: MTSamples (medische problemen, behandelingen, tests) en VAERS (neurologische bijwerkingen).

• Exact Match (Strikte evaluatie): OEMA presteert significant beter dan bestaande zero-shot baselines (zoals Vanilla, IILLM, SILLM). Met GPT-3.5 als backbone was de F1-score 6,2% hoger op MTSamples en 10,1% hoger op VAERS dan de beste concurrent.
• Relaxed Match (Losse evaluatie): Onder deze criteria (waarbij overlap in tekst en type voldoende is) presteert OEMA vergelijkbaar met het toezichtmodel BioClinicalBERT en significantly beter dan traditionele CRF-modellen.
  • Bijvoorbeeld: Op VAERS behaalde OEMA (met Gemini 2.5) een F1 van 56,9%, terwijl BioClinicalBERT 66,8% haalde, maar CRF slechts 52,5%. OEMA overtreft dus de traditionele ML-methoden aanzienlijk en nadert de prestaties van gespecialiseerde toezichtmodellen zonder enige handmatige annotatie.
• Ablatie-studies: Deze bevestigen dat zowel de entiteitstypen-beschrijvingen als de zelf-geannoteerde few-shot voorbeelden essentieel zijn. Het verwijderen van voorbeelden leidt tot een sterke daling in prestaties, wat de noodzaak van concrete voorbeelden onderstreept.

Betekenis en Conclusie

OEMA demonstreert dat ontologie-gestuurde multi-agent samenwerking een krachtige oplossing is voor de uitdagingen van zero-shot learning in de klinische NLP.

• Praktische impact: Het reduceert de afhankelijkheid van dure, handmatige annotatie door klinische experts, terwijl het toch hoge nauwkeurigheid behoudt.
• Robuustheid: Het framework werkt effectief over verschillende LLM-backbones (GPT-3.5 en Gemini 2.5).
• Toekomstperspectief: Hoewel de huidige evaluatie beperkt is tot twee datasets, opent OEMA de weg voor continue leermechanismen en toepassing in open domeinen, waarbij het systeem zich kan aanpassen aan nieuwe medische terminologieën zonder volledige hertraining.

Samenvattend biedt OEMA een nieuw paradigma voor klinische informatieverwerking, waarbij de combinatie van semantische ontologieën en geautomatiseerde agenten-samenwerking de barrières van data-schaarste doorbreekt.