Llettuce: An Open Source Natural Language Processing Tool for the Translation of Medical Terms into Uniform Clinical Encoding

Probleemstelling

Het standaardiseren van gezondheidsgegevens naar het OMOP Common Data Model (CDM) is essentieel voor FAIR-data (vindbaar, toegankelijk, interoperabel en herbruikbaar) en reproduceerbaar onderzoek. Een cruciale stap hierin is het vertalen van "brontermen" (informele medische termen uit elektronische patiëntendossiers, vragenlijsten of trials) naar gestandaardiseerde OMOP-concepten.

Bestaande oplossingen hebben echter ernstige beperkingen:

• Athena (OHDSI): Zoeken in de database is complex, levert vaak overweldigende resultaten op en mist semantische nuance.
• Usagi: Een semi-automatische tool die gebaseerd is op string-matching (lexicale zoekopdrachten). Deze faalt bij informele taal, merknamen, typefouten of termen die semantisch gelijk zijn maar anders gespeld (bijv. "Now Foods omega-3" vs. "Fish oil").
• Propriëtaire LLM's (bijv. ChatGPT): Hoewel deze semantisch beter presteren, vormen ze een risico voor de GDPR en patiëntengegevensbescherming omdat data naar de cloud moet worden verzonden. Er is behoefte aan een lokaal, open-source alternatief.

Methodologie: Lettuce Architectuur

Lettuce is een open-source, lokaal inzetbaar NLP-tool (onder de MIT-licentie) dat brontermen omzet naar OMOP-concepten. Het systeem is modulair opgebouwd en biedt drie zoekroutes die kunnen worden geselecteerd of gecombineerd:

1. Lexicale Zoekopdracht (Text Search):

   • Gebruikt keyword-matching op wortelvormen (lexemen) van conceptnamen.
   • Werkt goed bij formele termen die lijken op de OMOP-terminologie, maar faalt bij semantische variaties.
   • Implementatie: Pre-computed lexemen in de database voor snelheid.

2. Semantische Zoekopdracht (Vector Search):

   • Gebruikt dense vector embeddings (via PGVector) om concepten te vinden op basis van betekenis, niet op spelling.
   • Modellen zoals BGE-small en PubMedBERT worden gebruikt om concepten te coderen.
   • Voorbeeld: "Paracetamol" en "Acetaminophen" hebben een hoge cosine-similariteit, terwijl "Paracetamol" en "Piracetam" (die lijken op elkaar) ver uit elkaar liggen in de vectorruimte.
   • Lettuce kiest voor exacte zoekopdrachten in plaats van benaderende methoden om nauwkeurigheid te garanderen.

3. Retrieval-Augmented Generation (RAG) met LLM's:

   • Combineert semantische zoekopdrachten met Large Language Models (LLM's).
   • Werkingsprincipe: Als de semantische zoekopdracht geen hoge zekerheid geeft, worden de top-k meest relevante concepten uit de zoekresultaten als context aan de LLM gegeven.
   • De LLM (lokaal draaiend, o.a. Llama 3, Gemma, Phi-3, Qwen) genereert een suggestie op basis van deze context en een prompt met voorbeelden.
   • De output wordt gevalideerd: als de suggestie exact overeenkomt met een OMOP-concept, wordt deze teruggegeven; anders wordt er een tussenvormige zoekopdracht uitgevoerd.

Implementatie & Interfaces:

• Beschikbaar via CLI (Command Line Interface) en een HTTP API (FastAPI).
• Ondersteunt filters voor domein, vocabularium en validatie.
• Lettuce-Inspector: Een experimenteel framework voor het benchmarken van pipelines, het testen van verschillende embedding-strategieën en LLM-configuraties.

Experimenteel Ontwerp

De prestaties werden getest op twee datasets:

1. Nottingham University Hospitals (NUH): 218 drugs uit klinische trials (formeel taalgebruik).
2. HELIOS study (Singapore): 250 zelfgerapporteerde medicatiegegevens (informeel, met merknamen, afkortingen en typefouten).

Vergelijkingsgroepen waren:

• Lexicale zoekopdracht (BM25, de standaard voor Usagi).
• Verschillende embedding-modellen (BGE-small, PubMedBERT).
• Verschillende LLM's (Llama 3.1/3.2, Gemma 3, Phi-4, Qwen2.5) met en zonder RAG.

Belangrijkste Resultaten

1. Semantische Zoekopdracht vs. Lexicale Zoekopdracht:

   • Semantische zoekopdrachten overtroffen consistent de lexische methoden (BM25).
   • In de HELIOS-dataset (informeel) steeg de nauwkeurigheid (target concept in top-10) van 10,25% (BM25) naar 22,25% (BGE-small).
   • In de NUH-dataset (formeel) was het verschil kleiner maar nog steeds significant: van 50,9% naar 79,8%.
   • Het toevoegen van context (domein, conceptklasse) aan de embedding-strings verbeterde de prestaties in sommige gevallen, maar kon bij andere modellen (zoals PubmedBERT) de prestaties verlagen door ruis.

2. LLM-prestaties en RAG:

   • RAG is cruciaal: Het gebruik van RAG verhoogde de kans op een correct antwoord met 62% (odds ratio 1.62) vergeleken met LLM's zonder context.
   • Modelkeuze: Er was geen directe correlatie tussen modelgrootte en prestatie. Gemma 3 (12B) presteerde het beste op de HELIOS-dataset (tot 45,5% nauwkeurigheid met RAG), terwijl grotere modellen zoals Phi-4 soms slechter scoorden.
   • Contextinformatie: Het toevoegen van scores en conceptattributen (domein, vocabularium) aan de prompt gaf een kleine maar significante verbetering ten opzichte van alleen het tonen van conceptnamen.

3. Vergelijking met Bestaande Tools:

   • Lettuce met RAG presteerde vergelijkbaar met OpenAI-modellen, maar draait lokaal, wat GDPR-compliance garandeert.
   • Voor informele termen (HELIOS) kon een LLM-pipeline het juiste concept in bijna de helft van de gevallen suggereren, terwijl lexische methoden hier vaak faalden.

Bijdragen en Significatie

• Open Source & GDPR-compliant: Lettuce biedt een volledig lokaal, open-source alternatief voor cloud-LLM's, wat essentieel is voor het verwerken van gevoelige gezondheidsgegevens binnen de EU/GDPR-regelgeving.
• Semantische Superieure Mapping: Het bewijst dat semantische zoekopdrachten en RAG aanzienlijk beter presteren dan traditionele string-matching bij het standaardiseren van informele medische data.
• Flexibiliteit en Modulariteit: De architectuur maakt het mogelijk om verschillende zoekroutes, embedding-modellen en LLM's te combineren en te optimaliseren voor specifieke domeinen (bijv. medicijnen vs. procedures).
• Transparantie: Door het gebruik van RAG en het vastleggen van tool-gebruik, biedt Lettuce meer inzicht in de redenering achter een mapping dan een "black box" LLM of een puur manueel proces.

Conclusie:
Lettuce is een krachtige, intelligente tool die de complexiteit van het vertalen van medische termen naar OMOP-concepten aanzienlijk vermindert. Door de combinatie van vectorzoekopdrachten en lokale LLM's met RAG, biedt het een schaalbare, privacy-bewuste oplossing die de kwaliteit en snelheid van data-harmonisatie in de gezondheidszorg verbetert.