Llettuce: An Open Source Natural Language Processing Tool for the Translation of Medical Terms into Uniform Clinical Encoding

1. Il Problema

La standardizzazione dei dati sanitari osservazionali nel modello comune OMOP (Observational Medical Outcomes Partnership) è fondamentale per rendere i dati FAIR (Findable, Accessible, Interoperable, Reusable). Tuttavia, il processo di mappatura dei termini sorgente (spesso termini medici informali, abbreviazioni o nomi commerciali) ai concetti standardizzati OMOP è complesso e laborioso.

Le soluzioni esistenti presentano limitazioni significative:

• Ricerca lessicale (es. Usagi, Athena): Si basano sul matching di stringhe esatte o algoritmi come BM25. Falliscono quando i termini sorgente non corrispondono esattamente alla terminologia formale (es. "Now Foods omega-3" vs "Fish oil") o quando esistono ambiguità semantiche.
• Modelli LLM proprietari (es. ChatGPT): Sebbene offrano una migliore comprensione semantica, il loro utilizzo in ambito sanitario solleva gravi preoccupazioni riguardo alla conformità al GDPR, alla protezione dei dati sensibili e alla riproducibilità dei risultati, poiché i dati devono essere inviati a server cloud esterni.

2. Metodologia: L'Architettura di Lettuce

Il paper introduce Lettuce, uno strumento open-source (licenza MIT) basato su NLP avanzato e Large Language Models (LLM), progettato per essere eseguito localmente per garantire la privacy dei dati.

L'architettura di Lettuce si basa su tre percorsi di recupero (retrieval) per mappare un termine sorgente a un concetto OMOP:

1. Ricerca Testuale (Text Search): Utilizza il matching di parole chiave (lexemes) su un database OMOP-CDM esteso con feature lessicali pre-calcolate. È efficace per termini che usano la stessa terminologia dei concetti standard.
2. Ricerca Semantica Vettoriale (Vector-Based Semantic Search): Utilizza modelli di embedding (es. BGE-small, PubMedBERT) per convertire i testi in vettori numerici. Questo permette di trovare concetti semanticamente simili anche se lessicalmente diversi (es. "paracetamolo" e "acetaminofene"). I vettori sono pre-calcolati e archiviati nel database (tramite PGVector) per garantire velocità.
3. Generazione Aumentata dal Recupero (RAG): Combina la ricerca semantica con un LLM.
   • Se la ricerca vettoriale non produce un match ad alta confidenza, i top-k risultati vengono inseriti nel prompt dell'LLM come contesto.
   • L'LLM (es. Llama, Gemma, Qwen) genera una proposta basata su questo contesto e sulla sua conoscenza linguistica.
   • L'output dell'LLM viene validato verificando se corrisponde a un nome di concetto OMOP esistente; in caso contrario, viene eseguita una ricerca lessicale sull'output per trovare il concetto più vicino.

Strumenti di Valutazione: È stato sviluppato un framework sperimentale chiamato lettuce-inspector per testare le pipeline, configurare i parametri e confrontare le prestazioni rispetto a dataset "gold standard".

3. Contributi Chiave

• Strumento Open Source e Locale: Lettuce risolve il problema della privacy permettendo l'elaborazione dei dati sanitari sensibili su server locali, eliminando i rischi di fuga di dati verso API cloud proprietarie.
• Pipeline Ibrida e Configurabile: Integra ricerca lessicale, semantica e LLM in un'unica architettura modulare, permettendo agli utenti di scegliere il percorso più adatto in base alle risorse e alla natura dei dati.
• Validazione RAG in ambito medico: Dimostra come l'uso di RAG con LLM locali possa migliorare significativamente l'accuratezza della mappatura rispetto all'uso isolato di LLM o di semplici motori di ricerca.
• Interfacce Versatili: Fornisce sia un'interfaccia a riga di comando (CLI) che un'API HTTP (basata su FastAPI) per l'integrazione con altri sistemi (es. Carrot-mapper).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset reali:

1. Dataset NUH (UK): Termini farmacologici da trial clinici (più formali).
2. Dataset HELIOS (Singapore): Termini farmacologici auto-dichiarati da questionari (informali, con errori ortografici, nomi commerciali).

Risultati principali:

• Superiorità della Ricerca Semantica: Le pipeline semantiche hanno superato costantemente i metodi lessicali (BM25). Nel dataset HELIOS (termini informali), la ricerca semantica ha trovato il concetto corretto nei primi 10 risultati due volte più spesso rispetto alla ricerca lessicale (22.25% vs 10.25% con BGE-small vs BM25).
• Impatto del RAG: L'uso di RAG ha aumentato le probabilità di ottenere la risposta corretta dell'62% (Odds Ratio 1.62) rispetto all'uso dell'LLM senza contesto.
• Performance dei Modelli: Non c'è stata una correlazione diretta tra la dimensione del modello e l'accuratezza. Il modello Gemma-3 (12B) ha mostrato le prestazioni migliori, raggiungendo fino al 45.5% di accuratezza nel dataset HELIOS quando combinato con RAG e attributi di contesto.
• Importanza del Contesto: Fornire all'LLM non solo i nomi dei concetti recuperati, ma anche i loro attributi (dominio, classe, vocabolario) e i punteggi di similarità ha migliorato ulteriormente le prestazioni.

5. Significato e Implicazioni

Lettuce rappresenta un passo avanti significativo nell'armonizzazione dei dati sanitari.

• Conformità Normativa: Permette alle istituzioni sanitarie di adottare tecnologie LLM avanzate rispettando rigorosamente il GDPR, poiché i dati non lasciano mai l'infrastruttura locale.
• Efficienza Operativa: Riduce drasticamente il carico di lavoro manuale richiesto per la mappatura dei dati, specialmente per dataset con terminologia eterogenea e informale.
• Flessibilità Futura: L'architettura modulare di Lettuce consente l'integrazione futura di classificatori gerarchici per la previsione del dominio e l'uso di agenti LLM autonomi, rendendo il sistema adattabile a diversi domini clinici oltre a quello farmacologico.

In sintesi, il paper dimostra che è possibile costruire sistemi di mappatura medica intelligenti, precisi e conformi alla privacy, combinando tecniche di ricerca vettoriale con modelli linguistici locali gestiti tramite pipeline RAG ottimizzate.