A Dataset and Resources for Identifying Patient Health Literacy Information from Clinical Notes

Titolo e Obiettivo

Il paper introduce HEALIX, il primo dataset pubblico annotato di note cliniche reali dedicato all'identificazione del livello di alfabetizzazione sanitaria (health literacy) dei pazienti. L'obiettivo principale è colmare il divario tra la necessità di valutare l'alfabetizzazione sanitaria e la difficoltà di farlo tramite screening strutturati, proponendo un approccio basato sull'estrazione automatica di informazioni da note cliniche non strutturate.

Il Problema

L'alfabetizzazione sanitaria è un determinante critico degli esiti clinici, influenzando la capacità del paziente di comprendere diagnosi, gestire le condizioni e navigare nel sistema sanitario. Tuttavia:

• Gli strumenti di screening esistenti (questionari) spesso non sono pratici per pazienti acuti o prioritari per i medici.
• I dati strutturati nelle Cartelle Cliniche Elettroniche (EHR) raramente contengono misurazioni standardizzate dell'alfabetizzazione sanitaria.
• Le informazioni rilevanti sono spesso nascoste in note cliniche non strutturate (testo libero), rendendo il loro recupero manuale laborioso e costoso.
• Mancava un dataset annotato specifico per addestrare modelli di NLP (Natural Language Processing) su questo compito.

Metodologia

1. Raccolta Dati (Data Collection)

I dati sono stati estratti dal database MIMIC-III. La strategia di campionamento ha seguito tre fasi (illustrate nella Figura 1 del paper):

• Campionamento casuale: 300 note di assistenti sociali (social worker), selezionate perché ritenute più ricche di informazioni contestuali sulla comprensione del paziente.
• Filtraggio basato su parole chiave: Utilizzo di una lista di 20 parole chiave (es. "adherence", "insight", "understands", "misunderstanding") per filtrare note pertinenti. Per ogni parola chiave, sono state estratte la frase contenente la keyword più 5 frasi precedenti e 5 successive per mantenere il contesto.
• Active Learning basato su LLM: Per aumentare la diversità del dataset e catturare casi ambigui, è stato utilizzato il modello LLaMA 3-8B-Instruct in un ciclo di active learning. Il modello ha assegnato etichette preliminari e le note con la massima incertezza (calcolata tramite entropia predittiva) sono state selezionate per l'annotazione umana.

2. Annotazione e Schema di Classificazione

Il dataset finale (HEALIX) comprende 589 note cliniche da 564 pazienti, coprendo 9 tipi di note (es. Social Work, Nursing, Discharge Summary).
Le note sono state annotate indipendentemente da due annotatori e poi riconciliate per creare lo standard aureo (gold standard).
Le etichette di classificazione sono tre livelli di alfabetizzazione sanitaria:

1. Bassa (Low): Il paziente non comprende o non può utilizzare le informazioni sanitarie per prendere decisioni (es. "non capisce la necessità di follow-up").
2. Normale (Normal): Il paziente è in grado di ottenere e comprendere le informazioni per prendere decisioni informate, ma senza dimostrazioni eccezionali di comprensione profonda (es. "verbalizza comprensione del piano terapeutico").
3. Alta (High): Il paziente dimostra una comprensione superiore alla media, spesso attraverso azioni concrete, domande sostanziali o capacità di pesare rischi/benefici (es. "dimostra il regime farmacologico", "discute attivamente le opzioni").

• Una quarta categoria, "Non correlata" (Not related), è stata usata per le note senza informazioni pertinenti o dove l'incapacità decisionale era dovuta a condizioni cognitive/psichiatriche (non a bassa alfabetizzazione).

3. Valutazione dei Modelli

Per dimostrare l'utilità del dataset, sono stati valutati diversi modelli LLM open-source in modalità zero-shot e few-shot, senza fine-tuning specifico:

• Modelli testati: Qwen3-8B, Qwen3-32B, LLaMA3-8B-Instruct, LLaMA3.3-70B-Instruct.
• Baseline: Un classificatore SVM.
• Metriche: Precisione, Recall e F1-score, valutati sia in modo "stretto" (4 classi) che "lasso" (3 classi, fondendo "Alta" e "Normale" in "Buona").

Risultati Chiave

• Accordo tra Annotatori: L'accordo inter-annotatore a livello di nota è stato moderato (F1 = 0.52 stretto, 0.63 lasso), riflettendo la soggettività intrinseca del compito. Tuttavia, a livello di frase (quando entrambi gli annotatori hanno identificato una frase rilevante), l'accordo è stato molto alto (F1 = 0.93 lasso).
• Performance dei Modelli:
  • Il modello LLaMA 3.3-70B-Instruct ha ottenuto le prestazioni migliori, raggiungendo un F1-score di 0.63 nella valutazione lassa (zero-shot).
  • I modelli più piccoli (8B) e l'SVM hanno mostrato prestazioni inferiori.
  • L'approccio few-shot non ha sempre migliorato le prestazioni rispetto allo zero-shot, suggerendo che la qualità del prompt è cruciale.
• Errori di Classificazione: I modelli hanno avuto maggiori difficoltà a distinguere tra "Normale" e "Non correlata" e tra "Alta" e "Normale". Spesso i modelli fallivano nel cogliere sfumature contestuali (es. quando una famiglia chiedeva opzioni di trattamento, indicando una buona alfabetizzazione, il modello la classificava come "non correlata").

Contributi Principali

1. HEALIX Dataset: La creazione del primo dataset pubblico annotato specificamente per l'alfabetizzazione sanitaria estratta da note cliniche non strutturate.
2. Metodologia di Curation: Un approccio ibrido che combina campionamento umano, filtraggio keyword e active learning guidato da LLM per massimizzare la diversità e la rilevanza dei dati.
3. Linee Guida di Annotazione: Definizione rigorosa dei criteri per distinguere tra livelli di alfabetizzazione, con particolare attenzione alla distinzione tra comprensione verbale (Normale) e dimostrazione attiva/decisionale (Alta).
4. Benchmarking: Una valutazione comparativa delle capacità di diversi LLM open-source nel comprendere il contesto clinico per inferire l'alfabetizzazione.

Significato e Implicazioni

• Scalabilità: L'uso di NLP su note cliniche esistenti offre un metodo scalabile per identificare pazienti a rischio di bassa alfabetizzazione senza richiedere nuovi questionari.
• Interventi Tempestivi: L'identificazione automatica permette ai medici di indirizzare interventi educativi personalizzati, potenzialmente riducendo i riammissioni ospedaliere e migliorando gli esiti.
• Limitazioni e Futuro: Il dataset deriva da una singola fonte (MIMIC-III), il che potrebbe limitare la generalizzabilità demografica. Inoltre, i modelli attuali non sono stati fine-tuned; studi futuri potrebbero mostrare performance migliori con l'addestramento specifico.
• Bias Documentale: I risultati suggeriscono che le note degli assistenti sociali e i riassunti di dimissione contengono più indicatori di alfabetizzazione rispetto ad altre note, evidenziando la necessità di estrarre dati da fonti non strutturate spesso ignorate.

In sintesi, il paper fornisce le basi fondamentali per lo sviluppo di strumenti NLP avanzati volti a migliorare l'equità e la qualità delle cure attraverso la comprensione automatica dello stato di alfabetizzazione sanitaria dei pazienti.