PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling

Sintesi Tecnica: PromptRad

Definizione del Problema
L'etichettatura automatica dei referti radiologici è essenziale per estrarre reperti clinici da testi non strutturati, al fine di facilitare la ricerca su larga scala nel campo della diagnostica per immagini medica. Tuttavia, le soluzioni esistenti presentano limitazioni significative in contesti clinici a risorse limitate. I metodi tradizionali basati su regole (ad esempio, MetaMap, NegBio) dipendono da mappature predefinite e faticano a gestire le descrizioni diversificate e non convenzionali presenti nei referti clinici. Al contrario, il fine-tuning di Modelli Linguistici Pre-addestrati (PLM) come BioBERT o PubMedBERT richiede tipicamente grandi quantità di dati etichettati, che sono scarsi negli ambienti clinici a causa dell'alto costo dell'annotazione da parte di esperti. Inoltre, sebbene il Prompt-tuning offra un'alternativa per l'apprendimento con pochi esempi (few-shot learning), gli approcci esistenti sono progettati principalmente per la classificazione multiclasse con categorie mutualmente esclusive, non riuscendo a gestire la natura intrinsecamente multietichetta dei referti radiologici, in cui più reperti coesistono.

Metodologia
Gli autori propongono PromptRad, un approccio di prompt-tuning multietichetta potenziato dalla conoscenza, progettato per l'etichettatura di referti radiologici in contesti a risorse limitate. Il metodo riformula il compito di classificazione multietichetta come un problema di modellazione linguistica mascherata (MLM), sfruttando un PLM pre-addestrato senza introdurre ulteriori strati di classificazione.

I componenti chiave della metodologia includono:

1. Verbalizzatore Multi-parola: A differenza del prompt-tuning standard, che mappa una classe a una singola parola, PromptRad incorpora sinonimi tratti dal Metatesauro UMLS (nello specifico SNOMEDCT) per creare un verbalizzatore multi-parola. Ad esempio, l'etichetta "Carcinoma epatocellulare" viene mappata sia su "hcc" che su "epatoma". Questo arricchisce le rappresentazioni delle categorie e mitiga il pregiudizio verso una singola forma lessicale.
2. Framework di Prompt-Tuning: Il referto in input viene formattato con un modello testuale contenente un token [MASK] (ad esempio, "Il referto radiologico è correlato a [MASK]."). Il modello prevede il token nella posizione mascherata per determinare la presenza di specifici reperti.
3. Generazione Automatica dei Prompt: Per ottimizzare la selezione del modello, gli autori impiegano un modello generativo T5 per creare e classificare automaticamente vari modelli di prompt basati sulla verosimiglianza congiunta, selezionando il modello con le prestazioni migliori per l'addestramento.
4. Obiettivo di Addestramento: Il modello viene affinato utilizzando una perdita di entropia incrociata binaria sui logit dei token mascherati. Quando esistono più mappature di parole per un'etichetta, il sistema seleziona la mappatura con la verosimiglianza più alta.

Contributi Chiave
Il documento delinea tre contributi principali:

• Formulazione: Inquadra l'etichettatura di referti radiologici a risorse limitate come un problema di prompt-tuning multietichetta, adattando i modelli linguistici mascherati per prevedere simultaneamente più reperti clinici da un singolo referto.
• Integrazione della Conoscenza: Introduce un verbalizzatore multi-parola informato dall'UMLS e una strategia di generazione automatica dei prompt per migliorare la rappresentazione delle etichette e la selezione dei modelli nei contesti clinici.
• Valutazione Empirica: Valuta PromptRad su un dataset reale di TC epatiche, dimostrandone l'efficacia in condizioni di supervisione limitata, inclusi casi complessi di negazione.

Risultati
Gli esperimenti sono stati condotti su un dataset di referti di TC epatiche provenienti da un singolo centro medico, confrontando PromptRad con baseline basate su dizionari (MetaMap, NegBio), PLM affinati (PubMedBERT) e grandi modelli linguistici (GPT-4).

• Prestazioni a Risorse Limitate: Utilizzando solo 32 esempi di addestramento etichettati, PromptRad ha superato i metodi basati su dizionario e le baseline standard di fine-tuning nella maggior parte delle categorie.
• Confronto con i LLM: PromptRad ha ottenuto prestazioni competitive con GPT-4, e la versione che utilizza la generazione automatica dei modelli (PromptRad+AutoT) ha leggermente superato GPT-4 nei punteggi medi, nonostante l'uso di un modello significativamente più piccolo e localmente distribuibile.
• Gestione della Negazione: L'analisi dei casi di negazione (referti che menzionano un nome di reperto ma sono annotati come negativi) ha mostrato che PromptRad ha catturato modelli di negazione complessi in modo più efficace rispetto agli approcci basati su regole come NegBio, che spesso fallivano su strutture di frase brevi o non standard.
• Ablazione: L'uso del verbalizzatore multi-parola ha dimostrato di migliorare le prestazioni medie e di ridurre la varianza tra le esecuzioni rispetto ai verbalizzatori a singola parola.

Significato e Affermazioni
Gli autori posizionano PromptRad come una soluzione pratica per scenari clinici caratterizzati da scarsità di dati, alti costi di annotazione e rigorosi requisiti di privacy dei dati. Affinando un modello leggero (PubMedBERT, ~110 milioni di parametri) senza API esterne, PromptRad offre un'alternativa localmente distribuibile ai grandi modelli linguistici proprietari. Il documento afferma che questo approccio colma efficacemente il divario tra la necessità di un'etichettatura ad alte prestazioni e la realtà dei dati etichettati limitati negli ambienti clinici. Gli autori notano che, sebbene il metodo sia promettente, la sua generalizzabilità è attualmente limitata al dominio specifico (TC epatiche) e alla lingua (inglese) dello studio, e sono necessarie ulteriori validazioni per applicazioni cliniche più ampie.