Large Language Models for Biomedical Article Classification

1. Problema e Contesto

La classificazione di articoli scientifici biomedici è un compito fondamentale per le revisioni sistematiche della letteratura, ma presenta sfide significative:

• Scarsità di dati etichettati: L'annotazione manuale da parte di esperti è costosa e richiede tempo, rendendo difficile ottenere grandi dataset di addestramento per i metodi di machine learning convenzionali.
• Sfumature semantiche: Nei domini biomedici, le classi (inclusione/esclusione di un articolo) spesso dipendono da criteri complessi e dalla comprensione del contesto, non solo dalla frequenza delle parole.
• Squilibrio delle classi: I dataset reali sono spesso fortemente sbilanciati verso la classe negativa (esclusione).

L'obiettivo dello studio è valutare se i Large Language Models (LLM), utilizzati come classificatori di testo senza o con pochi esempi (zero-shot e few-shot), possano competere con gli algoritmi di classificazione tradizionali e quali configurazioni siano più efficaci.

2. Metodologia

Gli autori hanno condotto uno studio sistematico e approfondito su 15 dataset derivati dalle "Drug Class Reviews" (DCR), contenenti abstract di articoli PubMed con decisioni di inclusione/esclusione da parte di esperti.

Modelli Utilizzati

• Open Source: Llama 3.1 (8B e 70B), Gemma 2 (9B), Mistral 7B.
• Closed Source (API): GPT-4.1 mini e GPT-4.1 nano.
• Baseline: Classificatori convenzionali (Naïve Bayes, Random Forest con Bag-of-Words) e modelli transformer finetunati (DeBERTa, SciDeBERTa-v2).

Variabili Sperimentali

Lo studio ha esplorato in modo esaustivo diverse dimensioni:

1. Prompting: Confronto tra prompt semplici, medi e complessi, variando la struttura del messaggio di sistema e dell'utente (inclusione di domande dirette, ruoli, descrizioni del compito).
2. Metodi di Output e Calcolo delle Probabilità:
   • Output testuale diretto (parola chiave).
   • Output strutturato (JSON).
   • Punteggio numerico richiesto al modello.
   • Calcolo delle probabilità basato sui token: Utilizzo delle probabilità dei primi token generati dal modello per stimare la probabilità di classe (un approccio innovativo rispetto alla letteratura precedente).
3. Few-Shot Learning:
   • Conteggio: Da 0 a 4 esempi.
   • Selezione degli esempi: Selezione casuale vs. selezione basata sulla similarità semantica (utilizzando embedding da modelli come all-MiniLM-L6-v2, all-distilroberta-v1, all-mpnet-base-v2) e bilanciamento delle classi.
4. Tecniche Avanzate: Chain of Thought (CoT), Tree of Thoughts (ToT) e Chunking (suddivisione del testo).

Valutazione

Le prestazioni sono state misurate utilizzando la validazione incrociata k-fold stratificata (k=5). Le metriche principali includono:

• Accuratezza, Precisione, Recall, F1-score, MCC (Coefficiente di Correlazione di Matthews).
• AUPRC (Area Under the Precision-Recall Curve): Metrica cruciale per dataset sbilanciati e per valutare la qualità delle probabilità di classe.

3. Contributi Chiave

Questo lavoro si distingue dalla letteratura esistente per:

• Analisi dei metodi di output: È uno dei primi studi a confrontare sistematicamente l'uso delle probabilità dei token generati dal modello rispetto alla richiesta di un punteggio numerico o di un'etichetta testuale.
• Scelta degli esempi: Valutazione comparativa di diversi modelli di embedding per la selezione degli esempi nel contesto few-shot.
• Ampiezza del confronto: Include sia modelli open-source che closed-source, confrontandoli con baseline convenzionali e transformer finetunati su un dominio specifico e difficile (biomedicina).
• Rilevanza pratica: Fornisce raccomandazioni concrete su come configurare gli LLM per compiti di classificazione reale.

4. Risultati Principali

Prestazioni Generali

• Gli LLM in modalità zero-shot hanno ottenuto un AUPRC medio superiore a 0.4, mentre in modalità few-shot (con pochi esempi) hanno raggiunto quasi 0.5.
• Questi risultati si avvicinano a quelli dei classificatori convenzionali: Naïve Bayes (0.5), Random Forest (0.5-0.55) e modelli transformer finetunati (~0.5).
• In generale, i modelli convenzionali e i transformer finetunati hanno superato leggermente gli LLM sulla maggior parte dei dataset, ma gli LLM hanno mostrato prestazioni competitive o superiori su dataset specifici (es. ADHD, Estrogens, Opioids).

Scoperte Specifiche

1. Metodo di Output: Il calcolo delle probabilità di classe basato sulla distribuzione dei primi token ha prodotto le stime di probabilità più affidabili (AUPRC più alto), superando la richiesta di un punteggio numerico o l'output JSON.
2. Few-Shot vs Zero-Shot: Anche un singolo esempio (one-shot) migliora drasticamente le prestazioni rispetto allo zero-shot. Tuttavia, aumentare il numero di esempi oltre 3-4 non porta benefici significativi e aumenta i costi computazionali.
3. Selezione degli Esempi: La selezione basata sulla similarità semantica è nettamente superiore alla selezione casuale. La scelta del modello di embedding specifico ha un impatto minore, ma il bilanciamento delle classi durante la selezione degli esempi non ha migliorato i risultati.
4. Prompting: Non esiste una correlazione diretta tra complessità del prompt e prestazioni. Tuttavia, includere una domanda diretta nel messaggio dell'utente (es. "L'articolo dovrebbe essere incluso?") ha migliorato le prestazioni.
5. Tecniche Avanzate: Le tecniche come Chain of Thought, Tree of Thoughts e Chunking non hanno migliorato le prestazioni in termini di AUPRC, nonostante richiedano più risorse computazionali.
6. Dimensione del Modello: Non ci sono differenze chiare e consistenti tra modelli di dimensioni diverse o tra provider. Sorprendentemente, il modello Llama 3.1 8B ha ottenuto un AUPRC medio leggermente superiore al modello 70B, e il modello commerciale più piccolo (GPT-4.1 nano) ha superato il modello più grande (GPT-4.1 mini).

5. Significato e Conclusioni

Lo studio dimostra che gli LLM sono strumenti pratici ed efficaci per la classificazione di articoli biomedici, specialmente in scenari con dati etichettati limitati.

• Raccomandazioni Pratiche:
  • Utilizzare few-shot prompting con 1-3 esempi selezionati per similarità semantica.
  • Sfruttare le probabilità dei token generati dal modello per ottenere stime di probabilità robuste, permettendo di regolare la soglia decisionale in base alle esigenze (es. sensibilità vs. specificità).
  • Evitare tecniche di prompting eccessivamente complesse (CoT, ToT) che non giustificano il costo computazionale aggiuntivo per questo compito specifico.
  • Includere una domanda diretta nel prompt per guidare meglio il modello.

Il lavoro conclude che, sebbene gli LLM non sostituiscano ancora i modelli finetunati su grandi dataset etichettati per tutte le metriche, offrono un'alternativa valida, flessibile e competitiva, specialmente quando l'addestramento supervisionato non è fattibile. Le future ricerche dovrebbero esplorare l'uso di LLM su dataset con esempi etichettati estremamente scarsi e l'adattamento (fine-tuning) specifico per il dominio biomedico.