Few-Shot Biomedical Relation Extraction with Large Language Models: A Viable Alternative to Supervised Learning?

Sintesi Tecnica: Estrazione di Relazioni Biomediche Few-Shot con Large Language Models

Problema
L'estrazione di relazioni biomediche (BioRE) è fondamentale per convertire la letteratura non strutturata in grafi di conoscenza strutturati. Tuttavia, gli approcci esistenti si affidano prevalentemente all'apprendimento supervisionato, che richiede dataset annotati da esperti dai costi elevati e spesso fatica a generalizzare su tipi di relazione rari o nuovi domini. Sebbene i Large Language Models (LLM) offrano una potenziale soluzione per contesti a basse risorse tramite l'apprendimento basato su prompt, le loro prestazioni nella BioRE sono state incoerenti, con risultati riportati che variano da un sostanziale sotto-performance a una competitività con i baseline supervisionati. Inoltre, è mancata una comparazione sistematica tra le diverse formulazioni del compito (classificazione a coppie rispetto alla generazione congiunta) e i loro compromessi tra qualità dell'estrazione ed efficienza computazionale.

Metodologia
Gli autori investigano la BioRE few-shot utilizzando l'apprendimento basato su prompt con recenti LLM open-weight (famiglie Gemma-4 e Qwen-3.5, specificamente varianti da 25–35 miliardi di parametri). Lo studio è condotto sul dataset BioREDirect, che contiene abstract di PubMed annotati con sei tipi di entità e otto tipi di relazione. L'valutazione si concentra sull'estrazione a livello di documento, un setting più impegnativo rispetto all'estrazione a livello di frase a causa delle dipendenze a lungo raggio.

Lo studio confronta due principali formulazioni del compito:

1. Classificazione a coppie (Pairwise Classification): Il modello elabora il testo con una singola coppia di entità annotate e predice il tipo di relazione (o "Nessuna"). Ciò richiede una chiamata al modello per ogni coppia candidata.
2. Generazione congiunta (Joint Generation): Il modello elabora il testo con molteplici entità annotate e genera tutte le triple supportate (testa, coda, relazione) in una singola chiamata.
   • Per analizzare il compromesso precisione-richiamo, gli autori introducono un setting di generazione vincolata a $k$ ($k$-constrained generation). In questo caso, le entità sono divise in sottoinsiemi sovrapposti di dimensione $k$ (dove $k < N$, il numero totale di entità). Le predizioni dai sottoinsiemi sovrapposti vengono aggregate tramite voto di maggioranza.

Gli esperimenti utilizzano la decodifica deterministica e valutano le prestazioni con e senza capacità di ragionamento (passaggi di ragionamento intermedi). Le metriche includono Precision, Recall, Micro-F1 e Macro-F1 (per tenere conto dello sbilanciamento delle classi), insieme a una metrica del costo dei token pesata per misurare l'efficienza computazionale.

Risultati Chiave

• Performance vs. Baseline Supervisionati: Il modello few-shot con le migliori prestazioni (Qwen3.5-27B in classificazione a coppie) ha raggiunto un punteggio Micro-F1 di 0.44, superando sostanzialmente i precedenti risultati few-shot (0.34) ma rimanendo al di sotto del baseline supervisionato PubMedBERT (0.56).
• L'effetto della classe "Association": Il divario di prestazioni con i modelli supervisionati è attribuito in gran parte al tipo di relazione "Association", che è definito ambiguamente e funge da etichetta di fallback nel dataset. Quando valutati utilizzando la Macro-F1 (che cattura meglio le prestazioni attraverso le classi sbilanciate), gli approcci basati su prompt hanno superato il baseline supervisionato (0.45 vs. 0.38), in particolare per i tipi di relazione rari come Bind, Comparison e Cotreatment.
• Compromessi nelle Formulazioni del Compito:
  • La Classificazione a coppie ha costantemente ottenuto una richiamo (recall) più elevata, rendendola adatta ad applicazioni che richiedono la massima copertura delle relazioni.
  • La Generazione congiunta ha prodotto una precisione più elevata ma un richiamo inferiore, probabilmente a causa della natura autoregressiva della generazione che omette le relazioni incerte.
  • La Generazione vincolata a $k$ ha offerto una via di mezzo regolabile, consentendo ai professionisti di bilanciare precisione, richiamo e costo.
• Efficienza Computazionale: La generazione congiunta è stata significativamente più efficiente, riducendo i costi computazionali fino a 25× rispetto alla classificazione a coppie. Sebbene l'abilitazione del ragionamento abbia migliorato le prestazioni (specialmente per i modelli Mixture-of-Experts), ha comportato costi computazionali sostanziali a causa dell'aumento della generazione di token in uscita. Le architetture Mixture-of-Experts (MoE) si sono dimostrate più efficienti dal punto di vista dei costi rispetto ai modelli densi.

Significatività e Rivendicazioni
Il documento sostiene che gli LLM few-shot rappresentano un'alternativa valida all'apprendimento supervisionato per la BioRE, in particolare in contesti a basse risorse o quando si tratta di tipi di relazione ben definiti e specifici. Gli autori sostengono che la percepita sotto-performance degli LLM rispetto ai modelli supervisionati è spesso un artefatto dello sbilanciamento del dataset e dell'ambiguità della annotazione (specificamente la classe "Association") piuttosto che un limite fondamentale dei modelli.

Lo studio evidenzia che:

1. La Macro-F1 è una metrica critica per valutare la BioRE in contesti sbilanciati, dove gli LLM dimostrano una superiorità nella generalizzazione alle relazioni rare rispetto ai baseline supervisionati.
2. La formulazione del compito è importante: la scelta tra classificazione a coppie e generazione congiunta dovrebbe essere guidata dalle specifiche esigenze dell'applicazione (richiamo vs. precisione/costo) piuttosto che da un singolo "miglior" metrica.
3. Schemi ben definiti sono essenziali: le prestazioni degli LLM guidati da istruzioni dipendono fortemente da definizioni di relazione chiare; l'ambiguità negli schemi di annotazione influenza sproporzionatamente gli LLM rispetto ai modelli addestrati direttamente sui dati rumorosi.

Gli autori concludono che, sebbene gli LLM non abbiano ancora superato pienamente i baseline supervisionati in termini di Micro-F1 grezza, la loro flessibilità, la capacità di generalizzare alle classi rare e la loro efficienza computazionale (tramite la generazione congiunta) li rendono un'opzione convincente per l'estrazione di conoscenza biomedica.