A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP

Titolo

Un approccio di Transfer Learning efficiente in termini di parametri attraverso la distillazione e la decomposizione di prompt multitasking per il NLP Clinico

1. Il Problema

L'integrazione dei Modelli Linguistici di Grande Dimensione (LLM) nei flussi di lavoro ospedalieri incontra ostacoli significativi legati alla scalabilità e alla generalizzazione:

• Sovraccarico Computazionale e di Archiviazione: I metodi attuali di fine-tuning basato su prompt apprendono prompt specifici per ogni task in modo indipendente. Questo richiede risorse computazionali e di storage proibitive quando si devono distribuire sistemi NLP clinici per molteplici task, istituzioni e domini di malattia.
• Scarsa Generalizzazione: I modelli addestrati su un task (es. estrazione di entità) non trasferiscono conoscenze ad altri (es. inferenza o riepilogo). Inoltre, i modelli addestrati in un'istituzione falliscono spesso in altre a causa di differenze nella cultura della documentazione, nei sistemi EHR e nel vocabolario clinico locale.
• Limitazioni delle Tecniche PEFT Esistenti: Sebbene metodi come LoRA (Low-Rank Adaptation) riducano i parametri addestrabili, richiedono ancora aggiornamenti di peso significativi (1-2%). Il Prompt Tuning soft (aggiunta di vettori continui) è più efficiente (<0.1% di parametri) ma tende a essere instabile su modelli più piccoli e apprende ogni prompt da zero, fallendo nello sfruttare le strutture condivise tra task clinici correlati.

2. Metodologia

Gli autori propongono un framework di Distillazione e Decomposizione di Prompt Multitasking (MPT) che apprende un singolo "meta-prompt" condiviso da 21 task sorgente clinici diversi, adattandolo poi a task target non visti con meno dello 0,05% di parametri addestrabili.

Il framework si articola in tre fasi principali:

1. Addestramento di Prompt "Teacher" a Livello di Task: Per ciascuno dei 5 tipi di task clinici (NER, RE, QA, NLI, Riepilogo), vengono unificati gli spazi delle etichette su dataset eterogenei. Vengono addestrati 5 prompt soft indipendenti (teacher) su questi corpus unificati, mantenendo il backbone LLM congelato.
2. Distillazione e Decomposizione Multitasking:
   • I prompt teacher indipendenti vengono decomposti in un meta-prompt condiviso ($P^*$) e aggiornamenti a basso rango specifici per il task.
   • Matematicamente, il prompt ricostruito per il task $k$ è definito come: $P_k = P^* \odot (U_k \times V_k)$, dove $U_k$ e $V_k$ sono piccole matrici addestrabili e $\odot$ è il prodotto di Hadamard.
   • L'addestramento congiunto utilizza una funzione di perdita composta da tre termini: perdita sul task, distillazione dei logit (divergenza KL) e distillazione degli stati nascosti (MSE), per allineare le rappresentazioni interne tra teacher e student.
3. Adattamento al Task Target: Durante la valutazione su nuovi dataset, il meta-prompt $P^*$ viene congelato. Solo i vettori specifici per il task target ($u, v$) vengono aggiornati, inizializzati dai vettori sorgente corrispondenti al tipo di task.

Setup Sperimentale:

• Modelli: LLaMA 3.1 8B (generale), Meditron3 8B (clinico), gpt-oss 20B (MoE).
• Dataset: 21 dataset sorgente e 10 dataset target tenuti da parte, coprendo scenari di trasferimento cross-istituzionale, cross-malattia e cross-dominio.
• Baseline: Full Fine-Tuning, LoRA, Prompt Tuning singolo (PT) con inizializzazione casuale.

3. Contributi Chiave

1. Framework di Distillazione Unificato: Introduzione di una strategia che unifica gli spazi delle etichette e permette la distillazione della conoscenza e la decomposizione dei prompt su dataset clinici eterogenei.
2. Benchmark Clinico Multitasking: Costruzione di un nuovo benchmark composto da 21 dataset sorgente e 10 target per 5 tipi di task NLP clinici.
3. Valutazione Empirica Completa: Analisi su tre LLM all'avanguardia (inclusi modelli specifici per la medicina e architetture MoE) in scenari di trasferimento complessi (cross-task, cross-institution, cross-disease).
4. Analisi in Regime Low-Resource: Valutazione sistematica delle prestazioni in scenari few-shot (da 0 a 20 esempi), cruciale per la realtà clinica dove i dati annotati sono scarsi.

4. Risultati

• Superiorità su LoRA: Il framework MPT supera costantemente LoRA (che usa ~2.5% di parametri) con un margine medio del 1.5-1.7%, pur utilizzando ordini di grandezza in meno di parametri (<0.05%).
• Vantaggio sul Prompt Tuning Singolo: MPT supera il Prompt Tuning singolo (inizializzato a caso) del 6.1-6.6%, dimostrando che il meta-prompt condiviso codifica conoscenze trasferibili che il singolo task non può apprendere da solo.
• Impatto del Domain Pretraining: Il modello Meditron3 8B (pre-addestrato su dati clinici) ha ottenuto prestazioni superiori rispetto a LLaMA 3.1 8B, con MPT che ha superato il Full Fine-Tuning di LLaMA 3.1 8B pur usando meno dello 0.05% dei parametri.
• Prestazioni di gpt-oss 20B: Il modello MoE da 20B ha raggiunto le prestazioni complessive più elevate, specialmente nei task di ragionamento clinico (QA).
• Robustezza Few-Shot: In scenari few-shot (es. k=1), MPT mostra un recupero rapido delle prestazioni, superando LoRA del 13.2% e PT del 27.1% in media, con una varianza inferiore rispetto agli altri metodi.

5. Significato e Implicazioni

Questo studio dimostra che l'approccio di Transfer Learning basato su Prompt Multitasking è una soluzione praticabile e scalabile per il NLP clinico:

• Efficienza Operativa: Le strutture sanitarie possono mantenere un unico backbone congelato e un archivio leggero di vettori di prompt, eliminando la necessità di distribuire e gestire molteplici varianti di modelli pesanti (come quelli con LoRA).
• Generalizzazione Clinica: La capacità di apprendere un rappresentazione condivisa da task diversi permette di superare le barriere di generalizzazione tra istituzioni e domini di malattia, un problema critico nell'adozione dell'IA in medicina.
• Adattabilità ai Dati Scarsi: L'eccellente performance in regime few-shot rende questo metodo ideale per l'implementazione in scenari reali dove l'annotazione esperta è costosa e limitata.

In conclusione, la distillazione e decomposizione multitasking dei prompt si propone come un fondamento pratico per lo sviluppo di sistemi NLP clinici scalabili, efficienti e robusti.