A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP

Probleemstelling

Bestaande methoden voor het fijnafstemmen (fine-tuning) van Large Language Models (LLMs) in de klinische NLP (Natural Language Processing) kampen met drie fundamentele uitdagingen:

1. Gebrek aan generalisatie: Modellen getraind voor één taak (bijv. informatie-extractie) transfereren niet goed naar andere taaktypen (bijv. samenvatting of redenering), zelfs niet binnen dezelfde klinische tekst.
2. Institutionele en domeinspecificiteit: Modellen presteren vaak slecht bij implementatie in andere ziekenhuizen of voor andere ziektegebieden vanwege verschillen in documentatiecultuur, EHR-systemen en lokale terminologie.
3. Resource-intensiviteit: Het trainen en opslaan van aparte, volledig gefinetuned modellen voor elke taak, instelling en ziekte is computatief onhaalbaar en duur, vooral gezien de schaal van moderne LLM's (miljarden parameters).

Hoewel Parameter-Efficient Fine-Tuning (PEFT) methoden zoals LoRA (Low-Rank Adaptation) en Prompt Tuning de kosten verlagen, hebben deze beperkingen:

• LoRA: Vereist nog steeds ~1-2% trainbare parameters per taak en slaat aparte gewichtsupdates op, wat schaalbaarheid beperkt.
• Single-task Prompt Tuning: Loopt prompts per taak van scratch op, wat leidt tot instabiliteit en het niet benutten van gedeelde kennis tussen gerelateerde klinische taken.

Methodologie: Multitask Prompt Distillatie en Decompositie (MPT)

De auteurs stellen een nieuw raamwerk voor dat een enkele gedeelde "meta-prompt" leert vanuit diverse brontaken en deze efficiënt aanpast aan onbekende doeltaken. Het proces verloopt in drie fasen:

1. Task-level Teacher Prompt Training:

   • Er worden vijf klinische bron-taaktypen gedefinieerd: Named Entity Recognition (NER), Relation Extraction (RE), Question Answering (QA), Natural Language Inference (NLI) en Samenvatting.
   • Voor elk taaktype worden heterogene datasets samengevoegd tot een uniforme labelruimte. Onafhankelijke "teacher prompts" worden getraind op deze gecombineerde data met een bevroren LLM-backbone.

2. Multitask Prompt Distillatie en Decompositie:

   • De onafhankelijk getrainde teacher prompts worden gedecomposeerd in één gedeelde meta-prompt ($P^*$) en taakspecifieke laag-rang updates (low-rank factors).
   • Wiskundig wordt de reconstructie van een prompt voor taak $k$ als volgt geformuleerd:
     $$P_k = P^* \odot (U_k \times V_k)$$
     waarbij $\odot$ het elementsgewijze product is, en $U_k$ en $V_k$ kleine trainbare matrices zijn.
   • Distillatieverlies: Het model wordt getraind met een combinatie van drie verliesfuncties:
     1. Taakverlies (cross-entropy op de output).
     2. Logit-distillatieverlies (KL-divergentie tussen teacher en student output).
     3. Hidden state-distillatieverlies (MSE tussen de verborgen staten van teacher en student) om representatieve uitlijning te garanderen.

3. Aanpassing aan Doeltaken (Target Task Adaptation):

   • Tijdens evaluatie op onbekende doeltaken wordt de gedeelde meta-prompt $P^*$ bevroren.
   • Alleen de kleine taakspecifieke vectoren ($u_k, v_k$) worden aangepast (fine-getuned).
   • Dit resulteert in een extreem lage parameter-efficiëntie: minder dan 0,05% van de totale parameters zijn trainbaar per doeltaak.

Belangrijkste Bijdragen

1. Nieuw Framework: Een prompt-distillatie- en decompositieframework dat kennis overdraagt over heterogene klinische datasets binnen en tussen taaktypen.
2. Klinische Benchmark: Constructie van een uitgebreide benchmark met 21 brondatasets en 10 doeldatasets, dekkend cross-institutionele, cross-ziekte en cross-domein transfer scenario's.
3. Uitgebreide Evaluatie: Systematische test op drie state-of-the-art LLM's:
   • LLaMA 3.1 8B (algemeen domein).
   • Meditron3 8B (klinisch gespecialiseerd).
   • gpt-oss 20B (MoE-architectuur, grotere schaal).
4. Few-Shot Analyse: Gedetailleerde analyse van het gedrag in low-resource scenario's (0 tot 20 gelabelde voorbeelden).

Resultaten

De experimenten tonen aan dat MPT superieur presteert aan bestaande methoden:

• Vergelijking met LoRA: MPT presteert consistent beter dan LoRA (gemiddeld +1,5% tot +1,7% hoger) ondanks het gebruik van orde van grootte minder parameters (<0,05% vs ~2,5%). Het verschil is het grootst bij relationele extractie (RE) en cross-disease transfer.
• Vergelijking met Single-Task Prompt Tuning: MPT overtreft single-task prompt tuning met +6,1% tot +6,6%, wat aantoont dat de gedeelde meta-prompt waardevolle transferbare kennis bevat die vanzelf niet uit doeltaken kan worden geleerd.
• Modelprestaties:
  • Meditron3 8B presteert beter dan LLaMA 3.1 8B, wat aantoont dat klinische pretraining essentieel is. MPT op Meditron3 overtreft zelfs Full Fine-Tuning op LLaMA.
  • gpt-oss 20B bereikt de hoogste absolute prestaties, vooral bij complexe redeneertaken (QA), dankzij schaal en MoE-architectuur.
• Few-Shot Learning: Bij slechts 1 gelabeld voorbeeld (k=1) behaalt MPT aanzienlijk betere resultaten dan LoRA (+13,2%) en PT (+27,1%). Dit bevestigt dat de gedeelde prompt een sterke initialisatie biedt die minimale supervisie vereist om te activeren.

Betekenis en Conclusie

Dit onderzoek bewijst dat multitask prompt distillatie een praktische en fundamentele oplossing biedt voor schaalbare klinische NLP-implementatie.

• Infrastructuur: Ziekenhuizen kunnen één bevroren backbone behouden en slechts een bibliotheek van lichtgewicht prompt-vectoren opslaan, in plaats van meerdere zware LoRA-modellen.
• Efficiëntie: Het bereikt prestaties vergelijkbaar met full fine-tuning met een fractie van de rekkracht en opslagruimte.
• Toekomstperspectief: De methode is bij uitstek geschikt voor low-resource klinische omgevingen waar annotatie duur is. Toekomstig werk richt zich op uitbreiding naar multimodale data (beeld, tijdreeksen) en dynamische routing van promptsegmenten.

Kortom, de studie vestigt multitask prompt transfer als een nieuwe standaard voor schaalbare, efficiënte en effectieve aanpassing van LLM's in de gezondheidszorg.