Training-Free Adaptation of New-Generation LLMs using Legacy Clinical Models

1. Probleemstelling

De snelle vooruitgang van algemene Large Language Models (LLMs) heeft hun aanpassing aan het klinische domein ingehaald. Hoewel state-of-the-art algemene modellen superieure redeneervermogens en vloeiendheid bezitten, missen ze vaak specifieke klinische kennis, vertonen ze hallucinaties en slagen ze er niet in zich te houden aan klinische documentatiestijlen.

• Huidige Beperking: Traditionele domeinaanpassing (voortgezette voortraining en instructietuning) is rekenkundig duur en resource-intensief. Het vereist hertraining voor elke nieuwe modelgeneratie (bijvoorbeeld de overstap van MedPalm 1 naar MedPalm 2), wat een achterstand creëert waarbij zorginstellingen geen gebruik kunnen maken van nieuwe modelcapaciteiten zonder aanzienlijke herinvestering.
• Gat in Bestaande Oplossingen: Bestaande methoden voor modelensemble (zoals UNiTE) en proxy-tuning-technieken gaan over het algemeen uit van gedeelde tokenizers of overlappende capaciteiten. Ze worstelen met het combineren van modellen met disjuncte vocabulaires (verschillende tokenizers) en asymmetrische capaciteiten (bijvoorbeeld een nieuw algemeen model versus een oudere, gespecialiseerde klinische model).

2. Methodologie: Cross-Architecture Proxy Tuning (CAPT)

De auteurs stellen CAPT voor, een trainingsvrije, inferentie-tijd modelensemble-benadering die een nieuw-generatie algemeen domeinmodel ($M_{new}$) combineert met een legacy klinisch model ($M_{old-clin}$) en zijn basis tegenhanger ($M_{old}$).

Kernmechanisme

CAPT werkt op het decoderingsstap met behulp van contrastieve decoding om selectief klinische signalen in te brengen terwijl het redeneervermogen van het algemene model behouden blijft.

1. Candidaatselectie: Op elk decoderingsstap selecteert het systeem de top-$k$ kandidaat-tokens (standaard $k=20$) van het nieuw-generatie algemene model ($M_{new}$).
2. Cross-Architecture Mapping: Omdat $M_{new}$ en de klinische modellen disjuncte vocabulaires hebben, hanteert CAPT een decode–retokenize mapping ($f$):
   • Een token uit het vocabulaire van $M_{new}$ wordt gedecodeerd naar zijn stringvorm.
   • De string wordt opnieuw getokeniseerd met de tokenizer van het klinische model ($T_{old}$) om het corresponderende token in het klinische vocabulaire te vinden.
3. Log-probabiliteitsaanpassing: De log-probabiliteit van elke kandidaat-token wordt aangepast met behulp van een "klinische kennis-offset". Deze offset is het verschil tussen de log-probabiliteiten van het klinische model ($M_{old-clin}$) en zijn ongetrainde basis ($M_{old}$):
   $$s(i) = \log p_{new}(i | x_{1:t}) + \alpha \left( \log p_{old-clin}(f(i) | x_{1:t}) - \log p_{old}(f(i) | x_{1:t}) \right)$$
   • Waar $\alpha$ een schalingsfactor is ( ingesteld op 1.0).
   • Deze delta isoleert de kennis die tijdens klinische fine-tuning is geleerd, en verwijdert de algemene taalbias van het basismodel.
4. Selectie: Het token met de hoogste aangepaste score wordt geselecteerd en aan de context toegevoegd.

Implementatiedetails

• Gebruikte Modellen:
  • $M_{new}$: Qwen3-30B (Nieuw-generatie algemeen model).
  • $M_{old-clin}$: MeLLaMA-13B-chat (Legacy klinisch model).
  • $M_{old}$: LLaMA-2-13B-base (Basis tegenhanger).
• Beperkingen: De methode ondersteunt black-box API's waarbij alleen top-$k$ log-probabiliteiten worden blootgelegd, wat het praktisch toepasbaar maakt voor implementatie.

3. Belangrijkste Bijdragen

1. Trainingsvrije Aanpassing: Introduceert CAPT, waardoor het hergebruik van legacy, domein-aangepaste modellen mogelijk is om nieuwe algemene modellen aan te passen zonder extra training of fine-tuning.
2. Ondersteuning voor Disjuncte Vocabulaires: Lost de architecturale barrière op van het combineren van modellen met verschillende tokenizers via de decode–retokenize mapping, waardoor de integratie van oudere klinische modellen met moderne architecturen mogelijk wordt.
3. Selectieve Integratie: Laat zien dat CAPT niet zomaar probabiliteiten middelt, maar selectief tokens versterkt die gerelateerd zijn aan klinische besluitvorming en documentatiestijl, terwijl het algemene model de controle behoudt over de linguïstische structuur en vloeiendheid.

4. Resultaten

De methode werd geëvalueerd op zes klinische taken (3 classificatie, 3 tekstgeneratie) met behulp van metrieken zoals Macro-F1, Nauwkeurigheid, MedHELM LLM-jury scores en MedVAL risicovrije percentages.

• Prestatiewinst:
  • CAPT presteerde consequent beter dan zowel de individuele modellen als state-of-the-art baselines (UniTE en Proxy Tuning).
  • Gemiddelde Verbetering: +17,6% ten opzichte van UniTE en +41,4% ten opzichte van Proxy Tuning over alle metrieken.
  • Veiligheid: Aanzienlijke verbeteringen in "risicovrije" outputs (bijvoorbeeld +13,94% ten opzichte van UniTE bij tekstgeneratie), wat wijst op betere klinische veiligheid.
• Token-niveau Analyse:
  • Invloed Klinisch Model: Sterke invloed op tokens gerelateerd aan klinische besluitvorming (bijvoorbeeld koppen, beoordelings termen) en documentatiestijl (bijvoorbeeld verzachtende taal, rapportage werkwoorden).
  • Invloed Algemeen Model: Behoud van controle over linguïstische structuur, opmaak en algemene morfemen.
  • Medische Kennis: Bijna nul verschuivingen gevonden voor kern medische terminologie, wat suggereert dat beide modellen het eens zijn over feiten, maar CAPT verbetert hoe die kennis wordt uitgedrukt om te voldoen aan klinische conventies.
• Arts Case Studies:
  • Twee erkende artsen beoordeelden de outputs en stelden vast dat CAPT de klinische specificiteit verbeterde (bijvoorbeeld het wijzigen van "middelen" in "analgetica"), de contextuele nauwkeurigheid (bijvoorbeeld het corrigeren van bewakingslijnen van 24-72u naar 24-48u) en veiligheidskritieke aanbevelingen (bijvoorbeeld het benadrukken van tekenen van postpartum bloeding boven generieke infectietekens).

5. Betekenis en Impact

• Resource-efficiëntie: CAPT biedt een haalbaar pad voor zorginstellingen met beperkte rekenkracht om geavanceerde LLM's te adopteren zonder de prohibitieve kosten van hertraining.
• Modulaire Aanpassing: Het transformeert legacy klinische modellen in herbruikbare "adapters" die kunnen worden gekoppeld aan toekomstige foundation modellen, waardoor de vertaling van AI-vooruitgang naar klinische workflows wordt versneld.
• Overbrugging van de Kloof: Het adresseert effectief de "achterstand" tussen algemene modelcapaciteiten en klinische toepasbaarheid, zodat nieuwe modellen de veiligheid en stilistische nuances van gevestigde klinische AI erven zonder hun redeneervermogen op te offeren.
• Beperkingen & Toekomstig Werk: De methode verhoogt de inferentieberekening (vereist drie modelpasses) en kan over-explanatoire stijlen van algemene modellen erven. Toekomstig werk omvat adaptieve schaling van de aanpassingscoëfficiënt ($\alpha$) gebaseerd op gebruikersexpertise en het verkennen van kleinere klinische modellen om latentie te verminderen.

Concluderend vertegenwoordigt CAPT een paradigmaverschuiving van "hertraining voor elk model" naar "aanpassing via ensemble", en biedt een praktische, hoogpresterende oplossing voor de implementatie van klinische NLP.