Multimodal Integrated Knowledge Transfer to Large Language Models through Preference Optimization with Biomedical Applications

Dit paper introduceert MINT, een framework dat via voorkeuroptimalisatie (ORPO) kennis van hoogwaardige multimodale biomedische data overdraagt aan unimodale Large Language Models, waardoor deze modellen prestaties behalen die concurreren met of zelfs superieur zijn aan veel grotere modellen bij taken zoals het voorspellen van zeldzame genetische aandoeningen en het classificeren van weefseltypen.

De kern

Samenvatting van het onderzoek: MINT – De "Vertaalman" voor Medische AI

Stel je voor dat je een zeer slimme, algemene vertaler hebt (een Groot Taalmodel of LLM). Deze vertaler kent duizenden woorden, kan verhalen schrijven en redeneren, maar hij heeft nooit een medische studie gevolgd. Hij weet niet hoe een zeldzame ziekte eruitziet op een foto, en hij begrijpt niet altijd de subtiele nuances in een patiëntendossier.

Aan de andere kant heb je een medisch specialist (een multimodaal model) die wel alles weet: hij kan foto's van gezichten analyseren, labresultaten lezen én medische teksten begrijpen. Maar deze specialist is vaak te complex om direct als chatbot te gebruiken, of hij is alleen goed in één specifieke taak.

De uitdaging? Hoe krijg je de kennis van de specialist over in de slimme vertaler, zonder dat de vertaler zijn eigen persoonlijkheid (zijn algemene kennis) verliest?

Dit is waar MINT (Multimodal Integrated kNowledge Transfer) om de hoek komt kijken.

De Analogie: De Meester en de Leerling

In plaats van de vertaler gewoon te laten studeren uit een dik medisch boek (wat vaak leidt tot fouten of "hallucinaties" – het verzinnen van feiten), gebruiken de onderzoekers een slimme methode: voorkeuroptimalisatie.

Stel je voor dat de medisch specialist (de Meester) een leerling (de vertaler) traint. Maar in plaats van alleen te zeggen: "Dit is het juiste antwoord," doet de Meester iets slimmers:

1. De Meester kijkt naar een patiënt (bijvoorbeeld een foto van een gezicht en een beschrijving van symptomen).
2. De Meester maakt een lijstje:
   • De "Goede" antwoorden: De ziektes die het meest waarschijnlijk zijn (de "Chosen" opties).
   • De "Slechte" antwoorden: De ziektes die erop lijken, maar het niet zijn (de "Rejected" opties).
3. De Meester geeft dit lijstje aan de leerling en zegt: "Kijk, als je dit ziet, kies dan voor optie A, B of C. Maar pas op: kies nooit voor optie X, Y of Z, want dat lijkt erop, maar is het niet."

Dit is de kern van MINT. Het model leert niet alleen wat wel goed is, maar vooral ook wat niet goed is. Het leert de subtiele verschillen, net zoals een ervaren arts die weet dat twee ziektes op elkaar lijken, maar toch verschillend zijn.

Hoe werkt dit in de praktijk?

De onderzoekers hebben dit getest op twee belangrijke gebieden:

1. Zeldzame ziektes voorspellen (Alleen tekst)

• Het probleem: Een arts schrijft een verslag over een kind met ontwikkelingsvertraging en een specifieke gezichtsvorm. Een standaard AI-model raakt in de war en verzint diagnoses.
• De MINT-oplossing: Ze hebben een model getraind dat foto's en teksten samen bekijkt. Dit model heeft een lijstje gemaakt van "Goede" en "Slechte" diagnoses.
• Het resultaat: Het tekst-only model (Llama 3.2) dat deze voorkeuren heeft geleerd, wordt een stuk beter. Het scoort zelfs beter dan veel grotere, gespecialiseerde modellen. Het weet nu: "Ah, dit klinkt als ziekte X, niet als ziekte Y, omdat de combinatie van symptomen anders is."

2. Weefseltype herkennen (Alleen foto's)

• Het probleem: Een patholoog kijkt naar een microscopische foto van een celkern. Is dit darmweefsel of galwegweefsel? Ze lijken erg op elkaar.
• De MINT-oplossing: Een visueel model (dat ook tekst begrijpt) heeft een lijstje gemaakt van welke weefsels het wel en niet zijn.
• Het resultaat: Het beeldherkenningsmodel leert de fijne kneepjes. Het kan nu veel beter onderscheid maken tussen die twee bijna-identieke weefsels dan zonder deze training.

Waarom is dit zo belangrijk?

• Geen "hallucinaties": De modellen verzinnen minder vaak onzin. Ze weten wat ze niet moeten zeggen.
• Behoud van intelligentie: Het model wordt medisch slim, maar vergeet niet hoe het normaal moet praten of redeneren. Het is nog steeds een slimme assistent, niet alleen een medische database.
• Efficiëntie: Je hoeft geen enorme hoeveelheden nieuwe data te verzamelen. Je gebruikt de "wijsheid" van een bestaand, goed model om een ander model te leren.

De "Grootte" van het probleem

De onderzoekers merken wel één ding op: als een ziekte of weefseltype helemaal nieuw is (niemand heeft het ooit eerder gezien in de trainingsdata), dan kan MINT het niet direct oplossen. Het is als een leerling die alle bekende ziektes kent, maar nog nooit van een nieuwe, mysterieuze ziekte heeft gehoord. In die gevallen is het slim om MINT te combineren met een "zoekmachine" (RAG) die snel informatie opzoekt over die nieuwe ziekte.

Conclusie

MINT is als het geven van een mentorschap aan een AI. Je geeft de AI niet alleen de antwoorden, maar ook de redenen waarom bepaalde antwoorden fout zijn. Hierdoor wordt de AI een betere, betrouwbaardere medische assistent die zowel tekst als beelden beter begrijpt, zonder zijn eigen persoonlijkheid te verliezen. Het is een grote stap voorwaarts in het gebruik van AI voor de gezondheidszorg.

Technische samenvatting

Titel: Multimodaal Geïntegreerde Kennisoverdracht naar Grote Taalmodellen via Preferentie-Optimalisatie met Biomedische Toepassingen

1. Het Probleem

De toepassing van vooraf getrainde Grote Taalmodellen (LLMs) op gespecialiseerde biomedische taken wordt beperkt door het gebrek aan hoogwaardige, multimodale biomedische data. Hoewel LLMs uitstekende taalvaardigheden hebben, kampen ze met uitdagingen bij taken die complexe klinische redenering vereisen, zoals het voorspellen van zeldzame genetische aandoeningen of het classificeren van weefseltypen op basis van histologische beelden.

• Data-schaarste: Er is vaak weinig gelabelde data beschikbaar voor zeldzame ziekten of specifieke weefseltypen.
• Beperkingen van SFT: Supervised Fine-Tuning (SFT) op kleine datasets kan leiden tot "catastrophic forgetting" (verlies van algemene redeneervermogens) en presteert vaak slecht bij open-ended generatie van precieze, zeldzame terminologie.
• Multimodale kloof: Bestaande multimodale modellen (die beelden en tekst combineren) zijn vaak gespecialiseerd in classificatie, maar kunnen niet direct worden gebruikt als generatieve LLMs voor complexe redeneringstaken.

2. Methodologie: Het MINT Framework

De auteurs introduceren MINT (Multimodal Integrated kNowledge Transfer), een raamwerk dat unimodale LLMs aligneert met domeinspecifieke patronen uit hoogwaardige multimodale data via preferentie-optimalisatie.

• Kernidee: In plaats van de LLM direct te trainen op multimodale data, wordt een upstream multimodaal machine learning-model (MML) gebruikt om een preferentiedataset te genereren. Deze dataset bevat voorkeursantwoorden ("chosen") en afgekeurde antwoorden ("rejected") voor specifieke taken.
• Upstream Pipeline:
  • Voor zeldzame ziekten: Het model GestaltMML (getraind op gezichtsfoto's, demografische data en klinische notities) genereert een lijst van meest waarschijnlijke en minst waarschijnlijke ziekten.
  • Voor weefselclassificatie: Het model PLIP (Pathology Language-Image Pretraining) genereert preferenties op basis van celkernafbeeldingen.
• Downstream Pipeline:
  • De gegenereerde preferentieparen worden gebruikt om een downstream LLM (bijv. Llama 3.2) te trainen.
  • De auteurs implementeren MINT primair met ORPO (Odds Ratio Preference Optimization), een methode die Supervised Fine-Tuning (SFT) en preferentie-optimalisatie in één stap combineert. Dit elimineert de noodzaak voor een apart reward-model (zoals bij RLHF/PPO).
  • Alternatief wordt ook DPO (Direct Preference Optimization) getest.
• Doel: De downstream LLM leert van de "visuele" of multimodale expertise van het upstream model, maar voert de taken uit met alleen tekst (voor ziektevoorspelling) of alleen beelden (voor weefselclassificatie), terwijl het zijn generatieve en redeneervermogens behoudt.

3. Belangrijkste Bijdragen

1. Nieuw Framework (MINT): Een strategie om kennis van gespecialiseerde multimodale encoders over te dragen naar generatieve decoder-modellen (LLMs) zonder de modale beperkingen van de LLM zelf.
2. Superieure Prestaties: MINT overtreft bestaande methoden zoals SFT, Retrieval-Augmented Generation (RAG) en DPO in zowel tekst- als visuele biomedische taken.
3. Efficiëntie: Het framework werkt effectief met beperkte data (bijv. 20% van de dataset levert al aanzienlijke verbeteringen) en behoudt de algemene taalvaardigheden van het model.
4. Vermindering van Hallucinaties: Door het gebruik van preferentie-optimalisatie met strikte "afgekeurde" voorbeelden, wordt de kans op het genereren van valse diagnoses (hallucinaties) aanzienlijk verkleind.

4. Resultaten

De auteurs evalueren MINT op twee kernopgaven:

A. Voorspelling van Zeldzame Genetische Ziekten (Tekst-taak)

• Setup: Input is klinische tekst (symptomen, demografie); Output is een gerangschikte lijst van ziekten.
• Resultaten:
  • MINT (gebaseerd op Llama 3.2-3B) bereikte een Top-10 nauwkeurigheid van 52,99%, wat een enorme verbetering is ten opzichte van het basismodel (5,19%), SFT (37,53%) en RAG (6,52%).
  • Het presteerde zelfs beter dan een veel groter gespecialiseerd model (MedGemma-1.5-4b-it, 4B parameters) en een enorme foundation model (Llama 3.1-405B).
  • Zero-shot Generalisatie: Bij ziekten die niet in de trainingsdata zaten, presteerde MINT goed, hoewel RAG hier complementair sterk was. De combinatie van beide lijkt ideaal voor real-world scenario's.
  • Hallucinaties: De "Hallucination-Free Accuracy" (HFA) bleef boven de 99%.

B. Classificatie van Weefseltypen (Visuele taak)

• Setup: Input is een afbeelding van een celkern; Output is een lijst van 5 waarschijnlijke weefsels.
• Resultaten:
  • MINT (gebaseerd op Llama 3.2-Vision-11B) verbeterde de Top-5 nauwkeurigheid van 32,21% (basis) naar 57,58%.
  • Het overtrof SFT en DPO aanzienlijk.
  • Case Study: MINT slaagde erin om histologisch vergelijkbare weefsels (zoals darm en galblaas) beter te onderscheiden dan SFT, omdat het model leerde om specifieke "verwerpings" (rejected examples) te negeren die SFT niet zag.

C. Behoud van Algemene Capaciteiten

• Tests op benchmarks zoals MMLU, TruthfulQA en GSM8K toonden aan dat MINT de algemene taal- en redeneervermogens van het model niet aantastte.

5. Betekenis en Toekomstperspectief

MINT biedt een krachtige oplossing voor het "modale gat" in de biomedische AI. Het stelt onderzoekers in staat om de sterke classificatie-eigenschappen van gespecialiseerde multimodale modellen (zoals die getraind zijn op gezichten of histologie) te "graften" op grote, flexibele decoder-modellen.

• Klinische Impact: Het verbetert de diagnose van zeldzame ziekten en weefselanalyse zonder dat artsen complexe multimodale systemen hoeven te implementeren; een tekst- of beeld-invoer is voldoende.
• Hybride Strategie: De studie suggereert dat de toekomst van biomedische AI ligt in hybride systemen die MINT combineren met RAG (voor kennis van volledig nieuwe ziekten) om zowel nauwkeurigheid als generalisatie te maximaliseren.
• Open Source: De code en workflows zijn openbaar gemaakt, wat de adoptie in de gemeenschap bevordert.

Samenvattend demonstreert MINT dat preferentie-optimalisatie een effectieve brug is tussen gespecialiseerde multimodale data en generatieve LLMs, waardoor deze modellen betrouwbaarder en nauwkeuriger worden voor kritieke medische toepassingen.