Vision Foundation Models for Multi-Modal Medical Image Classification
Dit artikel toont aan dat het initialiseren van vision foundation models (zoals DINOv2 en MedSigLIP) aanzienlijk beter presteert dan willekeurige initialisatie bij multimodale medische beeldclassificatie, met name wanneer gelabelde data schaars zijn of beeldvormingsmodaliteiten ontbreken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne ziekenhuis vertrouwt een arts zelden op één enkele afbeelding om een diagnose te stellen. In plaats daarvan weven zij een tapijt van informatie uit verschillende soorten medische scans. Een patiënt met een hersentumor heeft mogelijk een reeks magnetische resonantiebeelden nodig, gemaakt met verschillende instellingen, om de randen van de tumor en de bloedtoevoer te zien. Een patiënt met leverziekte heeft mogelijk scans nodig die op verschillende momenten zijn gemaakt terwijl de contrastvloeistof door het orgaan stroomt. Op dezelfde manier kan een patholoog die weefsel onderzoekt, naar twee verschillende chemische kleuringen op hetzelfde objectglas kijken om het gedrag van een kanker te begrijpen. Deze aanpak, bekend als multi-modale beeldvorming, is de standaardzorg omdat elke weergave iets onthult wat de andere mist. Het is echter berucht moeilijk om een computer te leren om hetzelfde te doen. Om een computer te trainen om patronen te herkennen, hebben onderzoekers meestal duizenden voorbeelden nodig waarbij elk type scan aanwezig is en perfect door een menselijke expert is gelabeld. In de echte wereld zijn dergelijke perfecte datasets zeldzaam. Patiënten missen vaak afspraken, machines gaan kapot of verschillende ziekenhuizen gebruiken verschillende scanprotocollen, waardoor de computer met onvolledige informatie achterblijft. Wanneer gegevens ontbreken of schaars zijn, falen standaard computermodellen vaak, wat leidt tot gemiste diagnoses.
Onderzoekers van de Technische Universiteit München en het TUM Universiteitshospitaal zetten zich in om dit probleem op te lossen door te veranderen hoe ze deze computermodellen laten beginnen met leren. In plaats van een model vanaf nul te trainen met willekeurige instellingen telkens wanneer er een nieuwe medische taak ontstaat, testten zij of het helpen zou kunnen door te starten met een model dat al heeft geleerd de wereld te zien. Deze vooraf getrainde modellen, genaamd foundation models, zijn als studenten die al jaren miljoenen algemene afbeeldingen hebben bestudeerd en hebben geleerd vormen, texturen en structuren te herkennen voordat ze ooit een medische scan zagen. Het team vergeleken drie benaderingen: het trainen van een model vanaf nul met willekeurige instellingen, starten met een algemeen model dat getraind is op alledaagse foto's, en starten met een model dat specifiek op medische beelden is getraind. Ze testten deze methoden op drie verschillende medische uitdagingen: het classificeren van hersentumoren vanuit meerdere MRI-sequenties, het scoren van borstkankerweefsel van gekoppelde microscoopglijders, en het identificeren van leverlaesies vanuit multi-fase buikscans.
De resultaten toonden aan dat starten met een vooraf getraind model bijna altijd de betere keuze is, maar het voordeel wordt het meest spectaculair wanneer de data imperfect zijn. Wanneer de onderzoekers over een volledige set gelabelde beelden voor elke patiënt beschikten, presteerden de vooraf getrainde modellen net zo goed als, of zelfs iets beter dan, de modellen die vanaf nul waren getraind. Bijvoorbeeld, in de taak van leverlaesies verbeterde het gebruik van een vooraf getraind model het vermogen om de ziekte correct te identificeren van 54 procent naar 76 procent. De ware kracht van deze aanpak werd echter zichtbaar toen de onderzoekers scenario's uit de echte wereld simuleerden. Wanneer zij de hoeveelheid beschikbare gelabelde data verminderden, hielden de vooraf getrainde modellen stand, terwijl de modellen die vanaf nul waren getraind moeite hadden. Het verschil was nog opvallender toen ze een van de vereiste scans volledig verwijderden, een veelvoorkomende gebeurtenis in de klinische praktijk. In deze scenario's met ontbrekende gegevens stortten de vanaf nul getrainde modellen vaak in, waarbij hun vermogen om leverlaesies te detecteren daalde naar slechts 29 procent. In contrast hiermee behielden de modellen die begonnen met vooraf getrainde kennis een sensitiviteit van bijna 73 procent, waarbij ze de ontbrekende informatie effectief negeerden en nog steeds nauwkeurige voorspellingen deden.
De studie onderzocht ook hoe deze modellen omgaan met het feit dat verschillende ziekenhuizen verschillende machines gebruiken, wat het uiterlijk van de scans kan veranderen. Wanneer getest op data van een ziekenhuis dat het model nog nooit eerder had gezien, toonden de vooraf getrainde modellen opnieuw een superieure stabiliteit, vooral wanneer ze werden gecombineerd met een trainingsmethode die zowel gelabelde als ongelabelde data gebruikt. De onderzoekers ontdekten dat de manier waarop de computer de verschillende soorten afbeeldingen combineert ertoe doet, maar dat het startpunt van het model de meest cruciale factor is. Ze ontdekten dat de vooraf getrainde modellen kenmerken leerden die robuust genoeg waren om met ontbrekende inputs om te gaan zonder dat er speciale engineering-trucs nodig waren om de gaten op te vullen. Dit suggereert dat de algemene kennis verkregen uit het zien van miljoenen afbeeldingen een sterke basis biedt die goed overdraagbaar is naar de complexe, vaak rommelige realiteit van medische beeldvorming.
Uiteindelijk betogen de onderzoekers dat de oude methode om medische AI-modellen vanaf nul te trainen de uitzondering moet worden in plaats van de regel. Door te starten met een model dat al visuele patronen begrijpt, worden medische AI-systemen betrouwbaarder, hebben ze minder gelabelde voorbeelden nodig om te leren, en kunnen ze de onvermijdelijke hiaten in patiëntgegevens opvangen die optreden in de dagelijkse praktijk. Deze verschuiving kan geavanceerde diagnostische instrumenten toegankelijker en robuuster maken, waardoor wordt gewaarborgd dat een computerassistent nuttig blijft, zelfs wanneer een scan van een patiënt incompleet is of wanneer een arts slechts een paar voorbeelden heeft om het hem te leren. De studie bevestigt dat in de hooggevoelige wereld van medische diagnose, waar data vaak schaars en incompleet zijn, de beste strategie is om voort te bouwen op wat de computer al weet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.