CoM$^3$eT: A foundation model for medical image analysis through federated, multidimensional context integration

Het menselijk lichaam vormt een uitgestrekt landschap van visuele gegevens, van de platte, tweedimensionale schaduwen van een röntgenfoto tot de complexe, driedimensionale volumes van een CT-scan en de microscopische, gigapixel-details van een weefselpreparaat. Decennialang heeft kunstmatige intelligentie geleerd om door deze landschappen te navigeren, maar dat heeft het gedaan in geïsoleerde zakken. Een systeem dat getraind is om tumoren te detecteren in een borstkasröntgenfoto, kan vaak een microscopisch preparaat niet begrijpen, en een model dat ontworpen is om cellen te tellen in een weefselmonster, worstelt met het interpreteren van een 3D-orgaanscan. Deze fragmentatie dwingt artsen en onderzoekers om voor elk type afbeelding een andere gespecialiseerde tool te gebruiken, een beperking die kritiek wordt wanneer data schaars is of wanneer de toestand van een patiënt vereist dat er gelijktijdig naar meerdere soorten scans wordt gekeken. Het doel van moderne medische AI is om één veelzijdige geest te bouwen die het hele plaatje kan zien, ongeacht het formaat, maar het creëren van een dergelijk systeem is gehinderd door de moeilijkheid om deze diverse visuele werelden te combineren zonder precisie te verliezen.

Een team van onderzoekers heeft nu een verenigd systeem geconstrueerd genaamd CoM³eT, een foundation model dat ontworpen is om medische beelden te begrijpen over alle dimensies en taken heen. In tegen tegenstelling tot eerdere modellen die beperkt waren tot een enkele specialiteit, zoals radiologie of pathologie, of beperkt waren tot specifieke typen antwoorden zoals eenvoudige classificatie of gedetailleerde segmentatie, verenigt dit nieuwe model ze allemaal. Het behandelt een 3D-volume van een hart, een platte röntgenfoto en een massief digitaal microscopisch preparaat als variaties van dezelfde fundamentele visuele taal. Door te trainen op een enorme collectie van meer dan 100.000 patiënten, variërend van enkelcel-afbeeldingen tot scans van het hele lichaam, leerde het model patronen te herkennen die standhouden over verschillende schalen en modaliteiten heen. Het resultaat is een enkele architectuur die taken kan uitvoeren die zo uiteenlopend zijn als het diagnosticeren van pneumonie in een borstkasröntgenfoto, het tellen van delende cellen in een borstkankerpreparaat en het segmenteren van bloedvaten in een 3D CT-scan, allemaal met een nauwkeurigheidsniveau dat dat van de beste gespecialiseerde tools momenteel evenaart of zelfs overtreft.

De kracht van dit systeem ligt in de manier waarop het informatie verwerkt. In plaats van een 3D-scan te behandelen als een stapel afzonderlijke 2D-coupes, ziet het model het gehele volume als een samenhangend geheel, waardoor het context kan begrijpen die zich over verschillende lagen van een afbeelding uitstrekt. Het gebruikt een mechanisme waardoor het zich kan concentreren op de meest relevante delen van een afbeelding terwijl het bijhoudt waar die delen zich in de ruimte bevinden. Deze aanpak bleek zo effectief dat CoM³eT in een recente onafhankelijke competitie, ontworpen om medische foundation models te testen, de eerste plaats algemeen won, waarbij het leidende modellen in zowel radiologie als pathologie overtrof. Het was het enige model dat in staat was om elke gepresenteerde taak aan te gaan, van het genereren van tekstuele rapporten over afbeeldingen tot het identificeren van specifieke structuren in complexe 3D-data. In één specifieke test betreffende de segmentatie van borsttumoren in MRI-scans behaalde het model een score die aanzienlijk hoger lag dan die van gespecialiseerde concurrenten, wat aantoont dat een enkele, verenigde aanpak een verzameling smalle, gespecialiseerde tools kan overtreffen.

Misschien wel de meest praktische doorbraak van dit werk is niet alleen de intelligentie ervan, maar ook de efficiëntie. Het trainen van een dergelijk massief model vereist meestal enorme rekenkracht, vaak voorbehouden aan een handvol elite-instellingen met toegang tot supercomputers. De onderzoekers ontdekten echter dat ze dit krachtige systeem konden aanpassen aan nieuwe medische taken door slechts een fractie van de interne instellingen bij te werken—minder dan 2,5 procent van de totale parameters. Deze techniek, bekend als partial fine-tuning, stelt het model in staat om nieuwe vaardigheden te leren zonder dat het zijn hele brein opnieuw hoeft te trainen. Deze efficiëntie opent de deur naar een nieuwe manier van samenwerken tussen ziekenhuizen. Het team demonstreerde dat ze het model konden trainen over meerdere Duitse universitair ziekenhuizen zonder ooit de gevoelige patiëntgegevens van de lokale opslag te verplaatsen. Door de kern van het model bevroren te houden en alleen de kleine, bijgewerkte stukjes van het systeem via het internet uit te wisselen, bereikten ze prestatieniveaus die vergelijkbaar zijn met het trainen op één enkele, massieve pool van gecombineerde data. Dit bewijst dat hoogwaardige medische AI ontwikkeld en gedeeld kan worden, zelfs met standaard computerhardware en gewone internetverbindingen, wat geavanceerde diagnostische tools toegankelijk maakt voor een veel breder scala aan medische centra.

Het vermogen van het model om diverse datatypen te hanteren, adresseert ook een langdurige uitdaging in de medische beeldvorming: de noodzaak om de toestand van een patiënt vanuit meerdere hoeken te analyseren. In het verleden moest een arts misschien vertrouwen op een radioloog om een CT-scan te lezen en een patholoog om een weefselpreparaat te lezen, zonder dat er een enkel systeem was dat beide perspectieven kon synthetiseren. CoM³eT overbrugt deze kloof door te leren informatie uit verschillende bronnen te integreren. Bijvoorbeeld, in taken die de voorspelling van kankerterugkeer vereisen, combineerde het model succesvol de ruimtelijke context van een volledig weefselpreparaat met de specifieke details van individuele celpatches. Dit holistische beeld stelde het model in staat om nauwkeuriger voorspellingen te doen dan modellen die de data in isolatie bekeken. De onderzoekers ontdekten dat wanneer het model de mogelijkheid kreeg om de relaties tussen verschillende delen van een afbeelding te overwegen, de prestaties aanzienlijk verbeterden, wat suggereert dat de context van een afbeelding net zo belangrijk is als de afbeelding zelf.

Ondanks het succes merken de onderzoekers er zorgvuldig bij op dat het systeem geen magische oplossing is die in elk scenario perfect werkt. In sommige specifieke taken, zoals het identificeren van zeer kleine bloedvaten in een CT-scan, heeft het model nog steeds uitdagingen, vooral wanneer de structuren moeilijk te onderscheiden zijn van hun omgeving. Het team erkent dat hoewel het vermogen van het model om globale context te integreren een grote kracht is, er nog steeds gebieden zijn waar gespecialiseerde, traditionele methoden een voordeel kunnen hebben. Echter, het feit dat een enkel, flexibel systeem kan concurreren met en vaak deze gespecialiseerde methoden overtreft, suggereert een verschuiving in hoe medische AI zal worden ontwikkeld. In plaats van een nieuwe, smalle tool te bouwen voor elke nieuwe ziekte of beeldtechniek, ligt de toekomst wellicht in deze brede, aanpasbare fundamenten die snel kunnen worden afgestemd op specifieke behoeften.

De implicaties van dit werk reiken verder dan het laboratorium. Door te bewijzen dat een enkel model kan leren van een enorme hoeveelheid medische data en efficiënt kan worden aangepast aan nieuwe taken, hebben de onderzoekers een blauwdruk geleverd voor de volgende generatie medische AI. Deze aanpak verlaagt de drempel voor de ontwikkeling van nieuwe diagnostische tools, aangezien het niet langer vereist om voor elke nieuwe toepassing enorme datasets of supercomputingbronnen te hebben. Het vermogen om deze modellen over meerdere instellingen te trainen zonder de ruwe patiëntgegevens te delen, adresseert ook cruciale privacyzorgen en biedt een pad voor collaboratief onderzoek dat de vertrouwelijkheid van patiënten respecteert. Naarmate het veld vordert, zal de focus waarschijnlijk verschuiven van het creëren van geïsoleerde, gespecialiseerde modellen naar het bouwen van deze veelzijdige, fundamentele systemen die kunnen groeien en zich kunnen aanpassen aan ons begrip van de menselijke gezondheid. Het succes van CoM³eT suggereert dat de toekomst van de analyse van medische beeldvorming niet gedefinieerd zal worden door het aantal tools dat een arts heeft, maar door de diepte en breedte van een enkel, intelligent systeem dat het volledige landschap van medische gegevens kan zien.