MOSAIC: Modality-agnostic Spectral Alignment for Federated Image-level Weakly Supervised Tumor Segmentation under Client-specific Missing Modalities

In de wereld van de moderne geneeskunde komt de meest nauwkeurige diagnose vaak voort uit het combineren van verschillende soorten medische beelden. Een arts kan naar een standaard röntgenfoto, een magnetische resonantiescan en een gespecialiseerde weefselscan tegelijkertijd kijken, waarbij de sterke punten van het ene beeld de zwakheden van het andere compenseren. Deze praktijk, bekend als multimodale fusie, maakt een veel duidelijker beeld mogelijk van wat er in het lichaam gebeurt, met name bij het detecteren van complexe aandoeningen zoals hersentumoren. Echter, een aanzienlijke barrière staat in de weg van het wereldwijde gebruik van deze krachtige combinatie: de privacy van de patiënt. Ziekenhuizen kunnen hun patiëntenscans niet zomaar naar een centrale server sturen om ze te combineren, aangezien strikte wetten individuele medische gegevens beschermen tegen het verlaten van de lokale instelling. Bovendien, zelfs wanneer ziekenhuizen bereid zijn samen te werken, hebben ze zelden exact dezelfde set beelden voor elke patiënt. Het ene ziekenhuis heeft misschien een volledig pakket aan scans, terwijl een ander, wellicht in een ander land of met oudere apparatuur, slechts enkele scans heeft. Deze inconsistentie creëert een puzzel waarbij de instrumenten die ontworpen zijn om de beelden te combineren vaak falen omdat ze verwachten dat elk stukje van de puzzel aanwezig is.

Onderzoekers zoeken al lang naar een manier om kunstmatige intelligentie te trainen om te leren van deze verspreide, incomplete datasets zonder de ruwe data ooit te verplaatsen van het ziekenhuis waar ze zijn verzameld. Deze benadering, genaamd federated learning (gefederd leren), stelt ziekenhuizen in staat om alleen de lessen te delen die hun computers leren, en niet de patiënten zelf. Toch is er een nieuw probleem ontstaan: hoe leer je een computer een tumor te herkennen wanneer deze slechts een fractie van de beschikbare beeldtypen ziet, en wanneer de enige labels die het heeft zo eenvoudig zijn als een "ja" of "nee" in een rapport, in plaats van een gedetailleerde tekening van de vorm van de tumor? De uitdaging is om een systeem te bouwen dat kan leren van deze schaarse, private en incomplete aanwijzingen zonder nauwkeurigheid te verliezen of de privacy in gevaar te brengen.

Een team van onderzoekers aan het Indian Institute of Science heeft een nieuw framework ontwikkeld genaamd MOSAIC om exact dit probleem op te lossen. Hun werk richt zich op het trainen van een kunstmatige intelligentie om hersentumoren te segmenteren, of te omlijnen, met behulp van alleen beeldniveau-labels — eenvoudige indicatoren van of een tumor aanwezig is of niet — terwijl ze navigeren door een landschap waar verschillende ziekenhuizen over verschillende, incomplete sets MRI-scans beschikken. De onderzoekers ontdekten dat door een systeem te creëren dat niet geeft om de specifieke identiteit van de ontbrekende scans, maar in plaats daarvan focust op de onderliggende patronen van de data, zij een hoge nauwkeurigheid konden bereiken zonder de gedetailleerde, tijdrovende annotaties nodig te hebben die normaal gesproken dergelijke training mogelijk maken.

De kern van hun oplossing ligt in de manier waarop het systeem met de ontbrekende stukken omgaat. In een typisch scenario, als een ziekenhuis een specifiek type MRI-scan mist, zou de computer kunnen proberen te raden hoe die ontbrekende scan eruit zou zien of het simpelweg negeren, wat vaak tot fouten leidt. Het MOSIC-systeem hanteert een andere aanpak. Het gebruikt een gespecialiseerde module die fungeert als een vertaler, die de beschikbare scans van een ziekenhuis omzet in een gedeelde, gemeenschappelijke taal. Deze vertaling vindt lokaal plaats in elk ziekenhuis, zodat er nooit ruwe beelden de locatie verlaten. Het systeem hoeft alleen te weten hoeveel soorten scans aanwezig zijn, niet welke specifieke scans het zijn, waardoor een ziekenhuis met een unieke combinatie van scans kan deelnemen aan het netwerk zonder speciale configuratie of hertraining.

Om ervoor te zorgen dat alle ziekenhuizen leren van dezelfde "waarheid" ondanks hun verschillende data, hebben de onderzoekers een methode geïntroduceerd om de data uit te lijnen met behulp van frequentiepatronen. Stel je voor dat elk medisch beeld een unieke muzikale signatuur heeft, bestaande uit verschillende tonen en ritmes. Hoewel de specifieke noten kunnen veranderen afhankelijk van welke scans beschikbaar zijn, blijft het algemene ritme en de structuur van de muziek consistent. Het MOSAIC-systeem luistert naar deze ritmische patronen, of spectrale signaturen, in plaats naar de ruwe visuele details. Door deze compacte, niet-omkeerbare frequentiepatronen over alle ziekenhuizen te vergelijken, kan het systeem het begrip van wat een tumor is afstemmen, zonder de werkelijke patiëntenbeelden bloot te leggen. Deze methode, die de auteurs spectrale prototype alignment noemen, overbrugt effectief de kloof tussen ziekenhuizen die verschillende sets gereedschappen hebben, waardoor de collectieve intelligentie sterker wordt, zelfs wanneer individuele stukjes ontbreken.

Het trainingsproces is verdeeld in twee afzonderlijke fasen om de inherente ruis van het leren van eenvoudige "ja" of "nee" labels aan te pakken. In de eerste fase genereert het systeem ruwe gissingen, of pseudo-labels, over waar de tumor zich mogelijk bevindt op basis van de beschikbare scans. Omdat de data incompleet is, kunnen deze initiële gissingen rommelig of onnauwkeurig zijn. De tweede fase fungeert als een toegewezen verfijningsnetwerk, een tweede laag van intelligentie die deze ruwe gissingen neemt en ze opschoont. Het gebruikt een combinatie van technieken, waaronder een "teacher"-model dat stabiele begeleiding biedt en een stemmechanisme dat verschillende aanwijzingen weegt om de uiteindelijke vorm van de tumor te bepalen. Dit tweestaps-proces stelt het systeem in staat om door de gebruikelijke nauwkeurigheidslimieten van zwakke supervisie heen te breken, door grove, ruizige hints om te zetten in precieze, gedetailleerde contouren van de tumor.

De onderzoekers testten hun framework op drie verschillende datasets met betrekking tot hersentumoren van meerdere instellingen, waaronder de FeTS2022 challenge, de BraTS-MEN dataset voor meningiomen, en de BraTS-SSA dataset uit Sub-Sahara Afrika. Deze tests omvatten een verscheidenheid aan scenario's waarbij ziekenhuizen verschillende combinaties van MRI-scans hadden, variërend van volledige sets tot enkele scans. De resultaten waren opmerkelijk. Met behulp van alleen beeldniveau-labels en het omgaan met ontbrekende scans, behaalde het MOSAIC-systeem een Dice-score van 0,84 op de FeTS2022-dataset, een metriek die meet hoe goed de voorspelde tumorcontour overeenkomt met de werkelijke tumor. Deze prestatie overtrof alle andere methoden die vertrouwden op meer gedetailleerde supervisie, zoals bounding boxes of puntannotaties, en presteerde zelfs beter dan een gecentraliseerd model dat toegang had tot alle gecombineerde data. Sterker nog, het systeem presteerde zo goed dat het de nauwkeurigheid van volledig gesuperviseerde methoden benaderde, die vereisen dat experts handmatig elke tumor grens tekenen, ondanks het gebruik van de eenvoudigste vorm van labels.

Een van de meest significante bevindingen was het vermogen van het systeem om zich aan te passen aan nieuwe, onbekende ziekenhuizen. Omdat de vertaalmodule alleen afhangt van het aantal beschikbare scans en niet van hun specifieke type, kan een nieuw ziekenhuis het netwerk betreden en direct beginnen met bijdragen. De onderzoekers toonden aan dat een nieuwe instelling kan deelnemen aan een reeds getraind netwerk en een prestatie kan behalen die binnen een zeer kleine marge ligt van de bestaande leden, zonder dat het hele systeem vanaf nul opnieuw getraind hoeft te worden. Deze capaciteit is cruciaal voor de implementatie in de echte wereld, waar medische protocollen en de beschikbaarheid van apparatuur sterk variëren en in de loop van de tijd veranderen. Het systeem toonde ook een opmerkelijk vermogen om de eigen onzekerheid te kwantificeren, waarbij het correct identificeerde wanneer het minder confident was over de tumorgrenzen door ontbrekende data, een kenmerk dat essentieel is voor het opbouwen van vertrouwen in klinische omgevingen.

De studie onderzocht ook wat er gebeurt wanneer verschillende uitlijningstrategieën worden gebruikt. De onderzoekers vergeleken hun frequentie-gebaseerde aanpak met andere methoden die probeerden data af te stemmen door eenvoudige gemiddelden of standaarddeviaties van de beelden te matchen. Ze vonden dat deze eenvoudigere methoden er niet in slaagden de complexe, textuur-gebaseerde signaturen te vangen die verschillende typen medische scans onderscheiden. Alleen de frequentie-gebaseerde aanpak, die keek naar de onderliggende ritmische patronen van de data, was in staat om de diverse datasets succesvol af te stemmen. Dit suggereert dat voor taken die betrokken zijn bij incomplete en heterogene data, kijken naar de "muziek" van de data in plaats van alleen naar het "volume", een veel effectievere strategie is.

De implicaties van dit werk reiken verder dan alleen hersentumoren. Het vermogen om krachtige medische AI-modellen te trainen zonder patiëntgegevens te verplaatsen, terwijl rekening wordt gehouden met de realiteit dat verschillende ziekenhuizen over verschillende middelen en niveaus van detail beschikken, adresseert een fundamentele flessenhals in de wereldwijde gezondheidszorg. Door te bewijzen dat een hoge nauwkeurigheid mogelijk is met eenvoudige labels en incomplete data, hebben de onderzoekers een pad geopend voor meer ziekenhuizen om deel te nemen aan collaboratief AI-onderzoek. Het systeem vereist geen dure, tijdrovende handmatige annotaties, noch vereist het dat elk ziekenhuis over dezelfde dure apparatuur beschikt. In plaats daarvan creëert het een flexibel, privacy-bewarend netwerk waar de collectieve kennis van vele imperfecte bronnen kan worden gesynthetiseerd tot een hoogwaardig, betrouwbaar model.

Uiteindelijk demonstreert het MOSAIC-framework dat de beperkingen van privacy en incomplete data geen barrières hoeven te zijn voor vooruitgang. Door een systeem te ontwerpen dat respect heeft voor de beperkingen van de echte wereld — waar data gefragmenteerd is, labels schaars zijn en apparatuur varieert — hebben de onderzoekers laten zien dat het mogelijk is om een collaboratieve intelligentie te bouwen die niet alleen veilig is, maar ook superieur aan traditionele, gecentraliseerde benaderingen. Het werk suggereert dat de toekomst van medische AI niet ligt in het verzamelen van alle data op één plek, maar in het creëren van slimme, aanpasbare systemen die kunnen leren van de diverse en gefragmenteerde realiteit van de wereldwijde gezondheidszorg.