MUST-PET: MUltimodal Self-supervised learning across Tracers for whole-body PET/CT-based lesion segmentation
Dit artikel introduceert MUST-PET, een multimodale zelf-gesuperviseerde leeromgeving die gemaskeerde reconstructie over FDG- en PSMA PET-CT-tracers benut om label-efficiënte, generaliseerbare segmentatie van gehele lichaam afwijkingen te bereiken voor kankerstaging en behandelplanning.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van de moderne geneeskunde stelt een krachtig hulpmiddel genaamd PET/CT-scanning artsen in staat om met opmerkelijke helderheid in het menselijk lichaam te kijken. Deze technologie combineert twee verschillende soorten beelden: één die de structuur van het lichaam in kaart brengt, zoals een gedetailleerde architecturale blauwdruk, en een andere die de werking van cellen onthult, waarbij gebieden met een hoge activiteit worden geaccentueerd die vaak op ziekte wijzen. Wanneer een patiënt kanker heeft, kunnen deze scans tumoren overal van hoofd tot teen laten zien, wat artsen helpt bij het bepalen van het stadium van de ziekte, het plannen van de behandeling en het controleren of de therapie werkt. Het omzetten van deze complexe beelden naar bruikbare informatie is echter een zware last. Artsen moeten handmatig elke individuele tumor op honderden beeldlagen traceren, een proces dat traag, uitputtend en foutgevoelig is door menselijke fouten. Hoewel computers hebben geleerd om dit automatisch te doen, worstelen ze meestal wanneer ze worden geconfronteerd met nieuwe soorten scans of verschillende ziekenhuizen, omdat ze zijn getraind op zeer kleine, specifieke datasets. Om deze tools echt bruikbaar te maken voor iedereen, moeten ze leren van een veel grotere variëteit aan voorbeelden, maar het vinden van voldoende gelabelde gegevens voor elk mogelijk scenario is bijna onmogelijk.
Dit is waar een nieuwe benadering genaamd zelfgesuperviseerd leren (self-supervised learning) een veelbelovend pad biedt. In plaats van te wachten tot artsen miljoenen beelden labelen, leert deze methode computers te leren door delen van beelden te repareren of te reconstrueren die voor hen verborgen zijn. Door te oefenen op enorme hoeveelheden ongelabelde gegevens, leert de computer de onderliggende regels van de anatomie en hoe verschillende lichaamsdelen met elkaar samenhangen. Een team van onderzoekers aan Dartmouth heeft dit concept genomen en toegepast op een uitdagende nieuwe grens: een computer leren om kankeriezigheden te herkennen over verschillende soorten radioactieve tracers en verschillende instellingen heen. Ze ontwikkelden een systeem dat ze MUST-PET noemen, wat staat voor Multimodal Self-Supervised learning across Tracers. Dit systeem werd getraind op een enorme collectie van bijna 6.000 scans van het hele lichaam van diverse patiënten, inclusief gegevens uit publieke archieven en een lokaal ziekenhuis. Het doel was om een model te creëren dat zowel de structurele CT-beelden als de functionele PET-beelden samen kon begrijpen, waarbij het leert om ontbrekende stukjes van het ene beeldtype in te vullen met behulp van het andere als gids.
De onderzoekers ontwierpen hun trainingsproces als een rigoureuze test van het vermogen van de computer om algemene regels te leren in plaats van alleen specifieke gevallen te memoriseren. Ze voerden het systeem paren van PET- en CT-scans, maar tijdens de trainingsfase maskeerden ze willekeurig de helft van de informatie van één van de beelden, waardoor het andere beeld volledig zichtbaar bleef. De computer moest vervolgens raden hoe de verborgen delen eruitzagen op basis van de zichtbare delen van zijn partnerbeeld. Als bijvoorbeeld een gedeelte van de PET-scan werd gemaskeerd, gebruikte de computer de overeenkomstige CT-scan om de ontbrekende details af te leiden, en vice versa. Dit dwong het systeem om de diepe connectie tussen de structuur van het lichaam en de functie ervan te leren. Ze trainden dit model op een diverse mix van gegevens, inclusief scans die gebruikmaken van twee verschillende radioactieve tracers: één die zich richt op een breed scala aan kankers en een andere die specif
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.