Foundation Model-Enabled Efficient Data Sampling (FEEDS): A label-efficient training strategy for pan-cancer, multi-tracer PET/CT datasets
Het artikel introduceert FEEDS, een label- en rekenefficiënte trainingsstrategie die embeddings van fundamentele modellen gebruikt om de meest informatieve ongeannoteerde PET/CT-gevallen voor annotatie te selecteren, waarmee prestaties op het niveau van volledig geannoteerde data worden bereikt over diverse kankertypes en tracers met 70% minder annotatie-inspanning.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij verborgen schatten kan opsporen in een enorme, chaotische zolder. Dit is niet zomaar een zolder; het is een medische zolder, gevuld met duizenden 3D-scans van menselijke lichamen. De "schatten" zijn kankersieraden, die eruit kunnen zien als kleine stipjes of enorme vlekken, en ze verstoppen zich in verschillende organen en verschijnen anders afhankelijk van het type scan dat wordt gebruikt. Om de robot te leren, moet je hem voorbeelden van deze schatten laten zien. Maar hier zit de crux: een menselijke expert moet een perfecte omtrek rond elke enkele schat in elke scan tekenen. Dit is alsof je een meesterkunstenaar vraagt om een gedetailleerde kaart van elk zandkorreltje op een strand te schilderen. Het duurt eeuwig, kost een fortuin en er zijn niet genoeg expert-kunstenaars voor rond te gaan.
Lama een tijd probeerden wetenschappers dit op te lossen door de robot óf elke afbeelding te laten zien (wat onmogelijk is vanwege de tijd die het kost om de kaarten te tekenen), óf door de robot te laten gokken op de afbeeldingen die hij nog niet heeft gezien en te hopen dat hij leert van zijn fouten (wat er vaak toe leidt dat de robot in de war raakt en nep-schatten verzint). De grote vraag in deze hoek van de wetenschap is: Hoe leren we een robot een meesterlijke schatzoeker te zijn zonder dat de menselijke experts miljoenen kaarten moeten tekenen? We hebben een manier nodig om de beste paar plaatjes te kiezen om aan de mens te laten zien, zodat de robot het meeste leert van de minste hoeveelheid werk.
Hier komt een nieuwe strategie genaamd FEEDS (Foundation Model-Enabled Efficient Data Sampling) in beeld. Denk aan FEEDS als een superintelligente bibliothecaris die elk boek ter wereld heeft gelezen, maar de specifieke "schatkaarten" nog niet heeft gezien. In plaats van de bibliothecaris te vragen om elk boek te lezen om de beste te vinden voor de robot, gebruikt FEEDS een speciale "vibe check"-tool (een foundation model) om naar de ongelabelde scans te kijken. Deze tool kan direct zien hoe een scan van een andere verschilt, zoals het herkennen dat de ene foto een "zonnig strand" is en de andere een "stormachtig bos".
Het artikel legt uit dat FEEDS in drie eenvoudige stappen werkt. Eerst neemt het alle ongelabelde scans en geeft ze een "vibe score" op basis van hun visuele kenmerken. Ten tweede kijkt het naar de kleine stapel scans die de menselijke experts al hebben gemarkeerd (de "fixed labeled data") en vraagt: "Welke ongelabelde scans zijn het meest verschillend van wat we al weten?" Het zoekt specifief naar de vreemde, zeldzame of ongewone gevallen die de robot nog niet eerder heeft gezien. Ten derde vraagt het de menselijke experts om de kaarten alleen voor die specifieke, unieke gevallen te tekenen. Deze nieuwe kaarten worden vervolgens toegevoegd aan de trainingsstapel van de robot, waarna de robot één keer wordt getraind.
De onderzoekers testten dit idee met een enorme collectie kankerscans van verschillende ziekenhuizen. Ze ontdekten dat door FEEDS te gebruiken om de meest diverse en interessante gevallen te selecteren, ze een robot konden trainen die bijna net zo goed was als een robot die getraind was op elke scan in de database, maar ze hoefden de menselijke experts slechts om de kaarten te laten tekenen voor 30% van de data. Sterker nog, de robot die met FEEDS werd getraind, was beter in het vinden van echte kankervlekken en maakte minder fouten (zoals het aanzien van gezond weefsel voor kanker) dan robots die getraind waren door simpelweg willekeurige plaatjes te kiezen. Zelfs toen ze de robot testten op gloednieuwe data van andere ziekenhuizen die hij nog nooit had gezien, presteerde hij nog steeds ongelooflijk goed, wat bewees dat hij de "regels" van het spel leerde in plaats van alleen de specifieke plaatjes te onthouden die hem getoond waren.
De auteurs suggereren dat deze methode een game-changer is omdat het een enorme hoeveelheid tijd en moeite bespaart. In plaats van een traag, duur proces van alles labelen, of een verwarrend proces waarbij de robot gokt en zichzelf telkens corrigeert, biedt FEEDS een eenstaps, efficiënt pad. Het suggereert dat door slim te zijn over welke data we labelen, we krachtige medische hulpmiddelen kunnen bouwen zonder de artsen over te werken. Het artikel laat zien dat deze aanpak werkt voor verschillende soorten kanker en verschillende scanningsmachines, wat het een praktisch hulpmiddel maakt voor de toekomst van de medische beeldvorming.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.