Sensitivity of image-derived wound-healing proxies to sparse visit schedules and image framing: a retrospective multi-dataset audit
Deze retrospectieve multi-dataset audit onthult dat op beelden gebaseerde proxies voor wondgenezing zeer gevoelig zijn voor schaarse bezoekintervallen en beeldkadering, wat aantoont dat de huidige data slechts ondersteuning biedt voor een failure-mode analyse in plaats van een gekalibreerde klinische prognose vanwege ongevalideerde segmentatiefouten, het gebrek aan incrementele waarde van CNN's ten opzichte van bezettingsmetingen, en instabiliteit onder schaalvariaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de voortgang van een plant in een tuin over meerdere maanden probeert bij te houden. Je maakt elke week een foto om te zien of hij groter wordt of dat de bladeren groener worden. Maar hier komt de crux: soms maak je de foto van een afstand, soms zoom je dichtbij in, en soms vergeet je een hele maand een foto te maken. Als je alleen naar de foto's kijkt, zou je kunnen denken dat de plant plotseling een voet in één nacht is gegroeid omdat je hebt ingezoomd, of je zou kunnen denken dat de plant gestopt is met groeien omdat je de week mist hebt waarin hij eigenlijk een nieuw blaadje kreeg. Dit is de verraderlijke wereld van "longitudinale beeldvorming" — het gebruik van een reeks foto's over een bepaalde tijd om verandering te meten. In de geneeskunde doen artsen dit met wonden, zoals diabetische voetulcera, in de hoop dat een krimpendende wond op een foto betekent dat de patiënt geneest. Maar om die foto's te kunnen vertrouwen, moet je weten of de camerahoek, de tijd tussen de opnames, of het computerprogramma dat de afbeelding analyseert, je bedriegt. Als de computer slecht is in het herkennen van de wond, of als de foto's vanuit vreemde hoeken zijn genomen, kan de "genezing" slechts een illusie zijn gecreëerd door de camera, en niet door het lichaam.
Dit artikel is als een detectiveverhaal waarin twee onderzoekers, Lifang Liu en Hongyu Jin, besloten om de "detectives" (de computerprogramma's) en het "bewijsmateriaal" (de foto's) te auditeren voordat ze de patiënt hun genezingsverhaal laten vertellen. Ze hebben geen nieuw hulpmiddel gebouwd om te voorspellen wie er beter zou worden; in plaats daarvan hebben ze bestaande tools en bestaande fotoarchieven genomen en gevraagd: "Hoe gemakkelijk kunnen deze tools in de war raken?" Ze testten drie verschillende dingen. Eerst controleerden ze of een computerprogramma nauwkeurig de omtrek van een wond in een foto kon tekenen. Ten tweede keken ze naar een reeks patiëntfoto's waarbij de bezoeken verspreid waren (schaars) om te zien of het missen van een bezoek het verhaal veranderde over wanneer de wond genas. Ten derde testten ze of een ander type "computerbrein" de volgorde van genezing beter kon raden dan alleen het meten van de grootte van de wond, en of het in- of uitzoomen op de foto's de uitkomst veranderde.
Dit is wat ze vonden, en het is een beetje een "koop met mate"-verhaal.
De tekenvaardigheid van de computer
De onderzoekers begonnen door een bestaand computerprogramma (een "segmentatie"-tool) te testen dat bedoeld is om automatisch de omtrek van een wond te tekenen. Op een testset van 200 afbeeldingen kreeg het programma de gemiddelde omtrek ongeveer 71,5% van de tijd goed. Dat klinkt oké, maar de realiteit was rommelig. Voor sommige afbeeldingen was het programma perfect (100% goed), maar voor andere faalde het volledig (0% goed). Het is alsof een leerling de ene dag een A+ haalt voor een wiskundetoets en de volgende dag een nul. De onderzoekers probeerden ook een nieuw, simpeler computerprogramma vanaf nul te trainen, maar dat presteerde zelfs nog slechter. De belangrijkste les hier is dat hoewel de gemiddelde score er redelijk uitziet, het programma onbetrouwbaar is op elke individuele foto. Als je erop vertrouwt dat het je vertelt of een specifieke wond geneest, krijg je misschien een gelukkige gok of een totale misstap.
Het probleem van de "missende afspraak"
Vervolgens keken ze naar een groep patiënten die over een bepaalde tijd foto's van hun wonden hadden laten maken. Sommige patiënten hadden veel bezoeken, maar anderen hadden zeer weinig (schaarse schema's). De onderzoekers vroegen zich af: "Als we doen alsof we een van de middelste bezoeken hebben gemist, verandert dat dan in ons beeld van wanneer de wond genas?" Ze definieerden "genezing" als het krimpen van de wond met 20%, 30% of 50%.
Het antwoord was verrassend. Of een wond daadwerkelijk dat punt van 20% of 50% krimp bereikte, veranderde niet veel als je een bezoek zou verwijderen. Echter, wanneer de computer dacht dat dit punt werd bereikt, veranderde er veel. Stel je een hardloper voor die de finishlijn passeert. Als je de foto mist van het passeren van de lijn, zou je kunnen denken dat hij de lijn vijf minuten eerder of later passeerde dan hij in werkelijkheid deed. In deze studie veranderde het verwijderen van slechts één bezoek het "doorloopinterval" (het tijdsvenster waarin de genezing plaatsvond) in ongeveer de helft van de scenario's. Het veranderde meestal niet of de wond genas, maar het maakte de tijdlijn erg vaag. Als je slechts een paar foto's hebt, kun je niet precies weten wanneer de genezing plaatsvond, alleen dat het ergens tussen twee foto's gebeurde.
De "Zoom"-valstrik
De onderzoekers speelden vervolgens een spel van "zoomen". Ze namen dezelfde foto's en zoomden digitaal in (1.2x) of uit (0.8x) om te zien hoe dit de metingen beïnvloedde.
Wanneer ze inzoomden, veranderde de meting van de grootte van de wond door de computer (de zogenaamde "occupancy") aanzienlijk. De "overeenkomst" tussen de ingezoomde meting en de originele sprong met ongeveer 15%. Dit betekent niet dat de zoom de meting beter maakte; het betekent dat de zoom het beeld zo veranderde dat de computer een andere wondgrootte zag. Het is als het kijken naar een kaart: als je inzoomt, lijkt een klein dorp groot, maar het is nog steeds hetzelfde dorp. Het "slimme" brein van de computer (een CNN) was iets stabieler bij het zoomen, maar het was niet beter in het raden van de volgorde van genezing dan de eenvoudige groottemeting. Sterker nog, de eenvoudige groottemeting was net zo goed, zo niet beter, bij het bepalen van de volgorde van de genezingsfasen.
De conclusie
Het artikel concludeert dat we deze op beelden gebaseerde tools nog niet kunnen vertrouwen om op zichzelf precieze medische voorspellingen te doen. De computerprogramma's zijn te wankel op individuele foto's, het missen van bezoeken maakt de tijdlijn vaag, en simpelweg in- of uitzoomen verandert de cijfers. De onderzoekers ontdekten dat een geavanceerde AI geen extra waarde toevoegde boven het simpelweg meten van de grootte van de wond, en dat die groottemeting zelf ook erg gevoelig is voor hoe de foto is genomen.
Om deze tools betrouwbaar te maken voor echte patiënten, zeggen de auteurs dat we drie dingen nodig hebben: betere "ground truth" (door experts getekende kaarten van de wonden om de computer mee te controleren), gestandaardiseerde foto's (iedereen maakt foto's op dezelfde manier met dezelfde zoom) en meer patiënten om op te testen. Tot die tijd zijn deze op beelden gebaseerde cijfers interessante aanwijzingen, maar ze vormen nog geen voltooid verhaal. Ze zijn een herinnering aan het feit dat in de wereld van medische foto's de camera en de computer net zo belangrijk zijn als de wond zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.