BagShift: Measuring How Patch Selection Changes the Evidence Seen by Whole-Slide MIL
Het artikel introduceert BagShift, een protocol dat aantoont dat veranderingen in patchselectiestrategieën tijdens de implementatie het geobserveerde bewijs voor whole-slide multiple-instance learning-modellen aanzienlijk veranderen, wat leidt tot substantiële prestatiedegradatie en de kritieke noodzaak benadrukt om zowel selectiebehoud als aggregatiemethoden te evalueren voorbij loutere patchaantallen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de digitale pathologie kijken artsen niet in één keer naar een volledige glazen dia onder een microscoop. In plaats daarvan vertrouwen ze op computersystemen die minuscule, vierkante fragmenten onderzoeken, genaamd patches, die uit verschillende plekken op die dia zijn genomen. Deze systemen, bekend als whole-slide multiple-instance learning modellen, fungeren als een team van detectives. Ze verzamelen een collectie van deze snapshots, analyseren het weefsel binnen elke snapshot, en combineren vervolgens hun bevindingen om een enkele diagnose te stellen voor de hele dia. Jarenlang lag de focus op hoeveel snapshots de computer mag bekijken, uitgaande van de veronderstelling dat als het aantal hetzelfde is, de kwaliteit van de diagnose ook hetzelfde zal zijn. Deze aanname behandelt de selectie van afbeeldingen als een eenvoudig wiskundig telprobleem, waarbij wordt genegeerd dat de realiteit dat waar die afbeeldingen vandaan komen net zo belangrijk is als hoeveel het er zijn.
Een nieuwe studie daagt dit langgehouden geloof uit door een methode genaamd BagShift te introduceren. De onderzoekers wilden weten wat er gebeurt als een computer wordt gedwongen om naar dezelfde slide van een patiënt te kijken, maar beperkt wordt tot het bekijken van verschillende gebieden. Ze hielden de rest van de variabelen exact hetzelfde: de patiënt, het medische label, de interne kennis van de computer en het totale aantal toegestane snapshots. Ze veranderden simpelweg de regel voor welke snapshots werden gekozen. In het ene scenario mocht de computer 128 snapshots kiezen die wijd verspreid over het gehele weefsel lagen. In een ander scenario werd de computer gedwaden om 128 snapshots te kiezen die dicht bij elkaar gegroepeerd waren in slechts één kleine buurt. De resultaten waren verbijsterend. Wanneer de computer naar de verspreide snapshots keek, bleef de diagnose accuraat. Maar wanneer de computer werd gedwongen zich te concentreren op de geclusterde buurt, daalde de prestatie dramatisch. Op een dataset van prostaatkanker-slides daalde de nauwkeurigheidsscore met bijna 18 punten wanneer het gezichtsveld gelokaliseerd was, vergeleken met een daling van minder dan 2 punten wanneer het gezichtsveld verspreid was.
De onderzoekers ontdekten dat het probleem niet alleen het missen van een beetje informatie is, maar het missen van het specifieke bewijs dat het bestaan van een ziekte aantoont. In een test met lymfeklieren voor metastatische kanker gebruikten het team speciale annotaties die tijdens de trainingsfase verborgen waren voor de computer om als een controle op de waarheid te dienen. Ze vonden dat wanneer de computer naar een breed gebied keek, hij de kleine kankervlekken in ongeveer de helft van de moeilijke gevallen vastlegde. Echter, wanneer hij werd gedwongen naar een enkele, gelokaliseerde buurt te kijken, miste hij diezelfde kankervlekken in 90 procent van de gevallen. De computer gokte niet alleen fout; hij was letterlijk blind voor het bewijs omdat de selectieregel hem weg hield van de juiste plek. Dit suggereert dat het simpelweg vertellen aan een systeem om een vast aantal afbeeldingen te bekijken, niet genoeg is om een betrouwbare diagnose te garanderen. De locatie van die afbeeldingen bepaalt of het systeem de waarheid ziet of in het duister blijft.
De studie onderzocht ook of het trainen van de computer om deze beperkte uitzichten te verwachten het probleem kon oplossen. De onderzoekers probeerden het model te leren om zowel brede als smalle uitzichten tegelijkertijd te verwerken. Hoewel dit de scores licht verbeterde, wist het de enorme kloof tussen het zien van het hele plaatje en het zien van slechts een fragment niet weg te nemen. Het model kon leren om iets voorzichtiger te zijn, maar het kon niet magisch bewijs uitvinden dat nooit aan het model getoond was. Dit inzicht is cruciaal voor de manier waarop deze systemen in ziekenhuizen worden ingezet. Als de workflow van een ziekenhuis of de rekenlimieten het systeem dwingen om slechts een klein, specifiek deel van een slide te bekijken, kan het systeem er niet in slagen een ziekte te detecteren die elders aanwezig is, zelfs als het totaal aantal verwerkte afbeeldingen identiek is aan een succesvol geval.
Ten slotte onderzochten het team wat er gebeurt als een systeem meerdere keren naar dezelfde slide kijkt vanuit verschillende hoeken of regio's. Ze vergeleken twee manieren om deze meerdere blikken te combineren. De ene methode was om voor elke regio een aparte diagnose te maken en de resultaten vervolgens te middelen. De andere methode was om alle snapshots uit elke regio samen te voegen tot één grote stapel voordat er een enkele diagnose wordt gesteld. De tweede benadering, die effectief de verspreide stukjes bewijs weer samenbracht, produceerde aanzienlijk betere resultaten. Het verbeterde de nauwkeurigheidsscore met bijna 8 punten vergeleken met het simpelweg middelen van de afzonderlijke vermoedens. Dit geeft aan dat wanneer een systeem wordt gedwongen om een slide in stukken te bekijken, de beste manier om het volledige plaatje te herstellen het is om alle stukjes bij elkaar te brengen voordat er een conclusie wordt getrokken, in plaats van te proberen de meningen van geïsoleerde fragmenten te middelen.
Het onderzoek concludeert dat het aantal afbeeldingen dat een computer verwerkt een maatstaf is voor de rekenkosten, niet voor het bewijs dat het ziet. Twee systemen kunnen exact hetzelfde aantal afbeeldingen verwerken en toch tot een totaal verschillend niveau van zekerheid komen, simpelweg omdat de locatie van waar die afbeeldingen vandaan kwamen verschilt. Om deze instrumenten veilig en betrouwbaar te maken in echte medische omgevingen, moeten artsen en ingenieurs niet alleen rapporteren hoeveel afbeeldingen er zijn geanalyseerd, maar ook welke delen van de slide zijn gedekt en hoe die uitzichten gecombineerd zijn. De studie laat zien dat het pad naar een correcte diagnose niet alleen gaat over het tellen van de aanwijzingen, maar over het waarborgen dat de aanwijzingen uit de juiste plaatsen worden verzameld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.