AtlasPatch: Efficient Tissue Detection and High-throughput Patch Extraction for Computational Pathology at Scale

AtlasPatch is een schaalbaar, open-source framework dat foundation-modellen combineert met efficiënte patch-extractie om de computatietijd voor de voorverwerking van whole-slide beelden in de computergestuurde pathologie tot 16 keer te verkorten, terwijl het tegelijkertijd robuuste weefseldetectie biedt over diverse cohorten en artefacten heen.

De kern

AtlasPatch: De Slimme Scherpslijper voor Digitale Pathologie

Stel je voor dat een patholoog (een arts die ziektes onderzoekt onder de microscoop) duizenden enorme digitale foto's van weefselstalen moet bekijken. Deze foto's, zogenaamde "Whole Slide Images" (WSI), zijn zo groot dat ze honderden miljoenen pixels bevatten. Ze zijn zo groot dat je ze niet in één keer op je scherm kunt zien; het is alsof je probeert een heel land op één postzegel te passen.

Om deze foto's te analyseren met kunstmatige intelligentie (AI), moeten we ze in kleine stukjes knippen, net als een puzzel. Maar hier zit het probleem: van die enorme foto is 90% leeg (witte achtergrond) of rommel (potloodstrepen, vlekken). Als je de AI gewoon laat knippen, krijg je miljoenen stukjes met alleen maar witte achtergrond. Dat is als proberen een naald in een hooiberg te vinden, terwijl je eerst de hele hooiberg in stukjes moet hakken. Het kost enorm veel tijd, geheugen en geld.

AtlasPatch is een nieuwe, slimme tool die dit probleem oplost. Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Vliegende Kijker" (Thumbnail Detectie)

Stel je voor dat je een enorme kaart van Nederland hebt en je wilt weten waar de bossen zitten. In plaats van met een vergrootglas over elke centimeter te lopen (wat eeuwen duurt), kijkt je eerst naar een heel klein, wazig kaartje (een "thumbnail").

• De oude manier: De oude methoden keken vaak naar de kleuren op dat kaartje. Als het licht net iets anders was, dachten ze dat het bos was, terwijl het gewoon een wolk was. Of ze misten kleine bosjes omdat ze te donker waren.
• De AtlasPatch-methode: AtlasPatch gebruikt een super-slimme AI (gebaseerd op een model dat "Segment Anything" heet) die eerst naar dat kleine kaartje kijkt. Deze AI is getraind op duizenden verschillende soorten kaarten, van donkere bossen tot lichte velden. Hij ziet direct: "Ah, hier is echt weefsel, en hier is alleen maar achtergrond of rommel." Hij maakt een schone "silhouet" van het weefsel.

2. De "Magische Zoom" (Extrapolatie)

Zodra AtlasPatch het silhouet op het kleine kaartje heeft getekend, doet hij iets magisch. Hij pakt die lijn en "zoomt" hem moeiteloos uit naar de enorme, super-hoge resolutie van de originele foto.

• De analogie: Het is alsof je een schets van een huis op een post-it note tekent, en dan die schets gebruikt om een bouwplan te maken voor een echt huis van 10 verdiepingen. Je hoeft niet elke baksteen van het echte huis te bekijken om te weten waar de muren moeten komen. Je weet het al van de schets.
• Het voordeel: De computer hoeft niet de hele enorme foto te scannen. Hij weet precies waar hij moet kijken.

3. De "Slimme Snijmachine" (Patch Extractie)

Nu de AI weet waar het echte weefsel zit, snijdt hij alleen daar de puzzelstukjes uit.

• Oude methode: De oude machines snijden alles in vierkante blokjes, ook de lege plekken. Dat is alsof je een taart in blokjes snijdt, maar ook de lege borden ernaast meeneemt. Je krijgt veel "troep" mee.
• AtlasPatch: Deze machine snijdt alleen de stukjes taart. Geen lege borden, geen rommel. Hierdoor krijgt de AI die het ziektebeeld moet analyseren alleen maar de belangrijke informatie.

Waarom is dit zo belangrijk?

• Snelheid: AtlasPatch is tot 16 keer sneller dan de beste oude methoden. Het is alsof je van een fiets op een sneltrein overstapt.
• Betrouwbaarheid: Het werkt zelfs als de foto's slecht belicht zijn, als er vlekken op zitten, of als het weefsel in kleine stukjes is. De oude methoden gaven dan vaak de geest of maakten fouten.
• Kostenbesparing: Omdat het minder gegevens verwerkt, kost het minder computerkracht en minder opslagruimte.

De "Geheime Ingrediënten"

Hoe hebben ze dit zo slim gemaakt?

1. Een enorme bibliotheek: Ze hebben een AI getraind op ongeveer 30.000 verschillende voorbeelden van weefsel, van alle soorten ziekenhuizen en scanners. Het is alsof je een kok traint die al duizenden verschillende recepten heeft gezien, zodat hij niet in de war raakt als de ingrediënten net iets anders zijn.
2. Slimme aanpassing: In plaats van de hele AI opnieuw te leren (wat maanden duurt en gigantisch veel energie kost), hebben ze alleen de "instellingen" (de normalisatielagen) van de AI een beetje bijgesteld. Dit is als het vervangen van de wielen op een raceauto in plaats van de hele motor te bouwen. Het werkt net zo goed, maar is veel sneller en goedkoper.

Kortom:
AtlasPatch is de slimme assistent die voor de AI doet wat een ervaren patholoog doet: eerst snel scannen om te zien waar de actie is, en dan alleen daar de details bekijken. Hierdoor kunnen artsen en onderzoekers sneller ziektes detecteren, grootschalige studies doen en betere diagnoses stellen, zonder vast te lopen in de technische rompslomp.

Technische samenvatting

Probleemstelling

In de computationele pathologie zijn Whole Slide Images (WSI's) van hoge resolutie essentieel voor AI-gedreven taken zoals tumordetectie en grading. Omdat deze beelden (gigapixels) te groot zijn voor directe verwerking door neurale netwerken, worden ze doorgaans opgedeeld in kleine "patches". Echter, een groot deel van een WSI bestaat uit achtergrond (geen weefsel), wat leidt tot inefficiëntie.

De huidige uitdagingen zijn:

1. Schaalbaarheid: Bestaande methoden voor weefseldetectie en patch-extractie zijn vaak te traag of niet robuust genoeg voor grote, heterogene cohorts (verschillende scanners, kleuringen, weefselkwaliteit).
2. Bottleneck in Preprocessing: De stap van weefseldetectie gevolgd door patch-extractie wordt een kritieke bottleneck bij het trainen van foundation-modellen, die miljarden patches vereisen.
3. Beperkingen van bestaande tools:
   • Heuristische methoden (drempelwaarden op basis van kleur) zijn snel maar falen vaak bij variaties in kleuring, fragmentatie of artefacten (zoals inktvlekken).
   • Deep Learning-methoden (zoals U-Net of patch-gebaseerde detectie) zijn robuuster maar computationally duur omdat ze duizenden forward passes per slide nodig hebben, wat de doorvoersnelheid drastisch verlaagt.

Methodologie: AtlasPatch

AtlasPatch is een schaalbaar framework dat twee kerncomponenten combineert: weefseldetectie op lage resolutie en hoge doorvoersnelheid patch-extractie.

1. Data Curation en Dataset:

• De auteurs hebben een grote, heterogene dataset samengesteld van ongeveer 36.000 WSI-thumbnails uit vier centra (CHUM, TCGA, Radboud UMC, Karolinska).
• De dataset omvat diverse organen (long, nier, borst, darm, prostaat, etc.), scanners en kleuringen (voornamelijk H&E, met enkele IHC).
• Er is gebruikgemaakt van een semi-manuele annotatie-workflow via Labelbox, waarbij pathologen automatische masks verfijnden, resulterend in hoogwaardige "tissue-versus-background" masks.

2. Weefseldetectie (Tissue Detection):

• In plaats van de volledige hoge-resolutie slide te analyseren, werkt AtlasPatch met thumbnails (lage resolutie, vaak 1.25x vergroting).
• Model: Het framework gebruikt SAM2 (Segment Anything Model 2), een state-of-the-art vision foundation model.
• Efficiënte Fine-tuning: Om SAM2 aan te passen aan histopathologie zonder de enorme rekenkracht van volledige fine-tuning, wordt Layer Normalization Fine-Tuning toegepast. Hierbij worden alleen de affiene parameters ($\gamma$ en $\beta$) van de normalisatielagen bijgewerkt (ongeveer 0,076% van de parameters), terwijl de backbone (Hiera-tiny) bevroren blijft. Dit zorgt voor snelle training en aanpassing aan het domein.
• Inferentie: Het model voert één forward pass uit op de thumbnail om een binaire mask te genereren.

3. Patch Extractie en Coördinaten:

• De contouren van het gemaskeerde weefsel op de thumbnail worden vectoriseerd.
• Deze contouren worden vervolgens extrapolatie toegepast naar de gewenste hoge resolutie (bijv. 20x of 40x) via de WSI-pyramid-metadata.
• Het systeem genereert een raster van patch-coördinaten binnen deze contouren, waardoor achtergrond en artefacten effectief worden uitgesloten.
• Parallelisatie: De pipeline is volledig parallelisatie (multi-core CPU voor I/O en coördinaten, GPU voor inferentie en embedding), wat de doorvoersnelheid maximaliseert.

4. Modulariteit:
AtlasPatch is ontworpen als een modulaire Python-pipeline met vier stappen:

1. Weefseldetectie (Thumbnail masking).
2. Extractie van patch-coördinaten.
3. Embedding van patches (optioneel, met ondersteuning voor diverse encoders zoals UNI).
4. Export van patch-afbeeldingen (optioneel).

Belangrijkste Resultaten

1. Prestaties in Weefseldetectie:

• Nauwkeurigheid: AtlasPatch bereikt een precision van 0.986, wat hoger is dan bestaande tools zoals Trident-Hest (0.983), dplabtools (0.977) en HistoQC (0.985).
• Robuustheid: Het model presteert consistent over verschillende organen, scanners en condities (hoge fragmentatie, slechte contrasten, inktvlekken). Het slaagt erin om artefacten te onderdrukken en kleine weefselfragmenten te behouden, waar heuristische methoden vaak falen.
• Vergelijking: Het presteert beter dan de "zero-shot" SAM2 (zonder fine-tuning) en is aanzienlijk robuuster dan traditionele drempelmethoden.

2. Snelheid en Efficiëntie:

• AtlasPatch is tot 16 keer sneller dan bestaande deep-learning pipelines (zoals Trident-Hest) en ongeveer 2,6 keer sneller dan Trident-GrandQC voor de volledige preprocessing-tijd.
• Het vermijdt het lezen van hoge-resolutie pixels voor de detectiestap, wat I/O-overhead drastisch verlaagt.

3. Impact op Downstream Taken (MIL):

• Bij Multiple Instance Learning (MIL) taken (zoals borstkanker subtyping, nierkanker classificatie, prostaatkanker grading) bereikt AtlasPatch comparable of zelfs betere prestaties dan concurrenten.
• Kwaliteit van Patches: AtlasPatch genereert minder "redundante" achtergrondpatches. Gemiddeld worden er per slide minder patches gegenereerd (ca. 3047 vs. ~8976 bij CLAM), wat leidt tot een meer gefocuste dataset voor het trainen van downstream modellen.

Bijdragen en Betekenis

1. Oplossing voor de "Preprocessing Tax": AtlasPatch lost het probleem op dat preprocessing vaak de grootste kostenpost en tijdverliezer is bij het trainen van foundation-modellen in de pathologie.
2. Schaalbaarheid: Door te werken op thumbnail-resolutie en efficiënte fine-tuning te gebruiken, maakt het framework het mogelijk om foundation-modellen te trainen op datasets van miljarden patches zonder dat de infrastructuur instort.
3. Robuustheid door Diversiteit: De studie benadrukt dat training op een zeer heterogene, multi-institutionele dataset essentieel is voor generalisatie. Experimenten tonen aan dat training op beperkte subsets (bijv. slechts één scanner) leidt tot grote prestatiedalingen, terwijl de volledige dataset consistente resultaten levert.
4. Open Source en Toepasbaarheid: De tool is open-source, goed gedocumenteerd en biedt een eenvoudige interface voor zowel pathologen (voor kwaliteitscontrole) als AI-onderzoekers (voor datasetcreatie).

Conclusie:
AtlasPatch vertegenwoordigt een paradigmaverschuiving in de computergestuurde pathologie. Door slimme architecturale keuzes (thumbnail-based detectie met SAM2) en efficiënte trainingstechnieken (Layer Norm fine-tuning), biedt het een oplossing die zowel extreem snel als uiterst nauwkeurig is. Dit is cruciaal voor de toekomst van de pathologie, waar de vraag om grootschalige data-analyse en foundation-modellen alleen maar zal toenemen.