🤖 machine learning

ADMIL: Attention-Distilled Multiple Instance Learning for Selective Foundation Model Inference in Pathology

Het artikel introduceert ADMIL, een selectieve computieframework dat de aandacht van een op aandacht gebaseerd multiple instance learning-model (teacher) destilleert naar een lichtgewicht PriorNet-model om alleen de meest informatieve tegels te selecteren voor dure inferentie met een foundation model, waardoor de volledige prestaties van de teacher worden bereikt terwijl de computationele kosten bij pathologie-dia-analyse met meer dan 98% worden verminderd.

Oorspronkelijke auteurs: Duncan Stothers, Ren-Chin Wu, William Lotter

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Duncan Stothers, Ren-Chin Wu, William Lotter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van de moderne geneeskunde heeft digitale pathologie de manier waarop artsen weefsel onderzoeken getransformeerd. In plaats van door een microscoop naar een enkel glazen objectglas te kijken, werken pathologen nu met enorme digitale afbeeldingen die 'whole-slide images' worden genoemd. Deze afbeeldingen zijn zo groot en gedetailleerd dat ze zijn opgedeeld in duizenden kleine vierkante stukjes, bekend als 'tiles', die elk een klein deel van het weefsel bevatten. Om te begrijpen wat er in het lichaam van een patiënt gebeurt, moeten computersystemen deze tiles analyseren om tekenen van ziekte, zoals kanker, te vinden. In de afgelopen jaren zijn krachtige kunstmatige intelligentiemodellen, vaak 'foundation models' genoemd, getraind om complexe patronen in deze tiles met ongelooflijke nauwkeurigheid te herkennen. Deze modellen fungeren als deskundige ogen, in staat om subtiele verschillen tussen gezond en ziek weefsel te onderscheiden. Er is echter een aanzienlijk probleem met het gebruik van deze modellen in een echt ziekenhuis: ze zijn extreem traag en duur in gebruik. Omdat een enkele weefseldia duizenden tiles kan bevatten, moet de computer elk afzonderlijk deel verwerken om tot een diagnose te komen. Deze uitputtende aanpak creëert een knelpunt, waardoor het moeilijk is om deze geavanceerde instrumenten snel genoeg te gebruiken voor de dagelijkse patiëntenzorg.

Onderzoekers van het Dana-Farber Cancer Institute en Harvard Medical School hebben een nieuwe methode ontwikkeld om dit probleem op te lossen zonder in te boeten op nauwkeurigheid. Ze creëerden een systeem genaamd ADMIL, wat staat voor 'Attention-Distilled Multiple Instance Learning'. De kern van het idee is simpel maar krachtig: niet elke tile op een dia is even belangrijk. Wanneer een getraind kunstmatige intelligentiemodel naar een dia kijkt, richt het zijn aandacht van nature op een zeer klein aantal regio's die de meest cruciale informatie bevatten, terwijl het de rest grotendeels negeert. Het nieuwe systeem leert dit gedrag na te bootsen. Het gebruikt een lichtgewicht, snel computerprogramma dat eerst de hele dia scant en voorspelt welke paar tiles het belangrijkste zijn. Alleen die geselecteerde tiles worden vervolgens naar het dure, trage deskundige model gestuurd voor een gedetailleerde analyse. Door het overgrote deel van de onbelangrijke tiles over te slaan, versnelt het systeem het proces drastisch.

De onderzoekers testten deze aanpak op drie verschillende medische uitdagingen met betrekking tot borstkanker, prostaatkanker en lymfekliermetastase. In elk geval begonnen ze met een volledig getraind deskundig model dat al had geleerd de ziekte te diagnosticeren door naar elke afzonderlijke tile te kijken. Vervolgens trainden ze hun nieuwe, snelle voorspeller om te raden naar welke tiles het deskundige model de aandacht zou hebben besteed. Zodra de voorspeller deze vaardigheid beheerste, bouwden ze een tweede versie van het diagnosesysteem dat alleen naar de top paar tiles keek die door de voorspeller waren gekozen. De resultaten waren opmerkelijk. Voor dia's met borstkanker bereikte het systeem hetzelfde hoge niveau van nauwkeurigheid als het volledige deskundige model door slechts vier tiles te analyseren van duizenden. Voor prostaatkanker had het slechts acht tiles nodig. Zelfs voor de complexere taak van de lymfeklier waren slechts 128 tiles nodig om de prestaties van het uitputtende systeem te evenaren. Dit betekent dat de nieuwe methode voorkomt dat het dure computermodel op meer dan 98 procent van de tiles wordt uitgevoerd, wat een enorme besparing oplevert in rekenkracht en tijd.

Om te waarborgen dat deze snelheid niet voortkwam uit simpelweg gokken of geluk hebben, vergeleken de onderzoekers hun methode met verschillende alternatieven. Ze testten wat er zou gebeuren als ze willekeurige tiles zouden kiezen om te analyseren, en ontdekten dat deze aanpak veel slechter presteerde, vooral wanneer het aantal tiles klein was. Ze vergeleken hun systeem ook met een theoretische "perfecte" versie die precies wist welke tiles het deskundige model zou kiezen. Hun nieuwe methode kwam zeer dicht in de buurt van dit perfecte scenario, wat bewees dat het succesvol de specifieke patronen leerde die het deskundige model gebruikte om beslissingen te nemen. De studie toonde ook aan dat de snelle voorspeller niet zomaar willekeurige tiles koos; het identificeerde correct de specifieke vormen en structuren in het weefsel die van belang zijn voor de diagnose. Wanneer de onderzoekers naar de afbeeldingen keken, zagen ze dat de door het nieuwe systeem geselecteerde tiles dezelfde kankerkenmerken bevatten die het deskundige model had benadrukt.

De studie suggereert dat de zware computationele kosten van de huidige kunstmatige intelligentie in de pathologie vaak onnodig zijn. De deskundige modellen zijn in staat om het juiste antwoord te vinden, maar ze verspillen energie aan het verwerken van achtergrondinformatie die het uiteindelijke resultaat niet verandert. Door een kleiner, sneller model te leren om als een poortwachter te fungeren, kan het systeem de ruis wegfilteren en zich alleen op het signaal richten. Deze aanpak vervangt de krachtige deskundige modellen niet; in plaats daarvan stelt het ons in staat om ze efficiënter te gebruiken. De onderzoekers ontdekten dat de methode consistent werkte bij verschillende soorten kanker en verschillende groottes van weefselmonsters. Ze testten ook of het systeem gevoelig was voor de hoeveelheid data waarop het was getraind, en vonden dat het robuust bleef, zelfs wanneer het met minder informatie werd getraind. Hoewel het systeem een kleine hoeveelheid extra werk introduceert tijdens de trainingsfase, zijn de besparingen tijdens het daadwerkelijke gebruik enorm. Dit werk biedt een praktisch pad vooruit om geavanceerde, hoog-nauwkeurige kunstmatige intelligentie in klinische omgevingen te brengen waar snelheid en kosten cruciale factoren zijn, zodat patiënten de voordelen van deze krachtige instrumenten kunnen ontvangen zonder te hoeven wachten op trage computerverwerking.

Technische Samenvatting: ADMIL (Attention-Distilled Multiple Instance Learning)

Probleemstelling
Pathologie-fundamentele modellen zijn de standaard geworden voor het genereren van representaties op tegelniveau (tile-level) bij de analyse van Whole Slide Images (WSI). De gangbare pijplijn houdt in dat een WSI wordt opgedeeld in duizenden voorgrondtegels, waarbij elke tegel wordt ingebed met behulp van een grote fundamentele model-encoder, en deze kenmerken vervolgens worden geaggregeerd via Attention-Based Multiple Instance Learning (ABMIL). Hoewel dit effectief is voor taken zoals metastase-detectie en tumor-subtypering, is deze uitputtende inferentiestrategie computationeel onhaalbaar voor klinische implementatie. Een enkele WSI kan tienduizenden tegels bevatten, waardoor de latentie en de rekenkosten van het draaien van een fundamenteel model op elke tegel een significante bottleneck vormen.

Deze inefficiëntie komt voort uit een mismatch tussen de computationele kosten en het werkelijke informatiegebruik: getrainde ABMIL-modellen maken zelden alle tegels evenveel gebruik. In plaats daarvan worden slide-niveau voorspellingen doorgaans ondersteund door een sterk geconcentreerde aandachtverdeling over een kleine subset van morfologisch informatieve regio's. Bijgevolg worden dure encoders breed toegepast, ook al vertrouwt de uiteindelijke classifier op een smalle set aan bewijsmateriaal.

Methodologie: ADMIL-framework
De auteurs stellen ADMIL voor, een framework voor selectieve berekening (selective-compute) dat ontworpen is om de inferentiekosten te verlagen terwijl de prestaties op slide-niveau behouden blijven. De aanpak bestaat uit twee afzonderlijke stadia:

Stadium 1: Attention Distillation (PriorNet Training)
- Een bevroren, volledige full-bag ABMIL-docent (met gebruik van een fundamenteel model zoals Virchow2) wordt eerst getraind op de volledige set voorgrondtegels.
- De aandachtverdeling ( $\alpha$ ) van de docent dient als de grondwaarheid (ground truth) voor een lichtgewicht beeld-encoder genaamd PriorNet.
- PriorNet, geïmplementeerd als een EfficientNet-B0, wordt getraind om de aandachtsgewichten van de docent direct vanuit ruwe pixeldata te voorspellen voor elke tegel.
- Het trainingsdoel minimaliseert de Kullback-Leibler (KL) divergentie tussen de aandachtverdeling van de docent en de voorspelde scores van PriorNet. Om de kosten van de training te beheersen, maken de auteurs gebruik van attention-guided sampling, waarbij getraind wordt op een subset van tegels (bijv. 10%) die zowel de meest geaandachte tegels als een willekeurige steekproef van de rest bevat.
Stadium 2: Selectieve Inferentie en Student Training
- Voor een gebruikersgedefinieerd budget $K$ scoort PriorNet de gehele voorgrondpool van een slide tijdens de inferentie.
- De top- $K$ tegels met de hoogste scores worden geselecteerd.
- Het dure fundamentele model wordt alleen aangeroepen op deze geselecteerde subset om embeddings te genereren.
- Een apart "Top-K ABMIL" student-model wordt getraind met behulp van deze embeddings van de geselecteerde tegels om de slide-label te voorspellen.

Belangrijkste Bijdragen

Formulering van Selectieve Berekening: Het artikel formuleert attention distillation als een beleid voor selectieve berekening in fundamentele model-gebaseerde ABMIL. Het toont aan dat een lichtgewicht model dat via KL-divergentie is getraind, effectief relevante informatie kan terugwinnen van een docent.
Substantiële Efficiëntiewinst: Over drie belangrijke benchmarks (BRACS, PANDA en CAMELYON16) bereikt ADMIL prestaties die gelijk zijn aan de full-teacher baseline, terwijl het 98,5% tot 99,8% van de fundamentele model-tegel-embeddings vermijdt. Dit vertaalt zich in een reductie van 98,3%–99,6% in de model-inferentie FLOPs.
Fidelity Analyse: De auteurs leveren kwantitatieve en kwalitatieve bewijzen dat PriorNet de volgorde van de tegels van de docent met hoge mate van trouw (fidelity) herstelt. De methode berust op taak-relevante selectie in plaats van eenvoudige reductie van het aantal tegels, zoals blijkt uit controles waaruit blijkt dat willekeurige subsampling niet in staat is om bij lage budgetten dezelfde prestaties te behalen.

Resultaten

Prestaties versus Budget: ADMIL evenaart de headline-prestaties van de full-teacher bij zeer kleine tegel-budgetten:
- BRACS: $K=4$ tegels (99,8% reductie in embeddings).
- PANDA: $K=8$ tegels (98,5% reductie in embeddings).
- CAMELYON16: $K=128$ tegels (99,0% reductie in embeddings).
Attention Fidelity: PriorNet vertoont een sterke positieve overeenkomst met de docent. De Spearman-correlatie (rangorde-overeenkomst) is consequent hoger dan de Pearson-correlatie, wat aangeeft dat PriorNet succesvol de volgorde van de belangrijkheid van tegels leert in plaats van de exacte grootte van de aandachtsgewichten.
Kwalitatieve Validatie: Visuele inspectie van de aandachtskaarten bevestigt dat het student-model, gestuurd door PriorNet, zich richt op histologisch plausibele regio's (bijv. tumorcellen of hooggradige carcinoom-morfologie), consistent met de docent en de grondwaarheid.
Robuustheid: Sensitiviteitsanalyse laat zien dat de methode robuust is tegen het deel van de trainings-tegels dat gebruikt wordt voor de distillatie (getest bij 5%, 10% en 20%), wat suggereert dat de aanpak niet nauw afgestemd is op een specifieke supervisie-fractie.

Betekenis en Claims
Het artikel claimt dat ADMIL een praktisch pad biedt voor de implementatie van pathologie-fundamentele modellen in klinische omgevingen waar latentie en rekenkosten cruciaal zijn. Door aan te tonen dat bijna alle dure tegel-encodings kunnen worden verwijderd zonder de prestaties op slide-niveau op te offeren, betogen de auteurs dat de "mismatch" tussen brede encoder-toepassing en smalle classifier-focus kan worden opgelost door middel van distillatie.

De auteurs benadrukken dat ADMIL het fundamentele model of de ABMIL-architectuur niet vervangt; het fungeert eerder als een poortwachter die de toegang tot de dure encoder beperkt tot alleen de meest waarschijnlijk informatieve regio's. Dit stelt het systeem in staat om de hoogwaardige representaties van het fundamentele model te behouden waar ze het meest relevant zijn, terwijl de overgrote meerderheid van de evaluaties wordt vermeden. Het werk suggereert dat het impliciete lokalisatiegedrag van de docent vroeg genoeg gedistilleerd kan worden om een zeer gestroomlijnde inferentie mogelijk te maken, wat een eenvoudige en uitbreidbare mechanisme biedt voor efficiëntere klinische implementatie.

Beperkingen
De auteurs noemen enkele beperkingen:

ADMIL is afhankelijk van de stabiliteit en relevantie van de aandacht van de docent; als de docent naar confounders (verstorende variabelen) kijkt of bewijs diffuus verdeelt, kan de betrouwbaarheid van de selector afnemen.
Het kritieke budget $K_{crit}$ is een post-hoc samenvatting; een productiesysteem zou $K$ moeten selecteren op basis van validatiegegevens.
De validatie is momenteel beperkt tot drie benchmarks en een specifiek basis-fundamenteel model (Virchow2).
Hoewel de inferentie wordt versneld, introduceert de methode extra overhead tijdens de trainingsfase (het trainen van PriorNet en de student).

Technische Samenvatting: ADMIL (Attention-Distilled Multiple Instance Learning)

Meer zoals dit