🤖 AI

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

Dit artikel stelt een op distillatie gebaseerd pretraining-framework voor dat slide-niveau foundation modellen (TITAN en CARE) gebruikt als docenten om Multiple Instance Learning-netwerken te initialiseren, waardoor gegevensschaarste wordt overwonnen en de prestaties over 15 benchmark-datasets worden verbeterd, met name in linear probing en few-shot scenario's.

Oorspronkelijke auteurs: Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een enorme mysteries probeert op te lossen, maar in plaats van naar één enkele aanwijzing te kijken, krijg je een gigantische, hoog-resolutie kaart van een hele stad toegewezen. Deze kaart is zo gedetailleerd dat het elke baksteen in elk gebouw laat zien, elk blad aan elke boom en elke barst in het wegdek. In de wereld van de medische wetenschap is deze "stadskaart" een digitale afbeelding van een weefselmonster dat van een patiënt is genomen, een zogenaamd Whole Slide Image (WSI). Deze afbeeldingen zijn zo enorm groot dat geen enkel menselijk brein (of computer) alle "bakstenen" tegelijkertijd kan bekijken. Om het mysterie op te lossen — zoals uitzoeken of een patiënt kanker heeft — gebruiken wetenschappers een slimme truc genaamd Multiple Instance Learning (MIL). Denk aan MIL als een team van junior detectives die elk naar een kleine buurt kijken (een deel van de afbeelding) en vervolgens hun bevindingen rapporteren aan een teamleider. De leider combineert al deze rapporten om tot een definitief oordeel te komen.

Het probleem is dat in het verleden, elke keer wanneer het team een nieuw type mysterie wilde oplossen (zoals een andere vorm van kanker of een specifieke genetische mutatie), ze een compleet nieuw team van junior detectives en een nieuwe leider moesten inhuren, en deze vanaf nul moesten trainen met slechts een handvol oude dossiers, in de hoop dat ze niet in de war zouden raken. Het was alsof je probeerde te leren hoe je schaak speelt, dan direct moest leren hoe je Go speelt, en daarna direct poker moest leren spelen, zonder ooit eerst de basisregels te oefenen. Het team raakte vaak overweldigd, maakte fouten of leerde simpelweg de weinige voorbeelden uit het hoofd in plaats van de werkelijke regels te begrijpen. Deze paper stelt een simpele vraag: Wat als we deze junior detectives en hun leiders een voorsprong konden geven door hen eerst de algemene regels van het spel te leren, met behulp van de wijsheid van "meesterdetectives" die al miljoenen zaken hebben bestudeerd?

Het Grote Idee: Leren van de Meesters

Deze paper introduceert een nieuwe manier om deze medische AI-teams te trainen met een techniek genaamd knowledge distillation (kennisdestillatie). Stel je voor dat je twee legendarische meesterdetectives hebt: één genaamd TITAN en een andere genaamd CARE. Deze meesters zijn enorme, superintelligente AI-modellen die al duizenden whole-slide images hebben bestudeerd en hebben geleerd hoe ze patronen kunnen herkennen die mensen misschien missen. Ze zijn als de Sherlock Holmes en Hercule Poirot van de digitale pathologie. Echter, deze meesters zijn ook erg zwaar en traag; ze vereisen veel computerkracht om te draaien, wat het lastig maakt om in alledaagse ziekenhuizen te gebruiken.

De auteurs van deze paper kwamen met een slim plan: in plaats van de zware meesters direct te laten draaien, laten we ze als leraren fungeren om een groep lichte, snelle student-modellen (de MIL aggregators) te trainen. De studenten zijn klein en efficiënt, perfect voor een snelle diagnose, maar ze moeten leren denken zoals de meesters. De onderzoekers zetten een klaslokaal op waar de studenten naar dezelfde weefselfragmenten kijken als de meesters. De meesters geven de studenten niet alleen het uiteindelijke antwoord; ze delen ook hun "gevoelens" over de data — hoe ze aanwijzingen groeperen en wat zij belangrijk vinden. De studenten proberen deze gevoelens na te bootsen, waardoor ze leren om informatie te organiseren precies zoals de experts dat doen.

Het Geheime Recept: Het Balanceren van de Leraren

Hier wordt het een beetje ingewikkeld. TITAN en CARE zijn verschillende soorten experts. TITAN is goed in het begrijpen van de algemene "vibe" van de hele slide, terwijl CARE een expert is in het opmerken van specifieke moleculaire details en vormen. Soms is één leraar heel zelfverzekerd en strikt in zijn antwoorden, terwijl de ander wat meer verspreid is. Als de studenten gewoon zouden luisteren naar wie er het hardst schreeuwt, zouden ze in de war kunnen raken.

Om dit op te lossen, hebben de auteurs een speciale regel bedacht genaamd Angular Dispersion Normalized Distillation Loss. In gewone taal is dit als een scheidsrechter in een debat die ervoor zorgt dat beide leraren eerlijk worden gehoord. Als één leraar zeer "geclusterd" is (hun antwoorden zijn allemaal erg vergelijkbaar en compact), past de scheidsrechter de score aan zodat die leraar de les niet domineert. Als de andere leraar meer "verspreid" is, geeft de scheidsrechter hen iets meer gewicht. Dit zorgt ervoor dat de studenten een gebalanceerde mix van wijsheid van beide meesters leren, in plaats van simpelweg één stijl te kopiëren.

Wat Ze Vonden: Kleine Modellen, Grote Overwinningen

De onderzoekers testten dit idee op 15 verschillende medische taken, variërend van het voorspellen of een tumor agressief is tot het opsporen van specifieke genetische mutaties. Ze vergeleken hun nieuwe "voorgetrainde" studenten met twee andere groepen: studenten die vanaf nul zijn getraind (zonder hulp) en de zware meester-leraren zelf.

De resultaten waren opwindend. In bijna elke test presteerden de studenten die van de meesters hadden geleerd veel beter dan degenen die vanaf nul werden getraind.

De "Linear Probing" Test: Dit is alsof je het brein van de student bevriest na de training en er alleen een eenvoudige vraag-en-antwoordlaag aan toevoegt. Zelfs met hun brein bevroren, presteerden de voorgetrainde studenten vaak beter dan de enorme meester-leraren! Bijvoorbeeld, bij taken rondom hersentumoren verbeterden de studenten met meer dan 23% ten opzichte van de beste leraar.
De "Few-Shot" Test: Dit is het meest indrukwekkende deel. Stel je voor dat je de student slechts 1, 2 of 4 voorbeelden geeft van een nieuwe ziekte om van te leren. In deze "few-shot" scenario's waren de voorgetrainde studenten als superhelden. Ze konden nieuwe taken leren met zeer weinig data, terwijl studenten die vanaf nul werden getraind moeite hadden of zelfs volledig faalden. Bij sommige taken was de verbetering wel 20 procentpunten hoog wanneer er slechts enkele voorbeelden beschikbaar waren.

Waarom Dit Er Toe Doet

De paper suggereert dat deze methode een game-changer is voor medische AI. Het bewijst dat je geen supercomputer nodig hebt om een diagnose te stellen als je het model eerst correct traint. Door de "wijsheid" van grote, zware fundamentele modellen te gebruiken om kleinere, snellere modellen te onderwijzen, kunnen artsen zelfs wanneer zij over zeer weinig patiëntmonsters beschikken, nauwkeurige en betrouwbare resultaten krijgen. Het is alsof je een jonge detective een bibliotheek met opgeloste zaken geeft voordat hij ooit een voet op een plaats delict zet. De paper beweert niet dat dit elk probleem in de geneeskunde oplost, maar suggereert sterk dat deze "distillatie"-aanpak lichtgewicht AI-modellen veel betrouwbaarder, stabieler en klaar voor gebruik in de echte wereld maakt, vooral in situaties waarin data schaars is.

Technische Samenvatting: Pretraining van Multiple Instance Learning Netwerken met Multi-Teacher Distillatie vanuit Pathologie Slide Foundation Modellen

Probleemstelling

Multiple Instance Learning (MIL) heeft zich gevestigd als het dominante paradigma voor de analyse van Whole Slide Images (WSI's) in de computationele pathologie. In dit kader wordt een slide behandeld als een "bag" (zak) van patch-niveau instanties, waarbij een bevroren tile-encoder kenmerken extraheert en een MIL-aggregator leert om deze instanties te combineren tot een voorspelling op slide-niveau. Ondanks de diversiteit aan aggregator-architecturen (bijv. attention-gebaseerd, Transformer-gebaseerd, graaf-gebaseerd, state-space modellen), blijft er een fundamentele beperking bestaan: bestaande MIL-aggregators worden doorgaans vanaf nul getraind voor elke specifieke taak.

Deze "vanaf nul"-benadering vertrouwt op beperkte slide-niveau labels om gelijktijdig onderscheidende instantie-representaties en effectieve aggregatiestrategieën te leren. Bijgevolg lijden deze modellen vaak aan instabiele optimalisatie, overfitting op spurieuze correlaties en een gebrekkige transfereerbaarheid naar andere taken. Hoewel de analyse van natuurlijke afbeeldingen succesvol het "pretrain-then-fine-tune"-paradigma heeft geadopteerd met behulp van grootschalige datasets (bijv. ResNet, ViT), stuit het toepassen hiervan op MIL in de pathologie op twee kritieke barrières:

Data-schaarste: In tegenstelling tot tile-niveau afbeeldingen die in miljoenen kunnen worden uitgesneden, zijn hoogwaardige, publiekelijk beschikbare slide-niveau datasets beperkt tot duizenden of tienduizenden monsters, wat onvoldoende is voor het trainen van grote foundation modellen vanaf nul.
Modelcapaciteit: Conventionele MIL-aggregators zijn lichtgewicht, taakspecifieke modules met weinig parameters. Ze missen de capaciteit om te profiteren van conventionele gesuperviseerde pretraining op dezelfde manier als grote encoders. Bovendien kan het direct fine-tunen van grote slide encoders voor diverse klinische taken computationeel duur en optimalisatie-instabiel zijn.

Methodologie

De auteurs stellen een multi-teacher distillatie-framework voor om lichtgewicht MIL-aggregators te pretrainen door kennis over te dragen van grote, gepreventreinde pathologie slide foundation modellen. De kern van de methode is het gebruik van twee state-of-the-art slide encoders, TITAN en CARE, als complementaire "teacher" modellen om de training van diverse "student" architecturen te begeleiden.

1. Multi-Teacher Distillatie Setup

Teachers:
- TITAN: Biedt algemene, transfereerbare whole-slide semantiek geleerd uit grootschalige multimodale pretraining.
- CARE: Biedt morfologie-bewuste en moleculair geïnformeerde regionale representaties.
- De combinatie van deze teachers biedt diverse supervisie-signalen, wat de bias vermindert die inherent is aan het vertrouwen op een enkele representatie.
Students: Negen diverse MIL-architecturen (waaronder ABMIL, CLAM, TransMIL, WiKG, DAGMIL, GDFMIL, 2DMamba, AMDMIL en AEMMIL) dienen als students. De student-modellen worden geïnitialiseerd met willekeurige gewichten en worden getraind om de slide-niveau embeddings van de bevroren teachers na te bootsen.
Data Constructie: Om de computationele onregelmatigheid van volledige WSI's te vermijden, wordt pretraining uitgevoerd op hoog-resolutie Regions of Interest (ROIs) uit de TCGA-UT-8K dataset. Elke ROI wordt verdeeld in een regelmatig $16 \times 16$ rooster van 256 patches, wat zorgt voor consistente batchgroottes en stabiel geheugengebruik.

2. Angular Dispersion Normalized (ADN) Distillatie Verlies

Een centrale uitdaging in multi-teacher distillatie is dat verschillende teachers variërende niveaus van concentratie in hun representatie-distributies op de hypersfeer kunnen vertonen. Als één teacher zeer dicht geclusterde embeddings produceert terwijl een andere meer verspreid is, kunnen hun supervisie-signalen verschillende schalen hebben, wat leidt tot ongebalanceerde optimalisatie.

Om dit aan te pakken, introduceren de auteurs een Angular Dispersion Normalized (ADN) Distillatie Verlies.

Mechanisme: Het verlies meet de hoekafstand tussen de voorspelling van de student en de target van de teacher. Cruciaal is dat deze fout wordt genormaliseerd door de running angular dispersion ( $\sigma_k$ ) van de specifieke distributie van de representatie van de teacher.
Formule: Voor een teacher $k$ wordt het verlies berekend als:
$L^{(k)}_{distill} = \frac{1}{B} \sum_{i=1}^{B} \frac{\Theta^{(k)}_i}{\sigma_k + \epsilon}$
waarbij $\Theta^{(k)}_i$ de hoekafstand is en $\sigma_k$ de geschatte standaarddeviatie van de embeddings van de teacher rond hun update-centrum.
Effect: Deze normalisatie zorgt ervoor dat een teacher met dicht geclusterde embeddings (kleine $\sigma_k$ ) de gradient-updates niet domineert simpelweg omdat de ruwe foutgrootte klein is. Het balanceert de invloed van teachers met verschillende representatiekenmerken.

3. Downstream Adaptatie

Na de pretraining worden de teacher-specifieke projectiekoppen verwijderd. De gepreventreerde MIL-aggregator gewichten ( $\theta^*$ ) dienen als een herbruikbare initialisatie voor downstream taken. De auteurs evalueren twee adaptatie-protocollen:

Full-Parameter Fine-tuning: Zowel de MIL-aggregator als de taakspecifieke classificatiekop worden bijgewerkt met behulp van downstream slide-niveau labels.
Linear Probing: De gepreventreerde MIL-aggregator is bevroren, en alleen de lineaire classificatiekop wordt getraind, waarbij de kwaliteit van de geleerde slide-niveau representaties direct wordt geëvalueerd.

Belangrijkste Bijdragen

Haalbare MIL Pretraining: Het artikel demonstreert een praktische weg om lichtgewicht MIL-aggregators te pretrainen ondanks de schaarste aan grootschalige slide-niveau gelabelde data, door gebruik te maken van kennisdistillatie van bestaande foundation modellen.
Multi-Teacher Framework: Het introduceert een framework dat gebruik maakt van complementaire kennis van TITAN en CARE, waarbij wordt aangetoond dat het combineren van heterogene teachers een betere generalisatie oplevert dan single-teacher distillatie.
ADN Loss: Het voorstel van de Angular Dispersion Normalized Loss adresseert de specifieke uitdaging van het balanceren van supervisie-signalen van teachers met verschillende representatie-distributies.
Uitgebreide Evaluatie: De methode wordt systematisch geëvalueerd over 15 downstream taken op 6 benchmark datasets, variërend van kanker-subtypering en biomarker-voorspelling tot mutatie-detectie.

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd waarbij hun met distillatie gepreventreerde MIL-modellen zijn vergeleken met:

Modellen die vanaf nul zijn getraind.
Directe fine-tuning van de teacher-modellen (TITAN en CARE).

Belangrijkste Bevindingen:

Prestatiewinst: Gepreventreerde initialisatie verbetert de MIL-aggregators consistent ten opzien van training vanaf nul. Dit is bijzonder zichtbaar in linear probing en few-shot scenario's.
Overtreffen van Teachers: In veel gevallen presteren de lichtgewicht gepreventreerde MIL-aggregators beter dan de zware teacher slide encoders (TITAN en CARE) wanneer ze worden aangepast aan downstream taken, wat suggereert dat de gedistilleerde kennis effectief wordt gecomprimeerd en gespecialiseerd voor de aggregatietaak.
Few-Shot Efficiëntie: In few-shot settings (1 tot 16 shots per klasse) laten de met distillatie geïnitialiseerde modellen significante winsten zien (bijv. tot 20,55 procentpunten op BRACS-Coarse) vergeleken met training vanaf nul, wat wijst op verbeterde data-efficiëntie en optimalisatie-stabiliteit.
Architectuur-Agnosticisme: De voordelen werden waargenomen bij diverse architecturen (attention, Transformer, graaf, state-space), hoewel sommige architecturen (zoals GDFMIL en 2DMamba) een meer variabele prestatie vertoonden afhankelijk van de taak en het adaptatieprotocol.
Geheugenefficiëntie: In tegen tegenstelling tot grote foundation modellen die last hebben van een geheugenexplosie naarmate het aantal patches toeneemt, behouden de lichtgewicht MIL-aggregators een stabiel geheugengebruik, zelfs met een groot aantal patches (bijv. 30k patches), wat ze schaalbaar maakt voor gigapixel WSI-analyse.

Betekenis en Claims

Het artikel claimt dat dit werk een praktisch alternatief biedt voor conventionele MIL-training vanaf nul. Door slide-niveau priors van grote foundation modellen over te dragen naar lichtgewicht aggregators via distillatie, maakt de aanpak het mogelijk om:

Transfereerbare Slide-Niveau Priors: MIL-modellen kunnen stabiele, generaliseerbare representaties verwerven zonder dat zijzelf enorme gelabelde datasets nodig hebben voor hun eigen pretraining.
Efficiëntie: De resulterende modellen blijven computationeel efficiënt en schaalbaar, geschikt voor klinische omgevingen met beperkte computationele middelen of annotatiebudgetten.
Robuustheid: De methode verbetert de convergentiesnelheid en vermindert overfitting, vooral in data-arme regimes zoals few-shot learning.

De auteurs positioneren dit als een stap naar het vormgeven van de computationele pathologie door het "pretrain-then-fine-tune"-paradigma toegankelijk te maken voor MIL, een cruciaal onderdeel van WSI-analyse dat voorheen beperkt was tot training vanaf nul. Toekomstig werk wordt gesuggereerd om de pretraining-data op te schalen en het framework op een nog breder scala aan downstream taken te evalueren.