💻 computer science

SLAM-AGS: Slide-Label Aware Multi-Task Pretraining Using Adaptive Gradient Surgery in Computational Cytology

Het artikel stelt SLAM-AGS voor, een slide-label-bewust multi-task pretraining-framework dat Adaptive Gradient Surgery gebruikt om conflicterende taakgradiënten op te lossen en het leren te stabiliseren, waardoor de downstream bag-level voorspelling en abnormale celretrieval in computationele cytologie aanzienlijk worden verbeterd, vooral onder omstandigheden met lage witness-percentages en onbetrouwbare instance-level labels.

Oorspronkelijke auteurs: Marco Acerbis, Swarnadip Chatterjee, Christophe Avenel, Joakim Lindblad

Gepubliceerd 2026-01-15

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Marco Acerbis, Swarnadip Chatterjee, Christophe Avenel, Joakim Lindblad

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een enkele, piekleine, zeldzame crimineel op te sporen die zich verbergt in een enorme stad met 1.000 onschuldige mensen. Dit is in essentie de uitdaging waar artsen voor staan bij het gebruik van AI om computationele cytologie te analyseren (het bekijken van cellen onder een microscoop om kanker te vinden).

Hier is een eenvoudige uiteenzetting van de oplossing uit het paper, SLAM-AGS, gebruikmakend van alledaagse analogieën.

Het Probleen: Het "Naald in een Hooiberg"-dilemma

In deze medische wereld is een "slide" (glasplaatje) als een hele stad (een enorme afbeelding met miljoenen pixels). Een "patch" (fragment) is als een wijk of een blok binnen die stad.

Het Label-probleem: Artsen weten meestal alleen of de hele stad een crimineel heeft (de slide is "positief" of "negendig"). Ze hebben niet de tijd of het geld om precies aan te wijzen in welke specifieke wijk de crimineel zich bevindt.
De Getuigen-ratio: Zelfs in een "criminele" stad kan de boef zich verbergen in slechts 1 op de 1.000 blokken. In sommige gevallen is het zelfs zo zeldzaam als 1 op de 2.000.
De AI-strijd: Als je een AI traint om de crimineel te vinden met alleen het label "de stad is schuldig", raakt de AI in de war. De AI ziet 999 onschuldige blokken en denkt: "Misschien is de hele stad onschuldig," of de AI raakt zo in de war door de tegenstrijdige aanwijzingen dat het volledig stopt met leren.

De Oplossing: SLAM-AGS (De Slimme Detective)

De auteurs hebben een nieuwe trainingsmethode ontwikkeld genaamd SLAM-AGS. Zie dit als een tweeledig trainingskamp voor de AI-detective, ontworpen om het "naald in een hooiberg"-probleem aan te pakken zonder in de war te raken.

1. Twee verschillende trainingsoefeningen (Multi-Task Learning)

In plaats van de AI slechts één taak te geven, geven ze het twee gelijktijdige oefeningen gebaseerd op het soort "stad" waar het naar kijkt:

Oefening A: De "Innocente Stad"-oefening (Slide-Negatief)
Als de AI naar een stad kijkt die bekend staat als 100% onschuldig, dan is elk afzonderlijk blok onschuldig. De AI krijgt de opdracht: "Groep al deze onschuldige blokken nauw bij elkaar." Dit helpt de AI om heel duidelijk te leren wat "normaal" eruitziet.
- Analogie: Het is als het leren aan een student hoe een perfect, schoon kamer eruitziet. Elk object in de kamer hoort daar.
Oefening B: De "Verdachte Stad"-oefening (Slide-Positief)
Als de AI naar een stad kijkt die bekend staat om het hebben van een crimineel, weet de AI dat sommige blokken slecht zijn, maar hij weet niet welke. De AI krijgt de opdracht: "Bekijk deze blokken en leer ze van elkaar te onderscheiden, zelfs als je niet precies weet welke de crimineel is."
- Analogie: Het is als het laten zien van een zak met gemengd fruit aan een student, waarbij je weet dat er een rotte appel tussen zit, maar je weet niet welke. De student leert verschillen tussen de vruchten te herkennen, zodat hij de slechte uiteindelijk kan vinden.

2. De "Gradient Surgery" (Het oplossen van de verwarring)

Dit is het lastige deel. Wanneer je probeert de AI beide oefeningen tegelijkertijd te leren, kunnen de instructies met elkaar botsen.

Het Conflict: Oefening A zegt: "Maak al deze blokken hetzelfde!" terwijl Oefening B zegt: "Maak deze blokken verschillend!"
Het Resultaat: Zonder hulp krijgt de AI hoofdpijn (wiskundig genoemd "gradient conflict") en stopt met leren of leert het verkeerde dingen.
De Fix (Adaptive Gradient Surgery): De auteurs hebben een "chirurg" toegevoegd aan het trainingsproces. Deze chirurg kijkt naar de conflicterende instructies, snijdt het deel van de instructie weg dat de strijd veroorzaakt, en schaalt vervolgens de resterende instructies opnieuw zodat de AI niet te langzaam beweegt.
- Analogie: Stel je voor dat twee coaches een atleet toeschreeuwen. Coach A zegt: "Ren naar het Noorden!" en Coach B zegt: "Ren naar het Oosten!" De atleet draait in cirkels. De "Gradient Surgeon" grijpt in en zegt: "Oké, we rennen Noordoost, maar we rennen net zo snel als wanneer we naar het Noorden zouden rennen," waardoor de atleet ervoor zorgt dat hij vooruit blijft bewegen zonder rondjes te draaien.

De Resultaten: De Naald Vinden

De onderzoekers hebben hun methode getest op een dataset van beenmergcellen (wat het "naald in een hooiberg"-scenario simuleert met zeer weinig slechte cellen).

De Competitie: Ze vergeleken hun methode met standaard AI-training, pure zelflerende methoden en andere hybride methoden.
De Uitkomst:
- Bij makkelijke niveaus (10% slechte cellen): Iedereen deed het prima, maar SLAM-AGS was de beste.
- Bij moeilijke niveaus (0,5% slechte cellen): De andere methoden stortten in. Ze begonnen in feite willekeurig te gokken omdat het signaal te zwak was.
- SLAM-AGS: Het bleef sterk presteren. Het kon nog steeds de "slechte" buurten (instanties) identificeren en de "stad" (slide) correct labelen, zelfs wanneer de slechte cellen extreem zeldzaam waren.

Samenvatting

SLAM-AGS is een slimmere manier om AI te trainen om zeldzame ziekten in celafbeeldingen te vinden. Het leert de AI twee verschillende lessen tegelijkertijd (het herkennen van normale groepen en het opsporen van verschillen in verdachte groepen) en gebruikt een "chirurgische" techniek om te voorkomen dat die lessen met elkaar in strijd zijn. Hierdoor kan de AI scherp en accuraat blijven, zelfs wanneer de ziekte zich in slechts een minuscuul deel van het monster verbergt.

De auteurs hebben hun code open-source gemaakt zodat anderen deze "chirurgische" trainingsmethode zelf kunnen proberen.

Technische Samenvatting: SLAM-AGS

1. Probleemstelling

Computationele cytologie staat voor twee kritieke uitdagingen die de toepassing van deep learning voor kankerdetectie bemoeilijken:

Onbetrouwbare en kostbare instantie-labels: Het verkrijgen van uitputtende patch-niveau annotaties voor gigapixel Whole Slide Images (WSI's) is evenredig duur. Bijgevolg is volledig gesuperviseerde training vaak onhaalbaar.
Extreem lage witness rates: In cytologische WSI's is de ratio van positieve patches (bevatten abnormale cellen) ten opzichte van het totaal aantal patches vaak minder dan 1%. Bij dergelijke lage witness rates worden standaard zwak gesuperviseerde methoden (die uitsluitend vertrouwen op slide-level labels) gedomineerd door negatieve instanties. Dit leidt tot overfitting, slechte generalisatie naar zeldzame positieven en modelinstorting waarbij het model faalt om positieve bags van negatieve te onderscheiden.

Hoewel Multiple Instance Learning (MIL) een standaardoplossing is voor slide-level labeling, heeft het moeite wanneer instantie-discriminatie zwak gesuperviseerd is en positieve signalen schaars zijn. Bovendien lijden bestaande multi-task pretraining-methoden die zelf-gesuperviseerde en zwak gesuperviseerde doelstellingen combineren vaak aan gradiëntconflicten, wat het trainingsproces destabiliseert en de voordelen van zwakke supervisie beperkt.

2. Methodologie: SLAM-AGS

De auteurs stellen SLAM-AGS voor (Slide-Label Aware Multi-task pretraining met Adaptive Gradient Surgery), een framework ontworpen om de representatie-lering voor zowel slide-negatieve als slide-positieve patches gezamenlijk te optimaliseren en het trainingsproces te stabiliseren.

2.1. Multi-Task Pretraining Doelstellingen

Het framework past de WeakSupCon-aanpak aan, waarbij patches worden behandeld op basis van hun slide-level labels:

Slide-Negatieve Patches (Gesuperviseerde Gelijkenis): Patches van gezonde (negatieve) slides worden behandeld alsof ze een bekende, gedeelde negatieve label hebben. Het model optimaliseert een Similarity Loss afgeleid van de Supervised Contrastive (SupCon) loss om een compacte representatie van deze negatieve instanties in de feature space te stimuleren.
Slide-Positieve Patches (Zelf-gesuperviseerde Contrastieve Leering): Patches van positieve slides (die een mix kunnen bevatten van normale en abnormale cellen) worden behandeld als ongelabeld. Het model optimaliseert een SimCLR contrastieve doelstelling op deze patches om robuuste, label-vrije visuele kenmerken te leren.

De totale loss is de som van deze twee doelstellingen: $L = L_{Similarity} + L_{SimCLR}$ .

2.2. Adaptive Gradient Surgery

Om de instabiliteit aan te pakken die wordt veroorzaakt door het combineren van heterogene doelstellingen, integreert SLAM-AGS Adaptive Gradient Surgery gebaseerd op het PCGrad-algoritme:

Conflictresolutie: Wanneer de cosinus-gelijkenis tussen taakgradiënten negatief is (wat duidt op conflict), projecteert het algoritme de gradiënt van elke taak op het normale vlak van de gradiënt van de andere taak. Dit verwijdert destructieve interferentie.
Gradiënt Rescaling: Een cruciale innovatie in dit werk is de gradient rescaling stap. Standaard projectie kan de effectieve gradiënt-magnitude verminderen, wat de convergentie vertraagt. SLAM-AGS berekent de norm van de oorspronkelijke gecombineerde gradiënt ( $\|g_{sum}\|$ ) en de geprojecteerde gradiënt ( $\|g_{pc}\|$ ). Als de geprojecteerde norm kleiner is, wordt de gradiënt geschaald om de oorspronkelijke update-magnitude te behouden:
$g_{pc} \leftarrow g_{pc} \cdot \frac{\|g_{sum}\|}{\|g_{pc}\|}$
Dit zorgt ervoor dat, hoewel conflicterende richtingen worden verwijderd, de algehele schaal van het leer-signaal behouden blijft.

2.3. Downstream Pipeline

De getrainde encoder wordt geïntegreerd in een Attention-based Multiple Instance Learning (MIL) aggregator (specifiek PAMIL). Dit maakt het volgende mogelijk:

Bag-level voorspelling: Het classificeren van de gehele slide (bijv. maligniteitsdetectie).
Instance-level retrieval: Het gebruik van attention scores om de meest abnormale patches binnen een positieve bag te identificeren en op te halen.

3. Experimentele Opstelling

Dataset: De Bone Marrow Cytology dataset [14], bestaande uit May-Grünwald-Giemsa/Pappenheim-gekleurde WSI's.
Simulatie: Om MIL-settings met gecontroleerde witness rates te simuleren, werden "Lymphocytes" (meerderheidsklasse) gelabeld als "normaal", en zeven minderheidsceltypen werden samengevoegd tot een "abnormale" klasse. Abnormale instanties werden geïnjecteerd in normale bags om doel-witness rates van 10%, 5%, 1% en 0,5% te creëren.
Baselines: De methode werd vergeleken met Weakly Supervised training, SimCLR, WeakSupCon en een variant van SLAM-AGS zonder gradient rescaling.
Metrics:
- Bag-level: F1-Score.
- Instance-level: Recall@400 (het aantal correct geïdentificeerde sleutelinstanties onder de top 400 patches gerangschikt door de attention score).

4. Belangrijkste Resultaten

De experimenten tonen aan dat SLAM-AGS bestaande methoden significant overtreft, vooral naarmate de witness rates afnemen:

Bag-Level Classificatie (F1-Score):
- Bij witness rates van 10% en 5% behaalde SLAM-AGS de hoogste scores (respectievelijk 97,1% en 96,0%), waarmee het Weakly Supervised (53,4%) en WeakSupCon (84,6%) verslaat.
- Bij een witness rate van 0,5% was het voordeel het meest uitgesproken. SLAM-AGS behaalde 66,4%, terwijl Weakly Supervised, SimCLR en WeakSupCon allemaal instortten naar bijna willekeurige prestaties (~50%).
Instance-Level Detectie (Recall@400):
- SLAM-AGS handhaafde een detectieratio boven de 60% over alle witness rates (bijv. 65,3% bij 0,5% WR).
- Concurrerende methoden (SimCLR, WeakSupCon) zakten naar bijna willekeurige niveaus (~40-45%) bij lage witness rates, waardoor ze faalden in het effectief identificeren van sleutel-abnormale instanties.
Ablatieonderzoek: De variant "SLAM-AGS w/o rescaling" presteerde aanzienlijk slechter (bijv. 46,0% F1 bij 0,5% WR), wat bevestigt dat de gradient rescaling component essentieel is voor het stabiliseren van de optimalisatie en het behoud van leer-signalen.

5. Betekenis en Claims

Het artikel beweert dat SLAM-AGS een robuuste oplossing biedt voor computationele cytologie waar positieve signalen extreem schaars zijn. De kernbetekenis ligt in de demonstratie dat:

Gradiëntinterferentie een primaire bottleneck is: In multi-task pretraining met schaarse positieve labels kunnen conflicterende gradiënten tussen zelf-gesuperviseerde en zwak gesuperviseerde doelstellingen de training destabiliseren.
Adaptive Surgery Stabiliteit Mogelijk Maakt: Door gradiëntprojectie te combineren met magnitude-behoudende rescaling, stelt het framework gesuperviseerde en zelf-gesuperviseerde doelstellingen in staat om elkaar te versterken in plaats van te verstoren.
Prestaties bij Extreme Schaarste: De methode maakt stabiele pretraining en superieure downstream-prestaties mogelijk, zelfs bij witness rates zo laag als 0,5%, een regime waarin standaard zwak gesuperviseerde en zelf-gesuperviseerde methoden falen.

De auteurs concluderen dat het mitigeren van gradiëntconflicten en het rescalen van updates cruciaal zijn voor robuust representatie-leren in scenario's met schaarse positieve supervisie. Ze merken op dat hoewel instance-level retrieval stabiel blijft, de bag-level F1-scores nog steeds licht degraderen bij de laagste witness rates, wat suggereert dat toekomstig werk zich moet richten op het verbeteren van de MIL-aggregator om de geïdentificeerde instance-level signalen beter te benutten.

Reproduceerbaarheid: De auteurs hebben hun volledige implementatie en evaluatieframework open source vrijgegeven op https://github.com/Ace95/SLAM-AGS.