Leveraging whole slide difficulty in Multiple Instance Learning to improve prostate cancer grading

Dit paper introduceert het concept van 'Whole Slide Difficulty' op basis van meningsverschillen tussen experts en niet-experts, en toont aan dat het integreren van deze moeilijkheidsgraad in Multiple Instance Learning de prestaties van prostaatkankergradering, vooral bij hogere Gleason-graden, consistent verbetert.

De kern

Hoe we "moeilijke" medische plaatjes slimmer maken voor kunstmatige intelligentie

Stel je voor dat je een enorme, ingewikkelde puzzel hebt: een Whole Slide Image (WSI). Dit is een digitale foto van een heel stukje weefsel uit een prostaatbiopsie. Een patholoog (een arts die zich specialiseert in het bekijken van weefsel) moet deze puzzel bekijken om te bepalen of er kanker is en hoe ernstig die is. Dit noemen ze "Gleason-gradering".

Het probleem is dat deze puzzels soms enorm lastig zijn. Soms lijken de stukjes op elkaar, soms zijn de kankercellen heel klein of verstoppen ze zich.

Het probleem: Niet iedereen ziet hetzelfde

In dit onderzoek kijken we naar twee soorten puzzeloplossers:

1. De Expert: Een zeer ervaren prostaat-specialist. Deze persoon is de "gouden standaard" (de waarheid).
2. De Niet-Expert: Een ervaren arts, maar niet gespecialiseerd in prostaatkanker.

Soms zijn de puzzels zo lastig dat de expert en de niet-expert het niet eens worden. Misschien denkt de expert: "Dit is ernstige kanker (graad 5)", terwijl de niet-expert denkt: "Nee, dit is nog mild (graad 3)".

In de wereld van kunstmatige intelligentie (AI) gebruiken we vaak alleen de antwoorden van de expert. Maar wat als we die meningsverschillen gebruiken als een geheim wapen?

Het idee: "Whole Slide Difficulty" (De Moeilijkheidsgraad)

De auteurs van dit paper hebben een slim idee bedacht: De Moeilijkheidsgraad van de Plaatje.

Stel je voor dat je een schooltoets maakt.

• Als iedereen het antwoord weet, is de vraag gemakkelijk.
• Als de beste leraar en de assistent het antwoord niet eens zijn, is de vraag erg moeilijk.

De onderzoekers zeggen: "Laten we die 'moeilijke' vragen (plaatjes) extra belangrijk maken voor de AI." Als de expert en de niet-expert het oneens zijn, betekent dit dat het plaatje lastig te interpreteren is. De AI moet daar extra hard voor leren!

Hoe hebben ze dit gedaan? (Twee Slimme Manieren)

Ze hebben twee manieren bedacht om de AI te leren omgaan met deze moeilijkheid:

1. De "Twee-in-één" Trainer (Multi-task Learning)
Stel je voor dat je een student opleidt. Normaal leer je de student alleen de juiste antwoorden geven.
Bij deze methode leer je de student twee dingen tegelijk:

• Wat is het juiste antwoord? (Is het kanker of niet?)
• Hoe moeilijk was deze vraag? (Was het lastig om het te zien?)

Door de AI te vragen om ook de moeilijkheid in te schatten, wordt hij slimmer in het herkennen van de lastige patronen.

2. De "Moeilijke Vragen" Bonus (Gewogen Verlies)
Stel je voor dat je een speler in een spel traint.

• Als hij een gemakkelijke vraag goed heeft, krijgt hij 1 punt.
• Als hij een moeilijke vraag (waar de expert en niet-expert het oneens waren) goed heeft, krijgt hij extra punten (bijvoorbeeld 4 of 10 punten).

Dit dwingt de AI om extra aandacht te besteden aan die lastige plaatjes, omdat het daar de meeste "beloning" voor krijgt als hij het goed doet.

Wat was het resultaat?

De onderzoekers hebben dit getest op duizenden prostaatplaatjes. Het resultaat was verrassend goed:

• De AI werd over het algemeen beter in het diagnosticeren.
• Vooral bij de ernstigste gevallen (graad 5, de gevaarlijkste kanker) ging het veel beter.
• Zonder deze trucjes negeerde de AI soms de kleine, lastige plekken en dacht hij dat het gezond weefsel was. Met de trucjes keek hij scherp naar die lastige plekken en gaf hij de juiste diagnose.

De Metafoor: De Leraar en de Leerling

Stel je de AI voor als een leerling die prostaatbiopsies leert beoordelen.

• Zonder de truc: De leerling kijkt alleen naar de antwoorden van de meester. Als een plaatje lastig is, raakt de leerling in de war en raadt hij.
• Met de truc: De meester zegt: "Kijk, deze plaatjes waren lastig voor mijn assistent. Jij moet deze plaatjes extra goed bestuderen, want hier zit de valkuil."

Door te kijken naar waar de assistent (de niet-expert) het mis had, leerde de AI precies waar hij op moest letten.

Conclusie

Dit onderzoek laat zien dat je niet alleen naar de "perfecte" antwoorden hoeft te kijken om een slimme AI te maken. Door te kijken naar waar experts het oneens zijn met minder ervaren artsen, kun je de AI leren om de lastigste en gevaarlijkste gevallen beter te herkennen. Dit kan in de toekomst helpen om prostaatkanker vroegtijdiger en nauwkeuriger te detecteren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Leveraging Whole Slide Difficulty in Multiple Instance Learning to Improve Prostate Cancer Grading" in het Nederlands.

Probleemstelling

In de histopathologie worden Whole Slide Images (WSI) gebruikt voor de diagnose en gradatie van prostaatkanker (Gleason-gradering). Hoewel Deep Learning succesvol is bij volledig toezicht (patch- of pixel-niveau), is het verzamelen van dergelijke labels tijdrovend en duur vanwege de enorme grootte van de slides (vaak >1 GB). Daarom is Multiple Instance Learning (MIL) de standaard geworden, waarbij een slide wordt getraind op basis van één slide-level label (bijv. de hoogste Gleason-graad).

Een cruciaal probleem is echter dat niet alle slides even makkelijk te diagnosticeren zijn. Factoren zoals misleidende patronen, kleine gebieden van belang of weefselveranderingen kunnen leiden tot onenigheid tussen pathologen.

• Huidige beperking: Bestaande methoden behandelen vaak alle slides als even waardevol of focussen op "ruis" in annotaties.
• De kans: Slides waarbij een expert en een minder ervaren patholoog het oneens zijn, vertegenwoordigen een inherente moeilijkheid van de slide. Deze informatie wordt nu vaak genegeerd tijdens het trainen van modellen.

Methodologie

De auteurs introduceren het concept Whole Slide Difficulty (WSD), gebaseerd op de mate van onenigheid tussen een expert-patholoog (beschouwd als ground truth) en een niet-expert patholoog.

1. Definitie van WSD

De moeilijkheidsgraad wordt afgeleid uit drie niveaus van consensus tussen de twee pathologen:

• Homogene consensus: Beide pathologen zijn het eens over beide termen van de Gleason-score (bijv. 3+4 en 4+3). Dit wordt beschouwd als makkelijk.
• Heterogene consensus: Beide zijn het eens over de slechtste graad, maar niet over de tweede graad (bijv. 4+4 vs 3+4). Dit is gemiddeld moeilijk.
• Geen consensus: Ze zijn het oneens over de slechtste graad aanwezig in de slide (bijv. 4+5 vs 4+3). Dit wordt beschouwd als zeer moeilijk.

In de gebruikte dataset had 18,3% van de slides geen consensus, wat vaak correspondeerde met de moeilijkste graden (Gleason 3 en 5).

2. Architectuur en Data

• Dataset: 2.914 HE-kleur WSIs. Train/Val/Test splits: 1995/507/412.
• Feature Extractors: Twee histopathologie foundation modellen: CTransPath en UNI2-h.
• MIL Architectures: Vijf methoden getest: MaxMIL, ABMIL, CLAM, DSMIL en TransMIL.
• Classificatie: 4 klassen: Goedaardig (Benign), Gleason 3, 4 en 5.

3. Twee Nieuwe Benaderingen om WSD te benutten

De auteurs stellen twee methoden voor om WSD als prior te gebruiken tijdens het trainen:

• A. Multi-task Learning (MT):
  Een regressie-head wordt toegevoegd aan het bestaande classificatiekader. Het model leert tegelijkertijd de Gleason-graad te voorspellen én de WSD-score te schatten.

  • Verliesfunctie: $L_{MT} = \alpha L_{class} + \beta L_{reg}$
  • Doel: Het model wordt bewust gemaakt van de moeilijkheidsgraad van de slide.

• B. Gewogen Classificatieverlies (Weighted Classification Loss):
  Slides krijgen een gewicht ($w_{WSD}$) gebaseerd op hun moeilijkheidsniveau. Moeilijkere slides (minder consensus) krijgen een hoger gewicht om het model te dwingen hier meer aandacht aan te besteden.

  • Gewichten: Homogene consensus = 1.0; Heterogene consensus = 1.3–4.0; Geen consensus = 2.0–10.0 (afhankelijk van het model).
  • Verliesfunctie: $L_{weighted} = w_{WSD} \times L_{class}$

Belangrijkste Resultaten

De experimenten tonen aan dat het integreren van WSD de prestaties consistent verbetert, vooral bij de moeilijkere gradaties.

1. Algemene Prestaties:

   • De Balanced Accuracy steeg gemiddeld met +2.0 punten wanneer WSD-methoden werden gebruikt ten opzichte van de baseline.
   • De Weighted F1-Score verbeterde eveneens, met name bij de Weighted Loss-methode.
   • Statistische significantie ($p < 0.05$) werd bereikt bij meerdere combinaties van feature extractors en MIL-architecturen.

2. Verbetering bij Kritieke Klassen:

   • De grootste winst werd geboekt bij Gleason 5 (de meest kritieke en moeilijke diagnose). De nauwkeurigheid voor deze klasse steeg gemiddeld met +7.9 punten.
   • Dit is cruciaal omdat een verkeerde classificatie van hoge graden ernstige gevolgen heeft voor de patiëntbehandeling.

3. Visualisatie (Attention Maps):

   • Figuur 1 toont dat de baseline-modellen op moeilijke slides vaak focussen op irrelevante patches (bijv. een slide met 3+3 die als 'Benign' wordt geclassificeerd).
   • Het WSD-gewogen model focust echter correct op de patch met de tumor (Gleason 3), wat leidt tot een juiste classificatie. Dit bewijst dat WSD helpt het model te leiden naar de juiste "instances" binnen de slide.

4. Hyperparameter Analyse:

   • Voor Multi-task learning werken combinaties van $(\alpha, \beta)$ het beste wanneer beide verliesfuncties van dezelfde orde van grootte zijn.
   • Voor gewogen verlies leidt het belonen van moeilijke slides tot betere resultaten, terwijl het belonen van makkelijke slides de prestaties verslechtert.

Bijdragen en Significantie

• Nieuw Concept: Introductie van Whole Slide Difficulty (WSD) als een kwantificeerbare maatstaf voor slide-moeilijkheid, gebaseerd op expert vs. non-expert onenigheid, in plaats van onzekerheid in labels.
• Methodologische Innovatie: Twee effectieve strategieën (Multi-task en Gewogen Verlies) om deze moeilijkheidsgraad te integreren in MIL-training zonder extra grondwaarheid-annotaties nodig te hebben.
• Klinische Impact: De methoden verbeteren specifiek de diagnose van hoogwaardige prostaatkanker (Gleason 4 en 5), wat direct relevant is voor de behandeling van patiënten.
• Robuustheid: De resultaten zijn consistent over verschillende state-of-the-art foundation models (CTransPath, UNI2-h) en diverse MIL-architecturen.

Conclusie

Dit paper demonstreert dat het benutten van de "moeilijkheid" van een slide, afgeleid van de onenigheid tussen pathologen, een krachtige prior is voor het trainen van MIL-modellen. Door moeilijke slides extra gewicht te geven of ze als extra taak te leren, kunnen modellen beter worden getraind om complexe gevallen te herkennen, wat de algehele diagnosekwaliteit in de digitale pathologie verbetert. De auteurs plannen om deze methoden uit te breiden naar andere organen (zoals huidkanker) en te valideren met nieuwe paren van experts en niet-experts.