Hierarchical Classification for Improved Histopathology Image Analysis

Deze studie introduceert HiClass, een hiërarchisch classificatiekader op basis van multiple instance learning dat bidirectionele feature-integratie en aangepaste verliesfuncties gebruikt om de prestaties van whole-slide image-analyse in de histopathologie te verbeteren door zowel grof- als fijnkorrelige kenmerken effectief te benutten.

De kern

Stel je voor dat een patholoog (een arts die weefsels onder de microscoop bekijkt) een gigantische foto van een maagweefsel moet analyseren. Deze foto, een "Whole Slide Image", is zo groot dat hij niet in één keer te zien is. Het is alsof je een heel landschap moet bekijken, maar je hebt alleen een vergrootglas dat telkens één klein stukje gras toont.

Vroeger deden computers dit op een simpele manier: ze keken naar alle stukjes en gaven één simpel antwoord, zoals "Kwaadaardig" of "Goedaardig". Dit is als het sorteren van fruit in twee bakken: appels en geen-appels. Maar in de echte wereld is het veel ingewikkelder. Een arts denkt niet alleen in "ja/nee", maar in een hiërarchie: "Is het een appel? Ja. Is het een Granny Smith of een Gala? En is die Gala goed of slecht ontwikkeld?"

Deze paper introduceert HiClass, een slimme nieuwe manier voor computers om deze complexe diagnoses te stellen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Platte" Benadering

Bestaande AI-modellen zijn vaak "plat". Ze proberen direct het eindresultaat te raden, zonder rekening te houden met de tussenstappen.

• De analogie: Stel je voor dat je een boek moet samenvatten. Een plat model probeert direct de laatste zin te raden zonder de hoofdstukken te lezen. Het mist de context. Als de computer probeert te zeggen "Dit is een zeldzame vorm van kanker", faalt hij vaak omdat hij niet eerst heeft vastgesteld "Dit is kanker" en vervolgens "Dit is een specifieke type kanker".

2. De Oplossing: HiClass (De Twee-Weg Snelweg)

HiClass is een model dat de hiërarchie van de ziekte begrijpt. Het werkt in twee niveaus tegelijk:

• Niveau 1 (Grof): "Is het goed of kwaadaardig?" (Bijv. een poliep of kanker).
• Niveau 2 (Fijn): "Wat voor soort kwaadaardigheid is het precies?" (Bijv. een specifieke vorm van maagkanker).

De magische truc: Twee-weg informatie-uitwisseling
In het verleden keken deze twee niveaus vaak naar elkaar alsof ze in aparte kamers zaten. HiClass breekt de muren af.

• Hoe het werkt: Het model laat het "grove" niveau (bijv. "Kanker") informatie sturen naar het "fijne" niveau, en andersom.
• De analogie: Stel je voor dat je een detective bent die een moord oplost.
  • Het grove niveau is de rechercheur die zegt: "Dit is een moord, geen ongeluk."
  • Het fijne niveau is de rechercheur die zegt: "Het was met een mes."
  • Bij HiClass praten ze constant met elkaar. De "mes-detective" zegt tegen de "moord-detective": "Kijk, dit mes past bij dit type moord." En de "moord-detective" zegt terug: "Oké, omdat we zeker weten dat het een moord is, kunnen we die andere verdachten uitsluiten."
  • Door deze twee-weg communicatie worden beide antwoorden slimmer.

3. De Leermeesters: Speciale "Strafregels" (Loss Functions)

Om ervoor te zorgen dat het model echt leert hoe deze hiërarchie werkt, hebben de onderzoekers speciale regels (verliezen) bedacht die het model "straffen" als het fouten maakt in de logica.

• Regel 1: De Consistentie-Check (Hierarchical Consistency)
  • Analogie: Als de computer zegt dat het "Kanker" is, maar dan raadt hij dat het een "Goedaardige ontsteking" is, is dat logisch onzin. HiClass straft deze tegenstrijdigheid. Het zorgt ervoor dat het grove en fijne antwoord altijd met elkaar overeenkomen, net als een goed georganiseerd archief.
• Regel 2: De Groepsregels (Intra- en Inter-class Distance)
  • Analogie: Stel je een schoolklas voor. Alle kinderen in de klas "Kanker" moeten dicht bij elkaar staan in de speelzaal, maar ver weg van de kinderen in de klas "Goedaardig". Binnen de klas "Kanker" moeten de verschillende soorten kanker (zoals "Maagkanker A" en "Maagkanker B") ook weer netjes van elkaar gescheiden staan. HiClass zorgt ervoor dat de computer deze afstanden in zijn hoofd correct berekent.
• Regel 3: De Focus-regel (Group-wise Cross-Entropy)
  • Analogie: Als de computer al weet dat het "Kanker" is, hoeft hij niet meer te twijfelen tussen "Kanker" en "Goedaardig". Hij moet zich alleen nog maar concentreren op welke kanker het is. HiClass dwingt de computer om zijn keuze te beperken tot de juiste groep, waardoor hij scherper wordt in het maken van de juiste keuze binnen die groep.

4. Het Resultaat: Beter dan de Rest

De onderzoekers hebben HiClass getest op duizenden maagbiopsieën (weefselmonsters).

• De uitkomst: HiClass was beter dan alle andere bestaande methoden, zowel bij het grote onderscheid (Goed vs. Kwaad) als bij het fijne onderscheid (Specifieke soorten).
• Waarom? Omdat het niet alleen naar de details kijkt, maar ook begrijpt hoe die details passen in het grotere plaatje. Het combineert de kracht van een brede blik met de precisie van een vergrootglas.

Kort samengevat:
HiClass is als een slimme arts-assistent die niet alleen kijkt naar de details van een ziekte, maar ook begrijpt hoe die details passen in de grote structuur van de diagnose. Door de verschillende niveaus van kennis te laten praten met elkaar en door logische regels toe te passen, maakt hij minder fouten en helpt hij artsen sneller en nauwkeuriger te diagnosticeren.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Hierarchical Classification for Improved Histopathology Image Analysis" in het Nederlands.

Titel: HiClass: Hiërarchische Classificatie voor Verbeterde Histopathologische Beeldanalyse

1. Het Probleem

De analyse van Whole-Slide Images (WSI) is cruciaal voor de diagnose van ziekten in de pathologie. Bestaande deep learning-methoden gebruiken echter voornamelijk vlakke classificatie (flat classification), waarbij het model probeert een afbeelding direct in één van de eindklassen te plaatsen, zonder rekening te houden met de inherente hiërarchische structuur van ziekteclassificaties.

• Natuurlijke Hiërarchie: Pathologische diagnoses volgen een logische structuur (bijv. eerst bepalen of een tumor goed- of kwaadaardig is, en vervolgens de differentiatiegraad bepalen).
• Beperkingen van bestaande methoden: Vlakke classificatie negeert deze relaties. Dit maakt fijne classificatie (fine-grained) moeilijk vanwege de hoge gelijkenis tussen subcategorieën en een tekort aan trainingsdata voor specifieke subklassen. Bestaande hiërarchische methoden zijn vaak niet optimaal in het uitwisselen van informatie tussen grove (coarse-grained) en fijne niveaus.

2. Methodologie: HiClass Framework

De auteurs stellen HiClass voor, een hiërarchisch classificatiekader gebaseerd op Multiple Instance Learning (MIL). Het doel is om zowel grove als fijne classificatie tegelijkertijd te verbeteren door informatieuitwisseling tussen de niveaus.

A. Model Architectuur
Het model bestaat uit drie hoofdcomponenten:

1. Patch-level Encoder (E): De WSI wordt opgedeeld in patches (512x512). Een voorgeïmplementeerde, zelftoezicht-geleerde model (UNI) extrahereer feature vectors (1024 dimensies) voor elke patch.
2. Feature Aggregator (A): Gebruikmakend van attention-based pooling (geïnspireerd door CLAM) worden de patch-features geaggregeerd tot één representatieve vector voor de hele slide.
3. Hiërarchische Classificator (H): Dit is het kerninnovatiepunt.
   • Bidirectionele Feature Integratie: De geaggregeerde feature wordt gesplitst in een grove vector ($v_c$) en een fijne vector ($v_f$). Deze worden wederzijds verrijkt:
     • De grove vector krijgt context van de fijne vector (maar met een gradient blocker om bias te voorkomen).
     • De fijne vector krijgt context van de grove vector (hogere semantische context).
   • Dit zorgt ervoor dat grove features detail behouden en fijne features context krijgen, zonder directe gewichtsupdates die de ene taak ten koste van de andere laten gaan.
   • Vervolgens worden er aparte projectie- en classificatiekoppen gebruikt voor beide niveaus.

B. Maatwerk Verliesfuncties (Loss Functions)
Om hiërarchisch leren te optimaliseren, worden vier verliesfuncties gecombineerd:

1. Cross-Entropy Loss ($L_{CE}$): Standaard supervisie voor beide niveaus.
2. Hiërarchische Consistentie Loss ($L_{Con}$): Gebruikt Jensen-Shannon Divergentie om ervoor te zorgen dat de features van de meest waarschijnlijke grove en fijne klasse semantisch consistent zijn (bijv. als de grove klasse "kanker" is, mag de fijne klasse niet "gastritis" zijn).
3. Intra- en Inter-class Distance Loss ($L_{Int}$): Bevordert een gestructureerde feature-ruimte door de afstand tussen fijne klassen van verschillende grove categorieën te maximaliseren en de afstand binnen dezelfde grove categorie te minimaliseren (gebaseerd op margin-based KL-divergentie).
4. Group-wise Cross-Entropy Loss ($L_{GCE}$): Beperkt de voorspellingsruimte voor fijne klassen tot alleen de subklassen die horen bij de voorspelde grove klasse. Dit scherpt de grenzen binnen een groep en verbetert de discriminatie.

3. Dataset en Experimenten

• Dataset: Een dataset van 4.673 maag-endoscopische biopsieën (verzameld 2014-2023).
• Classificatie: 4 grove klassen (Goedaardig, Kanker, Dysplasie, Gastritis) en 14 fijne klassen (bijv. specifieke poliepen, adenocarcinoom gradaties).
• Vergelijking: HiClass werd vergeleken met bestaande MIL-methoden (MaxMIL, MeanMIL, CLAM, TransMIL, S4MIL) en eerdere hiërarchische modellen.

4. Resultaten

HiClass presteerde superieur op zowel grove als fijne classificatie:

• Grove Classificatie: 85,10% nauwkeurigheid en 0,8610 F1-macro score (hoogste onder alle modellen).
• Fijne Classificatie: 68,68% nauwkeurigheid en 0,5220 F1-macro score.
• Vergelijking: Bestaande methoden (zelfs die met aangepaste hiërarchische koppen) waren inconsistent; wat goed werkte voor grove classificatie, werkte niet noodzakelijk voor fijne. HiClass leverde consistente verbeteringen op beide niveaus.
• Ablatiestudie: De studie toonde aan dat bidirectionele integratie essentieel is (unidirectionele integratie presteerde slechter dan geen integratie). Ook was de combinatie van alle verliesfuncties noodzakelijk; geen enkele functie alleen leverde de beste resultaten op.

5. Belangrijkste Bijdragen

1. HiClass Framework: Een nieuw MIL-gebaseerd kader dat bidirectionele feature-integratie introduceert om informatie tussen grove en fijne niveaus effectief uit te wisselen.
2. Hiërarchische Verliesfuncties: Introductie van specifieke loss-functies ($L_{Con}$, $L_{Int}$, $L_{GCE}$) die de hiërarchische structuur van de data expliciet in het leerproces integreren.
3. Superieure Prestaties: Aantonen dat het expliciet modelleren van de diagnose-hiërarchie leidt tot betere resultaten dan vlakke classificatie, zelfs bij complexe, onbalans datasets met hoge inter-klassensimilariteit.

6. Significance (Betekenis)

Dit werk is significant omdat het de kloof overbrugt tussen de natuurlijke diagnostische redeneerprocessen van pathologen (die hiërarchisch werken) en de huidige AI-modellen (die vaak vlakke classificatie toepassen). Door de hiërarchische relaties te benutten, wordt de modelrobustheid verhoogd, wat leidt tot betrouwbaardere diagnoses in de klinische praktijk. De methode is generiek toepasbaar op diverse pathologische taken en biedt een blauwdruk voor het verbeteren van beeldanalyse in gebieden waar class-hiërarchieën essentieel zijn.