A protocol for evaluating robustness to H&E staining variation in computational pathology models

Probleemstelling

De implementatie van computationele pathologie (CPath) modellen in de kliniek wordt gehinderd door de gevoeligheid voor variaties in H&E-kleuring (hematoxyline en eosine). Kleurintensiteit en -tint variëren aanzienlijk tussen laboratoria door verschillen in protocollen, reagentia, batch-effecten en scanners. Deze variaties veroorzaken domeinverschuivingen die de prestaties van modellen kunnen verminderen wanneer ze worden toegepast op slides die elders of op een ander tijdstip zijn voorbereid.

Bestaande aanpakken richten zich vaak op trainingstechnieken (zoals kleurnormalisatie of augmentatie), maar deze zijn minder effectief in moderne pipelines die gebruikmaken van grote, vooraf getrainde "foundation models". Omdat deze foundation models vastgezet zijn (frozen), hebben trainingstechnieken beperkte invloed. Bovendien ontbreekt er een gestructureerde evaluatiemethode om de robuustheid van reeds getrainde modellen kwantitatief te meten onder gedefinieerde, reproduceerbare kleuringcondities.

Methodologie

De auteurs introduceren een drie-staps protocol om de robuustheid van CPath-modellen systematisch te evalueren tegenover H&E-kleuringvariatie:

1. Selectie van referentiekleuringcondities:

   • Er werd een nieuwe referentiebibliotheek op basis van het PLISM-dataset (Pathology Images of Scanners and Mobilephones) ontwikkeld.
   • Uit dit dataset werden representatieve kleurvectoren en intensiteiten geëxtraheerd voor 91 unieke kleuring-apparaatcombinaties.
   • Vier specifieke simulatiecondities werden gedefinieerd:
     • Lage vs. hoge H&E-intensiteit.
     • Lage vs. hoge kleurgelijkheid (gemeten als de hoek tussen hematoxyline- en eosinevectoren in optische dichtheidsruimte).

2. Karakterisering van de testset:

   • De eigenschappen van de SurGen-dataset (colorectale kanker, n=738 patiënten) werden geanalyseerd.
   • Per slide werden kleurvectoren en intensiteiten bepaald via steekproeven van image patches, wat diende als basis voor de simulaties.

3. Toepassing van modellen onder gesimuleerde condities:

   • Er werden 306 MSI-classificatiemodellen (Microsatellite Instability) getest. Dit omvatte:
     • 300 gesimuleerde "black-box" modellen: Attention-Based Multiple Instance Learning (ABMIL) classifiers getraind op TCGA-COAD/READ data, gebruikmakend van drie verschillende foundation models als feature extractors (UNI2-h, H-Optimus-1, Virchow2).
     • 6 publiek beschikbare modellen (o.a. Wagner2023 en Niehues2023).
   • De inferentie werd uitgevoerd onder de vier gesimuleerde kleuringcondities door de RGB-pixelintensiteiten te decomponeren en te recomponeren volgens de doelstellingen van de PLISM-referenties.

Evaluatiemetrics:

• Prestatie: Gemeten als het Area Under the Curve (AUC) onder de referentieconditie.
• Robuustheid: Gedefinieerd als het bereik (min-max) van de AUC-waarden over alle vijf condities (referentie + 4 simulaties). Een kleiner bereik duidt op hogere robuustheid.

Belangrijkste Resultaten

• Prestatie vs. Robuustheid: Er is een zwakke inverse correlatie gevonden tussen prestatie en robuustheid (Pearson r = -0.22). Dit betekent dat een model met een hoge AUC niet per se robuust is tegenover kleuringvariatie.
• Prestatiebereik: De classificatieprestaties varieerden van AUC 0.769 tot 0.911 over alle modellen en condities.
• Robuustheidsbereik: De robuustheid varieerde van 0.007 tot 0.079.
• Invloed van Foundation Models:
  • Modellen gebaseerd op UNI2-h en H-Optimus-1 bleken over het algemeen robuuster dan die op Virchow2.
  • Het publieke CTransPath+Wagner2023 model (op basis van een minder robuuste foundation) presteerde echter zeer goed in zowel prestatie als robuustheid, wat suggereert dat de aggregator-training de gevoeligheid kan compenseren.
• Invloed van Kleuringcondities:
  • Hoge intensiteit leidde het vaakst tot de beste prestaties (127 van de 306 modellen).
  • Lage intensiteit en hoge kleurgelijkheid (zeer vergelijkbare tinten) veroorzaakten vaak een lichte daling in prestaties.
  • Er was echter geen universele trend; sommige modellen presteerden juist beter onder specifieke afwijkende condities.
• Top-modellen: Een selectie van 10 modellen (hoge prestatie >0.90 AUC en hoge robuustheid <0.03 bereik) toonde aan dat UNI2-h+ABMIL modellen de meest stabiele prestaties leverden.

Bijdragen en Significatie

• Nieuw Evaluatieprotocol: Het artikel biedt een gestructureerd, drie-staps protocol dat de robuustheid van CPath-modellen kwantificeert onder gedefinieerde, reproduceerbare kleuringcondities, in plaats van te vertrouwen op generieke augmentatie of onduidelijke image-based referenties.
• Open Data en Code: De auteurs hebben een openbare referentiebibliotheek (PLISM-stain references) en de code voor evaluatie beschikbaar gesteld via HuggingFace en GitHub. Ook de getrainde modellen en de geëxtraheerde kleureigenschappen van de SurGen-dataset zijn publiek toegankelijk.
• Klinische Implicatie:
  • Het protocol ondersteunt data-gedreven kwaliteitscontrole door operationele bereiken voor betrouwbare modelimplementatie te identificeren.
  • Het benadrukt dat zowel het kleuringprotocol als de scannerkeuze cruciaal zijn voor de digitale uitstraling van slides.
  • Het biedt een "stress-test" tool voor ontwikkelaars en klinische implementatoren om te bepalen welke modellen geschikt zijn voor hun specifieke laboratoriumomgeving.
• Toekomstperspectief: De studie pleit voor standaardisatie van referentiebibliotheken over instellingen heen en voor het uitbreiden van robuustheidsevaluaties naar andere taken en modaliteiten (zoals IHC).

Kortom, dit werk verschuift de focus van het "trainen voor robuustheid" naar het "systematisch meten van robuustheid", wat essentieel is voor de veilige en betrouwbare implementatie van AI in de pathologie.