iSight: Towards expert-AI co-assessment for improved immunohistochemistry staining interpretation

Technische Samenvatting: iSight en HPA10M voor Expert–AI Co-assessiment in Immunohistochemie

Probleemstelling
Immunohistochemie (IHC) is een hoeksteen van de diagnostische pathologie en biomedisch onderzoek, waarbij ruimtelijk opgeloste moleculaire informatie wordt geleverd die essentieel is voor tumorkarakterisering, ziekteclassificatie en therapeutische stratificatie. Ondanks de cruciale rol blijft de interpretatie van IHC arbeidsintensief, subjectief en inconsistent reproduceerbaar tussen instellingen. Hoewel AI-modellen getraind op met Hematoxyline en Eosine (H&E) gekleurde coupes veelbelovend zijn, wordt hun toepasbaarheid op IHC beperkt door domeinspecifieke uitdagingen:

1. Kleurvariabiliteit: IHC vertoont substantiële variaties in kleurprofielen als gevolg van verschillende chromogenen, tegenkleuringen en protocollen.
2. Complexe Interpretatie: In tegenstelling tot H&E, waarbij morfologie primair is, vereist IHC een gelijktijdige beoordeling van de morfologische context en specifieke lokalisatiepatronen van de kleuring.
3. Metadata-integratie: IHC-datasets bevatten rijke gestructureerde metadata (bijv. verwachte eiwitlokalisatie, weefseltype) die vaak ontbreken in H&E-datasets; integratie hiervan zou de modelprestaties aanzienlijk kunnen verbeteren.
4. Datascarciteit: Er is een gebrek aan grootschalige, gestructureerde en geharmoniseerde IHC-datasets die geschikt zijn voor het trainen van foundation models.

Methodologie
De auteurs pakken deze hiaten aan via twee primaire bijdragen: de curatie van een enorme dataset en de ontwikkeling van een gespecialiseerd multi-task learning framework.

1. De HPA10M Dataset
De auteurs hebben HPA10M geconstrueerd, een grootschalige dataset bestaande uit 10.495.672 IHC-afbeeldingen afkomstig van de Human Protein Atlas (HPA) versie 23.0.

• Curatie: De dataset is getransformeerd van ongestructureerde webbronnen naar een voor machine learning bruikbaar formaat. Dit omvatte custom web scraping, harmonisatie van 20 jaar aan geaccumuleerde XML-metadata en strikte kwaliteitscontrole door gecertificeerde pathologen.
• Annotaties: Afbeeldingen zijn geannoteerd met gestandaardiseerde ontologieën (Uberon voor anatomie, SNOMED CT voor diagnoses, UniProt/Ensembl voor targets). De metadata bevatten patiëntdemografie, weefselbron en kleuringseigenschappen.
• Omvang: De dataset beslaat 45 normale weefseltypen en 20 belangrijke kankertypen, met meer dan 17.200 eiwitbiomarkers.
• Structuur: Afbeeldingen zijn gekoppeld aan unieke MD5-hashes voor traceerbaarheid, en de dataset is opgesplitst in een trainingsset (~10,5M afbeeldingen) en een apart gehouden testset (2.000 afbeeldingen).

2. De iSight Modelarchitectuur
iSight (Immunohistochemical Staining Insight with Hybrid Transformers) is een multi-task learning framework ontworpen om visuele kenmerken te integreren met gestructureerde metadata.

• Tissue Encoding Module: Whole-slide afbeeldingen worden verdeeld in patches van 336×336 pixels. Een Vision Transformer (CLIP-ViT-large-patch14-336) extraheert token-embeddings. In plaats van aggregatie binnen patches, concateneert het model alle tokens en past een gated attention mechanisme toe om een gewogen weefselniveau-representatie te creëren, waardoor het model zich kan concentreren op diagnostisch relevante gebieden terwijl de globale context behouden blijft.
• Context Encoding Module: Metadata (weefseltype, SNOMED-codes, antilichaam/gen-informatie) wordt verwerkt via een CLIP text encoder. Tijdens de training worden tekstcaptions geconcateneerd met metadata om een multimodale input te creëren; tijdens de inferentie wordt alleen celtype-informatie gebruikt om data leakage te voorkomen.
• Multi-Task Learning: Het model maakt gebruik van parallelle classificatiekoppen om gelijktijdig te voorspellen:
  • Primaire Taken: Kleuringsintensiteit (4 klassen), Kleuringslocatie (4 klassen) en Kleuringshoeveelheid (4 klassen).
  • Auxiliaire Taken: Weefseltype (58 klassen) en Maligniteitstatus (2 klassen).
• Training: Het model werd end-to-end getraind met de Adam optimizer voor één epoch op de HPA10M trainingsset.

Belangrijkste Resultaten
1. Prestaties op de Held-Out Data
Op de 2.000-afbeeldingen tellende held-out HPA testset presteerde iSight beter dan gefinetuned pathologie foundation models (PLIP en CONCH) op alle primaire taken:

• Kleuringslocatie: 85,5% nauwkeurigheid (vs. 79,4% voor PLIP en 73,2% voor CONCH).
• Kleuringsintensiteit: 76,6% nauwkeurigheid (vs. 73,0% voor PLIP en 70,0% voor CONCH).
• Kleuringshoeveelheid: 75,7% nauwkeurigheid (vs. 73,2% voor PLIP en 70,1% voor CONCH).
• Auxiliaire Taken: iSight behaalde 95,7% nauwkeurigheid voor weefseltype en 99,9% voor maligniteitstatus.
• Ordinale Prestaties: Voor intensiteit en hoeveelheid behaalde iSight een hoge "within-one-rank" nauwkeurigheid (respectievelijk 96,6% en 94,3%) en lage "beyond-one-rank" foutpercentages, wat aangeeft dat fouten meestal kleine afwijkingen waren in plaats van ernstige misclassificaties.
• Kalibratie: Het model vertoonde goed gekalibreerde voorspellingen met lage Expected Calibration Errors (ECE) variërend van 0,0150 tot 0,0408.
• Robuustheid: iSight behield een stabiele prestatie onder synthetische beeldcorrupties (random cutout en salt-and-pepper ruis), waarbij minimale degradatie in nauwkeurigheid werd getoond.

2. Patholoog Gebruikersstudie
Een gebruikersstudie met acht pathologen (variërend van assistenten tot specialisten) evalueerde 200 afbeeldingen uit de HPA en Stanford TMAD datasets.

• Verbetering van Nauwkeurigheid: De nauwkeurigheid van pathologen op de HPA-dataset (met ground truth) verbeterde na ontvangst van AI-suggesties: Locatie (68% → 70%), Intensiteit (57% → 60%) en Hoeveelheid (52% → 56%). iSight alleen presteerde beter dan zowel de initiële als de AI-ondersteunde scores van pathologen.
• Inter-rater Overeenstemming: AI-assistentie verbeterde de consensus tussen pathologen. Cohen's κ steeg van 0,63 naar 0,70 op de HPA-dataset en van 0,74 naar 0,76 op de Stanford TMAD-dataset.
• AI Invloed: Wanneer pathologen aanvankelijk niet eens waren met de AI, namen zij de AI-suggestie over in 34,3% van de gevallen bij locatie-oneensgezindheid, 28,0% bij intensiteit-oneensgezindheid en 21,3% bij hoeveelheid-oneensgezindheid op de HPA-dataset.

Significantie en Claims
Het artikel stelt dat dit werk de basis legt voor AI-systemen die in staat zijn de diagnostische nauwkeurigheid en consistentie van IHC te verbeteren. Belangrijke bijdragen zijn:

• HPA10M: De eerste grootschalige, systematisch gecureerde IHC-dataset, die foundation-scale learning van IHC-specifieke patronen mogelijk maakt, wat voorheen werd belemmerd door het gebrek aan gestructureerde data.
• iSight: Een demonstratie dat taakspecifieke architecturale innovaties (multi-task learning met metadata-integratie) generieke pathologie foundation models die zijn aangepast van H&E-analyse kunnen overtreffen.
• Mens-AI Samenwerking: De studie levert empirisch bewijs dat AI kan dienen als een beslissingsondersteunend instrument dat de diagnostische consistentie en inter-waarnemer overeenstemming verbetert zonder de deskundige oordeelsvorming te vervangen. De auteurs merken op dat hoewel AI-assistentie de prestaties van pathologen verbeterde, het de kloof met de standalone prestaties van de AI niet volledig heeft gedicht, wat suggereert dat cognitieve factoren (bijv. verankering aan initiële oordelen) de adoptie van AI-begeleiding beïnvloeden.

De auteurs positioneren iSight als een stap naar klinisch inzetbare systemen die de expertise van pathologen versterken, met een modulair ontwerp dat adaptatie aan nieuwe biomarkers en workflows mogelijk maakt. Zij erkennen beperkingen, waaronder de noodzaak voor validatie door meerdere instituten, de afwezigheid van gepaarde H&E-afbeeldingen in de huidige dataset, en het feit dat referentielabels van HPA mogelijk geen absolute gouden standaard vertegenwoordigen.