A comprehensive benchmark of publicly available image foundation models for their usability to predict gene expression from whole slide images

Deze studie toont aan dat door histopathologie gespecialiseerde foundation-modellen, met name Phikon, beter presteren dan algemene visuele modellen bij het voorspellen van genexpressie uit hele slides van weefselmonsters.

De kern

De Digitale Patholoog: Hoe AI uit Microscopische Foto's Genen Leest

Stel je voor dat je een gigantische, ingewikkelde puzzel hebt. De puzzelstukjes zijn niet van karton, maar van miljoenen kleine foto's van menselijk weefsel, gemaakt onder een microscoop. Deze foto's heten "Whole Slide Images" (WSI). Normaal gesproken kijken artsen naar deze foto's om te zien of er kankercellen zijn. Maar wat als je deze foto's kon gebruiken om te voorspellen welke genen in die cellen aan het werk zijn? Dat is precies wat dit onderzoek doet.

Hier is een simpele uitleg van wat de auteurs hebben gedaan, vertaald naar alledaags taal:

1. Het Probleem: De Vertaalmachine

In de medische wereld hebben we twee soorten informatie:

• De foto's: Wat we zien onder de microscoop (de vorm van de cellen).
• De genen: De chemische instructies in de cel (wat er echt gebeurt, maar dat we niet kunnen zien).

De vraag was: Kunnen we een computer leren om van de foto alleen al te raden welke genen actief zijn? Het is alsof je probeert te raden wat iemand aan het eten is, puur door naar de resten op zijn bord te kijken, zonder dat je de persoon zelf ziet.

2. De Kandidaten: De "Super-Leraren"

De onderzoekers hebben vijf verschillende, zeer slimme kunstmatige intelligenties (AI-modellen) getest. Je kunt deze zien als vijf verschillende leraren die een test moeten doen. Ze hebben allemaal geleerd om beelden te begrijpen, maar op verschillende manieren:

• De Algemene Leraar (DINOv2): Deze heeft geleerd van miljoenen gewone foto's van de wereld (honden, auto's, bloemen). Hij is slim, maar hij heeft nooit een medische foto gezien.
• De Medische Specialisten (Phikon, UNI, H-Optimus-0): Deze hebben geleerd van miljoenen foto's van menselijk weefsel. Ze kennen de "taal" van de cellen al heel goed.
• De Taal- en Beeldmix (MedSigLIP): Deze heeft geleerd van medische foto's en de tekst die erbij hoort.

3. De Test: De Koffiebar

Stel je voor dat deze AI's in een koffiezaak werken.

• De klant (de patiënt) komt binnen met een bord (de microscopische foto).
• De koffiebar (de AI) moet op basis van de foto raden welke specifieke ingrediënten (genen) in de koffie zitten.
• De echte recept (de RNA-seq data) ligt al op tafel om te controleren of de gok goed was.

De onderzoekers lieten alle vijf de "koffiebar-medewerkers" hun best doen voor bijna 1.000 verschillende patiënten.

4. De Resultaten: Wie is de Beste?

Het resultaat was verrassend duidelijk, net zoals je zou verwachten:

• De Specialist wint: De modellen die gespecialiseerd zijn in medische foto's (Phikon, UNI en H-Optimus) waren veruit de besten. Ze konden de genen het nauwkeurigst voorspellen.
  • Analogie: Het is alsof je een chef-kok vraagt om een gerecht te beschrijven. Een kok die elke dag in de keuken staat (Phikon) beschrijft de smaak veel beter dan iemand die alleen maar naar foto's van eten heeft gekeken (DINOv2).
• De Algemene Leraar zakt: Het model dat alleen gewone foto's had geleerd (DINOv2) deed het het slechtst. Het kon de subtiele verschillen in de cellen niet goed zien.
• De Winnaar: Phikon was de absolute kampioen. Het zag de verbanden tussen de vorm van de cellen en de genen het scherpst.

5. Waarom is dit belangrijk?

Vroeger moesten artsen dure en tijdrovende laboratoriumtests doen om te zien welke genen actief waren. Als deze AI's (zoals Phikon) goed genoeg zijn, kunnen ze in de toekomst misschien al veel informatie geven alleen maar door naar de standaard microscopische foto te kijken.

Dit betekent dat we sneller en goedkoper kunnen begrijpen hoe een tumor werkt, gewoon door naar de "foto" te kijken in plaats van eerst de "chemie" te testen.

Kortom:
De onderzoekers hebben bewezen dat je voor medische taken de beste resultaten krijgt met AI die specifiek is getraind op medische beelden. Een "algemene slimme computer" is goed, maar een "medische slimme computer" is de echte winnaar als het gaat om het lezen van de geheimen van onze cellen.

Technische samenvatting

Technische Samenvatting: Benchmark van Beeld-Foundatiemodellen voor Genexpressie-voorspelling

Probleemstelling
De digitalisering van histopathologische dia's naar gigapixel-grootte Whole Slide Images (WSI's) heeft de diagnostische pathologie getransformeerd naar een computationele discipline. Hoewel diepe leermodellen morphologische representaties kunnen extraheren die correleren met moleculaire fenotypes (zoals genexpressie), ontbreekt het aan systematische benchmarking van openbare image foundation models voor transcriptomische voorspelling. Bestaande modellen variëren van algemeen visuele modellen tot domeinspecifieke modellen, maar het is onduidelijk welke architectuur en vooropleiding (pretraining) het meest geschikt zijn om subtiele, morphologie-gebonden transcriptomische variatie te detecteren.

Methodologie
De auteurs voerden een uitgebreide evaluatie uit van vijf state-of-the-art visuele foundation modellen op het voorspellen van genexpressie uit H&E-gekleurde WSI's.

1. Dataset:

   • Gebruikt werd de TCGA-BRCA cohort (Breast Invasive Carcinoma) van The Cancer Genome Atlas.
   • De dataset bevat gekoppelde WSI's en bulk RNA-seq profielen.
   • Na kwaliteitscontrole bleven 987 patiënten over met complete data.
   • RNA-seq data werd genormaliseerd (FPKM-UQ, log-transformatie, min-max normalisatie) om slide-level supervisie-signalen te creëren voor ongeveer 60.000 genen per monster.

2. Geëvalueerde Foundation Models:
   De studie vergeleek modellen met verschillende vooropleidingsparadigma's:

   • DINOv2: Algemeen zelftoezichtend model, voorgetraind op natuurlijke afbeeldingen.
   • Phikon: Pathologie-specifiek model (DINO-gebaseerd), voorgetraind op pan-kanker histologie.
   • UNI: Groot pathologie-model, voorgetraind op >100 miljoen histologie-patches.
   • H-Optimus-0: Een ViT-g model met miljarden parameters, gespecialiseerd in histopathologie.
   • MedSigLIP: Een medisch vision-language model (multimodaal).

3. Voorspellingsframework:

   • WSI's werden opgedeeld in tiles (tegels).
   • Voor elk model werden bevroren tile-embeddings geëxtraheerd.
   • Een Attention-based Multiple Instance Learning (MIL) framework aggregateerde deze tile-embeddings tot slide-level representaties.
   • Een volledig verbonden regressie-head voorspelde continue genexpressiewaarden via multi-target regressie.
   • De optimalisatie minimaliseerde de voorspellingsfout tussen de voorspelde en de waargenomen RNA-seq waarden.

4. Evaluatiemetrics:

   • De prestaties werden gemeten aan de hand van de Spearman-correlatie (ρ) op gen-niveau tussen voorspelde en werkelijke expressiewaarden.
   • Analysemethoden omvatten: verdelingsvergelijkingen, Empirische Cumulatieve Distributiefuncties (ECDF), rang-gebaseerde correlatiecurven en drempelgebaseerde samenvattingen (aandeel genen met ρ > 0.3 en ρ > 0.5).

Belangrijkste Resultaten
De resultaten tonen een duidelijke hiërarchie in prestaties, waarbij domeinspecifieke modellen over het algemeen superieur zijn aan algemene visuele modellen:

• Prestatiehiërarchie: Phikon > UNI ≈ H-Optimus-0 > MedSigLIP > DINOv2.
• Phikon: Bereikte de hoogste mediane correlatie met een compacte interkwartielafstand, wat wijst op zowel sterke centrale tendens als stabiliteit over de genen heen. Het had het hoogste percentage genen met een significante correlatie (ρ > 0.3 en ρ > 0.5).
• UNI en H-Optimus-0: Toonden concurrerende prestaties met hoge mediane correlaties, maar met een iets bredere spreiding dan Phikon.
• MedSigLIP: Toonde gemiddelde prestaties.
• DINOv2: Toonde de laagste mediane correlatie en de breedste spreiding, wat wijst op minder consistente voorspellingscapaciteit voor genexpressie. De ECDF-curve was duidelijk naar links verschoven, wat aangeeft dat dit model minder geschikt is voor deze specifieke taak.
• Verdelingsanalyse: Histogrammen toonden aan dat Phikon een dichte massa had bij hogere correlatiewaarden (0.5–0.7), terwijl DINOv2 een links-ge skewde verdeling had met een aanzienlijke massa onder de 0.3.

Bijdragen en Betekenis

• Systematische Benchmark: Dit artikel biedt een van de eerste uitgebreide benchmarks van openbare foundation modellen specifiek voor transcriptomische inferentie uit histologie.
• Domein-Alignering: De studie bevestigt dat vooropleiding op histopathologische data (domein-specifiek) de prestaties aanzienlijk verbetert ten opzichte van modellen die zijn getraind op natuurlijke afbeeldingen. Dit ondersteunt het idee dat morfologische patronen in H&E-dia's (zoals proliferatie, immuunactivatie en stromale herschikking) visueel gecodeerde informatie bevatten die direct correleert met genexpressie.
• Praktische Richtlijnen: De bevindingen bieden een principieel kader voor de selectie van foundation modellen in de computationele pathologie. Voor moleculaire inferentietaken wordt geadviseerd om domein-specifieke encoders (zoals Phikon) te gebruiken in plaats van algemene visuele modellen.
• Toekomstperspectief: De resultaten onderstrepen dat schaal alleen niet voldoende is; de relevantie van het domein (inductieve bias) is cruciaal voor succesvolle transfer learning in de biomedische beeldanalyse.

Conclusie
Domein-gealigneerde foundation modellen, met name Phikon, tonen een superieure vermogen om morphologie naar transcriptoom te vertalen. Dit benadrukt het belang van gespecialiseerde vooropleiding voor moleculaire diagnostische taken en biedt een solide basis voor de toekomstige ontwikkeling van AI-gedreven pathologie.