CHAMMI-75: Pre-training multi-channel models with heterogeneous microscopy images

Probleemstelling

Het kwantificeren van celmorfologie met behulp van beeldverwerking en machine learning is een krachtige tool in de biologie. Echter, de huidige modellen worden meestal getraind op één specifiek type microscopiebeeld met een vast aantal kanalen (bijvoorbeeld 3 of 5). Dit leidt tot gespecialiseerde modellen die niet herbruikbaar zijn voor andere biologische studies omdat de technische specificaties (zoals het aantal kanalen of het type microscopie) niet overeenkomen. Bestaande foundation-modellen voor cellulaire imaging zijn vaak klein, proof-of-concept experimenten, of ze missen de noodzakelijke schaal en diversiteit om universele kennis over celbiologie te accumuleren. Er is een gebrek aan gestandaardiseerde, goed gecurateerde datasets om multi-channel modellen op grote schaal te testen.

Methodologie

1. CHAMMI-75 Dataset
De kern van dit werk is de creatie van CHAMMI-75, een open-access dataset bestaande uit 2,79 miljoen velden van zicht (FoV) afkomstig van 75 verschillende biologische studies.

• Heterogeniteit: De dataset bevat beelden van 16 organismen, 223 cellijnen, en 25 verschillende kanaalconfiguraties.
• Bronnen: Data is verzameld van 18 verschillende hostingplatforms (zoals IDR, Zenodo, BioImage Archive, HPA, RxRx, JUMP-CP).
• Cureringsproces: Het proces omvatte drie fasen:
  1. Data-acquisitie: Downloaden en standaardiseren van ruwe data (TIFF/OME naar PNG).
  2. Metadata-integratie: Het verzamelen van 22 metadata-velden (organism, celtype, microscopietype, vergroting, reagentia, etc.) met behulp van LLM's en handmatige validatie.
  3. Data-cureratie: Strategisch bemonsteren om redundantie te minimaliseren en informatieve beelden te selecteren. Technieken omvatten:
     • 3D-stack bemonstering (selecteren van centrale z-plannen).
     • Temporele bemonstering (selecteren van even verdeelde frames uit tijdreeksen).
     • Control-based bemonstering (balanceren van controle- en behandelingsstalen).
     • K-means clustering op intensiteit-histogrammen om visuele diversiteit te garanderen.
• Annotaties: Er zijn 1,8 miljard enkel-cel coördinaten gegenereerd met Cellpose om crops te maken die zichtbare cellen bevatten, waardoor lege gebieden worden vermeden.

2. Model Architectuur en Training
De auteurs onderzochten twee strategieën voor multi-channel verwerking:

• Bag of Channels (BoC): Het model leert op één kanaal tegelijk en concateneert de features later.
• Multi-Channel Attention (MCA): Kanalen worden ontvouwen tot een lange sequentie om cross-kanaal associaties te modelleren.

Voor het pre-training gebruikten ze Self-Supervised Learning (SSL) algoritmen (SimCLR, MAE, DINO). Het beste model, genaamd MorphEm, is een ViT-small model dat is getraind met de DINO-algoritme op het volledige CHAMMI-75 dataset (BoC-strategie).

3. Evaluatie Benchmarks
Om de prestaties te testen, werden zes benchmarks gebruikt, waaronder bestaande en nieuwe datasets:

• CHAMMI: Generalisatie over verschillende kanaalconfiguraties (3, 4, 5 kanalen).
• IDR-0017: Chemisch-genetische interactie (hit-detectie).
• HPAv23: Proteïne lokalisatie classificatie.
• JUMP-CP1: Fenotypische activiteit en consistentie van chemicaliën.
• CellPHIE: Een nieuwe benchmark met 14 kanalen (novel kanaalcombinatie) voor Huntington's ziekte.
• RBC-MC: Cross-domein generalisatie (Zwitserse vs. Canadese bloedbanken) voor rode bloedcellen classificatie (single-channel brightfield).

Belangrijkste Bijdragen

1. CHAMMI-75 Dataset: De grootste multi-channel microscopie dataset tot nu toe, met ongeëvenaarde technische en biologische variatie (25 kanaaltypes, 75 bronnen).
2. Nieuwe Benchmarks: Introductie van drie nieuwe benchmarks (IDR0017, CellPHIE, RBC-MC) die realistische, complexe scenario's testen, waaronder 14-kanalen beelden en cross-domein generalisatie.
3. Systematische Evaluatie: Een uitgebreide analyse van factoren die representation learning beïnvloeden (diversiteit van modus, vergroting, celtype, kanaalnummer).
4. MorphEm Model: Een state-of-the-art pre-trained model dat gratis beschikbaar is en uitblinkt in diverse biologische taken zonder fijnafstelling (fine-tuning).
5. Open Science: De data, code en modellen zijn publiek beschikbaar gesteld via GitHub, AWS en Hugging Face.

Resultaten

• Superieure Generalisatie: Het MorphEm model (getraind op CHAMMI-75) behaalde de beste prestaties in 6 van de 7 prestatie-metrics op de benchmarks, vaak presterend boven gespecialiseerde modellen zoals SubCell en andere SSL-modellen.
• Kanaal- en Domein Generalisatie: MorphEm presteerde aanzienlijk beter dan gespecialiseerde modellen in uitdagende scenario's:
  • +13% verbetering op de CellPHIE benchmark (14 kanalen).
  • +15% verbetering op de RBC-MC benchmark (cross-domein, brightfield).
• Impact van Diversiteit: Ablatie-studies toonden aan dat heterogeniteit en diversiteit in microscopie-modi de belangrijkste drijvers zijn voor robuuste prestaties.
  • Modellen getraind op alleen de twee dominante modi (fluorescentie en epi-fluorescentie) presteerden 13% slechter dan modellen getraind op de bredere set van 12 andere modi.
  • Heterogene data leidde tot een 38% betere prestatie vergeleken met modellen getraind op gespecialiseerde, homogene data.
• Schalingsanalyse: Self-supervised modellen benaderen de prestaties van gespecialiseerde, gesuperviseerde modellen naarmate de dataset- en modelgrootte toenemen. De BoC-strategie bleek schaalbaarder en efficiënter dan MCA in SSL-regimes, hoewel MCA cross-kanaal correlaties probeert te modelleren.

Betekenis en Conclusie

Dit werk markeert een paradigmaverschuiving in de microscopie-beeldanalyse. CHAMMI-75 bewijst dat foundation-modellen voor celbiologie niet afhankelijk hoeven te zijn van specifieke kanaalconfiguraties of microscopie-technologieën. Door te pre-trainen op een extreem heterogene dataset, kunnen modellen leren om biologische signalen te disentanglelen van technische variatie (zoals batch-effecten en verschillende microscopie-instellingen).

De resultaten tonen aan dat diversiteit in trainingdata essentieel is voor het creëren van modellen die robuust zijn en goed generaliseren naar nieuwe, onbekende experimentele opstellingen. Dit opent de weg voor de volgende generatie "universele" cellulaire morfologie-modellen die direct toepasbaar zijn in diverse laboratoria zonder de noodzaak van complexe aanpassingen per experiment. De beschikbaarheid van MorphEm en de dataset versnelt het onderzoek naar foundation-modellen voor bioimaging aanzienlijk.