ChromBERT: Uncovering Chromatin State Motifs in the Human Genome Using a BERT-based Approach

Dit artikel introduceert ChromBERT, een op BERT gebaseerd model dat is getraind op chromatinestatussamenstellingen uit 127 menselijke celtypen om betekenisvolle motieven te ontdekken en deze te gebruiken voor het voorspellen van genexpressie en het classificeren van celtypen en driedimensionale genomische kenmerken.

De kern

Stel je voor dat het menselijk lichaam een enorme bibliotheek is, en dat elk celtype (zoals een hersencel, een huidcel of een bloedcel) een eigen specifieke versie van deze bibliotheek heeft. In deze bibliotheek staan de instructies voor alles wat de cel moet doen. Maar hoe weet een cel welke boeken hij moet lezen en welke hij moet negeren?

Het antwoord ligt in de chromatine. Chromatine is als het "verpakkingsmateriaal" van je DNA. Soms is het DNA strak opgerold (dichtgeknepen, dus niet leesbaar), en soms is het losjes uitgerold (makkelijk leesbaar). Deze verpakking wordt bepaald door chemische "postzegels" op het DNA, genaamd histon-modificaties.

De onderzoekers van dit paper, ChromBERT, hebben een slimme manier bedacht om deze complexe verpakking te lezen en te begrijpen. Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Het Vertalen van een Geheimtaal

Stel je voor dat de chromatine-toestand van je DNA een lange reeks cijfers is (bijvoorbeeld: 1, 5, 3, 12...). Voor een computer is dit lastig te begrijpen. De onderzoekers hebben deze cijfers omgezet in letters van A tot O.

• A staat voor "Actief Startpunt" (hier wordt veel gelezen).
• M staat voor "Polycomb-onderdrukt" (hier is het stil, alsof het boek dichtgeplakt is).
• O staat voor "Rustig/Geen signaal".

Nu hebben ze een lange tekst van letters, net als een verhaal in een boek.

2. ChromBERT: De Superlezer

Ze hebben een kunstmatige intelligentie gebouwd die ChromBERT heet. Dit is gebaseerd op een model dat oorspronkelijk is gemaakt om menselijke taal te begrijpen (zoals BERT, dat je misschien kent van slimme zoekmachines).

• Hoe werkt het? Net zoals een mens leest om te begrijpen wat een zin betekent, leest ChromBERT deze reeks letters (A, B, C...) om te begrijpen wat er in die stukjes DNA gebeurt.
• De training: Ze hebben ChromBERT laten "lezen" van miljoenen pagina's uit de bibliotheek van 127 verschillende menselijke weefsels (van bloed tot hersenen). Hierdoor heeft de AI geleerd wat een "normale" zin is en wat een "belangrijke" zin is in de genetica.

3. Het Vinden van "Woordgroepen" (Motieven)

In een taal zoeken we naar zinnen die vaak terugkomen, zoals "Goedemorgen" of "Tot ziens". In het DNA zoeken biologen naar patronen die vaak terugkomen en een specifieke functie hebben.

• Het probleem: Soms is zo'n patroon net iets langer of net iets korter, of de letters staan in een andere volgorde, maar het betekent toch hetzelfde.
• De oplossing: ChromBERT gebruikt een slimme techniek genaamd Dynamic Time Warping (DTW). Denk hierbij aan het vergelijken van twee liedjes die hetzelfde zijn, maar waarbij één zanger iets sneller zingt dan de ander. DTW kan zien dat het liedje hetzelfde is, ondanks de snelheidsverschillen. Zo kan ChromBERT patronen vinden die er net anders uitzien, maar dezelfde betekenis hebben.

4. Wat hebben ze ontdekt?

Met deze nieuwe "leesbril" hebben ze een paar fascinerende dingen ontdekt:

• Voorspellen van activiteit: Als ChromBERT naar het gebied rondom een gen kijkt, kan hij met hoge nauwkeurigheid voorspellen of dat gen actief is (veel wordt gelezen) of stil (niets wordt gelezen). Het ziet de "verpakking" en zegt: "Ah, dit gen staat open, dus het werkt!"
• Het verschil tussen cellen: De AI kan zien of een cel een stamcel is of een volwassen cel, puur door te kijken naar de patronen in de chromatine. Ze vonden bijvoorbeeld een specifiek patroon (een reeks letters met veel 'J's) dat alleen voorkomt in stamcellen. Dit is als een uniek logo dat alleen op de uniformen van stamcellen staat.
• De 3D-structuur: DNA is niet alleen een lange streng; het is opgerold in een complexe 3D-vorm in de celkern. ChromBERT kon zien dat bepaalde patronen in de chromatine correleren met hoe het DNA in 3D is gevouwen. Het is alsof je door naar de verpakking te kijken, kunt zien hoe het pakketje in de doos is gestapeld.

Waarom is dit belangrijk?

Vroeger keken wetenschappers vaak naar losse stukjes DNA. ChromBERT kijkt naar het gehele verhaal. Het begrijpt dat de volgorde en de combinatie van de "verpakking" net zo belangrijk zijn als de letters zelf.

Samenvattend:
ChromBERT is als een slimme vertaler die de complexe, chemische taal van je DNA-omhulsel omzet in begrijpelijke zinnen. Hierdoor kunnen we beter begrijpen waarom een hartcel anders werkt dan een hersencel, en hoe we misschien in de toekomst ziektes kunnen opsporen die te maken hebben met een verkeerde "verpakking" van ons DNA. Het is een nieuwe manier om de instructiehandleiding van het leven te lezen.

Technische samenvatting

Probleemstelling

Chromatinezaken, gedefinieerd door specifieke combinaties van histon-modificaties, zijn fundamenteel voor genregulatie en cellulaire identiteit. Hoewel er grote databases zijn (zoals ROADMAP en ENCODE) die chromatinezaken annoteren, blijven de complexe patronen binnen deze sequenties grotendeels onontdekt. Bestaande methoden voor het identificeren van "motieven" (herhalende sequenties met biologische betekenis) zijn vaak beperkt tot DNA-sequenties (k-mers) of vereenvoudigde samenvattingen.
De uitdagingen zijn:

1. Variabele lengte: Chromatinezaken kunnen variëren in lengte en structuur door biologische variabiliteit (bijv. grootte van regulatorische domeinen) en technische variabiliteit (bijv. ruis in ChIP-seq data).
2. Dynamiek: Patronen zijn celtype-specifiek en dynamisch, wat traditionele, starre alignement-methoden minder effectief maakt.
3. Gebrek aan referentiebibliotheken: In tegenstelling tot DNA-motieven, bestaan er geen uitgebreide bibliotheken voor chromatinezaken-motieven.

Het doel van deze studie is het ontwikkelen van een model dat in staat is om deze dynamische, variabele patronen te leren en te vertalen naar biologisch betekenisvolle motieven.

Methodologie: ChromBERT

De auteurs introduceren ChromBERT, een model gebaseerd op de BERT-architectuur (Bidirectional Encoder Representations from Transformers), specifiek ontworpen voor chromatinezaken-sequenties.

1. Data Voorbereiding en Tokenisatie:

• Data: Gebruik van 15-staat chromatinezaken annotaties van 127 menselijke cel- en weefseltypen uit het ROADMAP-consortium (hg19, 200bp intervallen).
• Conversie: Numerieke labels (1-15) worden omgezet naar alfabetische codes (A-O).
• Tokenisatie: De sequenties worden getokeniseerd in 4-mers (overlappende reeksen van 4 karakters) met een stapgrootte (stride) van 1. Dit resulteert in een vocabulaire van 50.630 tokens. De keuze voor 4-mers is een compromis tussen het vastleggen van complexe patronen en het beheersen van de vocabulairegrootte (5-mers en 6-mers zijn computationally te zwaar).

2. Pre-training:

• Het model wordt voorgeëxtraheerd met een Masked Language Modeling (MLM) doelstelling (voorspellen van gemaskeerde tokens).
• Twee scenario's werden getest: pre-training op promotorregio's (2kb upstream tot 4kb downstream van TSS) en hele genoom data. Het hele-genoom model werd gebruikt voor de meeste downstream taken.
• De perplexiteit daalde tijdens het trainen, wat aantoont dat het model de structuur van chromatinezaken succesvol leert.

3. Fine-tuning voor Downstream Taken:
Het model wordt aangepast voor diverse taken:

• Genexpressie Voorspelling: Binair (hoog vs. laag) en kwantitatief (regressie voor RPKM-waarden).
• Celtype Classificatie: Onderscheid tussen celgroepen (bijv. ESC vs. T-cellen) op basis van Cis-Regulatory Module (CRM) regio's.
• 3D Genoom Classificatie: Onderscheid tussen A/B compartimenten en TAD-grenzen (Topologically Associating Domains) op basis van Hi-C data.

4. Motief Ontdekking en Clustering (DTW):
Dit is een cruciale innovatie. Omdat chromatinezaken variabele lengtes hebben, kan standaard sequentie-alignement niet worden gebruikt.

• Attention Extraction: Het model extrahert regio's met hoge "attention" scores na fine-tuning als kandidaat-motieven.
• Dynamic Time Warping (DTW): Om variaties in lengte en tempo te compenseren, wordt DTW gebruikt om vergelijkbare motieven uit te lijnen. Dit is een algoritme oorspronkelijk ontwikkeld voor spraakherkenning.
• Clustering: Agglomeratieve clustering wordt toegepast op de DTW-scores om motieven in biologisch betekenisvolle families te groeperen.

Belangrijkste Bijdragen

1. Eerste BERT-model voor Chromatinezaken: ChromBERT is specifiek ontworpen om sequentiedependenties in epigenomische annotaties te leren, in plaats van in ruwe DNA-sequenties.
2. Integratie van DTW: Het introduceren van Dynamic Time Warping voor het clusteren van chromatinezaken-motieven lost het probleem van variabele lengte op, wat essentieel is voor biologische interpretatie.
3. Schaalbaarheid: Het model is getraind op een enorme dataset (127 celtypen) en kan worden uitgebreid met data van het IHEC-consortium (18 staten).
4. Interpreteerbaarheid: Door attention-mechanismen en DTW-clustering kunnen specifieke, biologisch relevante patronen worden geïdentificeerd die direct gekoppeld kunnen worden aan genregulatie.

Resultaten

• Genexpressie Classificatie: ChromBERT onderscheidt hoog- en laag-expressie genen met hoge nauwkeurigheid (F1-score > 0.8 in veel configuraties). Het model leert dat uitgestrekte regio's (tot ~190kb upstream en 100kb downstream) cruciale informatie bevatten.
• Kwantitatieve Voorspelling: Voor regressie werd een Pearson-correlatie van 0.791 bereikt tussen voorspelde en waargenomen log(RPKM)-waarden, wat aantoont dat chromatinezaken-sequenties voldoende informatie bevatten voor kwantitatieve voorspelling.
• Celtype Classificatie: Het model kan celgroepen onderscheiden op basis van hun chromatinezaken-sigaturen. Bijvoorbeeld, ESC's (Embryonale Stamcellen) en iPSC's zijn moeilijk te onderscheiden (hoge overeenkomst), terwijl ESC's en T-cellen duidelijk verschillen.
  • Motiefontdekking: Het model identificeerde motieven met de staat "J" (bivalent/poised TSS) als specifiek voor pluripotente cellen, wat biologisch consistent is met de literatuur.
• 3D Genoom Structuur:
  • A/B Compartimenten: ChromBERT kan deze met hoge nauwkeurigheid voorspellen, wat een sterke correlatie aangeeft tussen chromatinezaken en 3D-organisatie.
  • TAD-grenzen: De voorspelling was minder nauwkeurig (F1 < 0.7), wat waarschijnlijk te wijten is aan de complexiteit, de kleine hoeveelheid trainingsdata voor grenzen, en het feit dat TAD-grenzen gemengde chromatinezaken kunnen bevatten.
• Attention Analyse: Het model focust sterk op de promotor-proximale regio's (rond de TSS) voor expressie-voorspelling, maar gebruikt ook contextuele informatie uit distale regio's.

Significantie

ChromBERT biedt een nieuw raamwerk voor het decoderen van de "epigenomische taal". Het bewijst dat chromatinezaken-annotaties, vaak gezien als samenvattingen van ruwe data, op zichzelf rijke sequentiële patronen bevatten die voorspellende kracht hebben voor complexe biologische uitkomsten (genexpressie, celidentiteit, 3D-structuur).

De combinatie van Transformer-architecturen (voor het leren van lange-afstand afhankelijkheden) en Dynamic Time Warping (voor het hanteren van biologische variabiliteit in lengte) stelt onderzoekers in staat om specifieke regulatorische motieven te ontdekken die eerder onzichtbaar waren. Dit kan leiden tot een beter begrip van hoe epigenetische modificaties samenwerken om genexpressie te sturen in verschillende celtypen en ontwikkelingsstadia. De code en voorgeëxtraheerde weights zijn openbaar beschikbaar, wat de reproduceerbaarheid en verdere toepassing in de gemeenschap bevordert.