ARCH3D: A foundation model for global genome architecture

Dit paper introduceert ARCH3D, een fundamenteel model dat door middel van een nieuwe gemaskeerde locus-modelleringstak de globale driedimensionale genoomarchitectuur leert begrijpen en zo de basis legt voor het bouwen van een virtueel genoom.

De kern

🧬 ARCH3D: De "Google Maps" voor je DNA

Stel je je DNA voor als een gigantische, ingewikkelde stad. Normaal gesproken kijken wetenschappers alleen naar de straatnamen (de letters A, C, T, G in je DNA) of naar de gebouwen (de genen die actief zijn). Maar ze vergeten vaak de stedenplanning: hoe de straten met elkaar verbonden zijn, welke wijken dicht bij elkaar liggen en welke gebouwen in dezelfde buurt wonen, zelfs als ze kilometers uit elkaar lijken te liggen.

Deze "stedenplanning" heet genoomarchitectuur. Het is cruciaal voor het begrijpen van hoe een cel werkt, maar het is ook ontzettend moeilijk om in kaart te brengen.

ARCH3D is een nieuwe kunstmatige intelligentie (een "foundation model") die precies dat doet: het leert de 3D-stadsplanning van je hele genoom begrijpen.

🧩 Het probleem: De "Puzzel" is te groot

Om te zien hoe je DNA in elkaar zit, gebruiken wetenschappers een techniek genaamd Hi-C. Dit is alsof je een foto maakt van alle straten die elkaar raken in je DNA-stad. Het probleem is dat deze foto's vaak erg ruisig en onvolledig zijn.

• Het is alsof je probeert een grote puzzel te maken, maar 99% van de stukjes mist.
• Bestaande modellen (zoals HiCFoundation) kijken alleen naar een klein stukje van de puzzel (bijvoorbeeld een blok van 10 straten). Ze kunnen goed zien hoe die 10 straten eruitzien, maar ze weten niets over de rest van de stad. Ze kunnen niet voorspellen of een straat in het noorden contact heeft met een straat in het zuiden.

🚀 De oplossing: ARCH3D

ARCH3D is anders. In plaats van alleen naar een klein stukje te kijken, kijkt het naar locaties verspreid over de hele stad.

De Analogie van de "Willekeurige Buurman":
Stel je voor dat je een model traint om te begrijpen hoe mensen in een stad wonen.

• Oude modellen vragen: "Wie woont er direct naast de bakker?" (Korte afstand, weinig context).
• ARCH3D vraagt: "Wie woont er in de buurt van de bakker, wie woont bij de school, en wie woont bij het ziekenhuis? En wie heeft contact met wie?"

ARCH3D pakt willekeurige plekken uit het hele genoom en leert hoe ze met elkaar verbonden zijn. Het gebruikt een slimme truc: het verbergt soms de antwoorden (de contacten) en vraagt de AI om ze te raden op basis van de rest van de stad. Door dit miljoenen keren te doen, leert de AI de onderliggende structuur van het hele genoom.

🌟 Wat kan ARCH3D nu doen?

1. Het ziet de "Stadsdelen" (Chromosoomterritoria)
Wanneer ARCH3D zijn kennis in een kaart zet, zie je dat locaties op hetzelfde chromosoom (dezelfde "wijk") dichter bij elkaar zitten in de digitale ruimte dan locaties op verschillende chromosomen. Dit is precies hoe het DNA zich ook in de echte celkern gedraagt. De AI heeft de fysieke structuur "begrepen".

2. Het vult de gaten in (Resolutie-verhoging)
Dit is misschien wel het coolste deel. Als je een Hi-C-experiment hebt met heel weinig data (bijvoorbeeld slechts 1% van de informatie), kunnen oude modellen niets doen.

• ARCH3D kan echter de ontbrekende stukjes invullen. Omdat het de "stedenplanning" van het hele genoom kent, kan het zeggen: "Ah, hoewel we hier geen data hebben, weten we dat deze wijk normaal gesproken contact heeft met die andere wijk."
• Het kan zelfs contacten tussen verschillende chromosomen voorspellen, iets waar andere modellen volledig op vastlopen.

3. Het ziet de "Groepsdynamiek" (Multi-way interacties)
Soms werken niet twee, maar drie of vier stukjes DNA samen om een gen aan te zetten. Dit is heel moeilijk te zien met standaard Hi-C-data.

• ARCH3D kan deze complexe groepen (zogenaamde "hyperedges") voorspellen, zelfs als de data erg onvolledig is. Het is alsof het model kan voorspellen: "Deze drie mensen zitten samen aan een tafel, ook al zie je ze niet allemaal tegelijk in de foto."

🏗️ Waarom is dit belangrijk?

De auteurs noemen dit een stap naar een "Virtueel Genoom".
Stel je voor dat je een computermodel hebt dat precies weet hoe je DNA is opgebouwd. Dan kun je in de computer simuleren wat er gebeurt als je een bepaalde "straat" verandert of een "gebouw" sloopt.

• Dit zou artsen kunnen helpen om beter te begrijpen waarom ziektes ontstaan.
• Het zou kunnen helpen bij het ontwerpen van nieuwe medicijnen of therapieën om cellen te "reprogrammeren" (bijvoorbeeld om een zieke cel gezond te maken).

Samenvatting in één zin

ARCH3D is een slimme AI die niet alleen naar de letters van je DNA kijkt, maar de hele 3D-structuur van je genoom begrijpt, waardoor het zelfs de ontbrekende stukjes van de puzzel kan invullen en complexe interacties kan voorspellen die voorheen onzichtbaar waren.

Technische samenvatting

Probleemstelling

Bestaande biologische foundation modellen (zoals Evo2, Geneformer en AlphaGenome) hebben aanzienlijke vooruitgang geboekt in het modelleren van DNA-sequenties, RNA-expressie en eiwitten. Deze modellen profiteren vaak van transformer-architecturen die de contextvensters vergroten om meer contextuele informatie te vangen. Echter, genoomarchitectuur (de 3D-organisatie van chromosomen in de kern) is onderbelicht gebleven.

De huidige aanpakken voor het analyseren van Hi-C-data (die chromosomale interacties meet) hebben twee belangrijke beperkingen:

1. Patch-based benaderingen: Modellen zoals HiCFoundation gebruiken kleine submatrijzen (patches) van de Hi-C kaart als input. Dit beperkt het contextvenster tot een lokaal gebied (bijv. 1,12 Mb) en negeert interacties met de rest van het genoom.
2. Locus-based benaderingen: Bestaande modellen gebruiken weliswaar rijen uit de Hi-C-matrix, maar zijn beperkt tot intrachromosomale blokken, lage resolutie (vaak 1 Mb) en zeer korte contextvensters (slechts enkele loci).

Dit maakt het moeilijk om langeafstandsinteracties en interchromosomale relaties (interacties tussen verschillende chromosomen) te modelleren, die cruciaal zijn voor processen zoals genregulatie en cel-fate bepaling.

Methodologie: ARCH3D

ARCH3D is een foundation model ontworpen om globale representaties van het genoom te genereren op basis van Hi-C-data. De kern van de methode bestaat uit de volgende componenten:

1. Data Voorbereiding en Tokenisatie

• Corpus: Het model is getraind op 481 Hi-C experimenten van 31 menselijke weefsels (bronnen: 4DNucleome en ENCODE), genormaliseerd op een resolutie van 5 kb.
• Locus-level Tokenisatie: In plaats van patches, tokeniseert ARCH3D het genoom op basis van loci (genomische segmenten) van variabele lengte (van 5 kb tot 1 Mb).
• Input Sequences: Een inputsequentie bestaat uit 1.024 willekeurig geselecteerde loci uit het hele genoom (niet noodzakelijk aangrenzend). Dit maximaliseert de informatie-inhoud en vermindert redundantie, aangezien aangrenzende loci vaak vergelijkbare contactprofielen hebben.
• Positieve Encoding: Omdat de volgorde van de input-loci willekeurig is, wordt een biologisch geïnspireerde positieve encoding gebruikt die bestaat uit:
  • Een leerbare vector voor het chromosoom.
  • Een sinusvormige encoding voor de base-paar posities (begin en einde van het locus).
    Dit zorgt ervoor dat het model de globale genomische positie begrijpt, ongeacht de volgorde in de inputsequentie.

2. Architectuur

• Backbone: Een Transformer-encoder (gebaseerd op BERT-large) met 24 lagen, een verborgen dimensie van 1.024 en 16 attention-heads.
• Masked Locus Modeling (MLM): Een nieuwe pre-training taak. In een inputsequentie van 1.024 loci worden 200 willekeurig geselecteerde loci gemaskeerd (vervangen door een [MASK] token).
• Doel: Het model moet de pixelwaarden (contactfrequentie) voorspellen voor elke paarcombinatie van loci in de sequentie (zowel gemaskeerd als niet-gemaskeerd). Dit dwingt het model om de globale conformatie van een locus te leren op basis van zijn interacties met loci over het hele genoom.

3. Fine-tuning en Toepassingen

• Resolutieverbetering (Resolution Enhancement): Het model wordt fijngefineerd om contactkaarten te reconstrueren vanuit extreem schaarse data (downsampled tot 1% of 10% van de oorspronkelijke reads).
• Hyperedge Predictie: Het model wordt gebruikt om hogere-orde interacties (multi-way contacts, zoals 3- of 4-weg hubs) te voorspellen op basis van paarsgewijze Hi-C-data, wat normaal gesproken alleen met Pore-C data mogelijk is.

Belangrijkste Resultaten

1. Behoud van Ruimtelijke Structuur:

   • De embedding-ruimte van ARCH3D weerspiegelt de fysieke organisatie van de kern. Loci van hetzelfde chromosoom clusteren dichter bij elkaar dan loci van verschillende chromosomen (chromosoomterritoria).
   • De afstand tussen embeddings correleert met het differentiatieniveau van de cel: minder gedifferentieerde cellen (zoals H1-hESC) hebben dichter bij elkaar liggende embeddings dan meer gedifferentieerde cellen (zoals IMR-90), wat overeenkomt met de afname van interchromosomale contacten tijdens differentiatie.

2. Voorspelling onder Extreme Schaarsheid:

   • ARCH3D kan interchromosomale contacten nauwkeurig reconstrueren zelfs wanneer de inputdata tot 0,42% niet-nul pixels is gereduceerd (extreem schaars).
   • In tegenstelling tot patch-based modellen (zoals HiCFoundation) die faalen buiten hun kleine inputvenster, kan ARCH3D interacties voorspellen over het hele contactkaart, inclusief langeafstands- en interchromosomale interacties.
   • Trade-off: ARCH3D mist iets in de fijne details langs de diagonaal (intra-chromosomaal) vergeleken met HiCFoundation, maar wint aanzienlijk in het vermogen om langeafstandsrelaties te modelleren.

3. Identificatie van Hogere-Orde Structuren:

   • ARCH3D slaagt erin om multi-way interacties (hyperedges) te voorspellen die afkomstig zijn van Pore-C data, puur op basis van Hi-C input.
   • De model presteert aanzienlijk beter dan de state-of-the-art methoden (MATCHA en statistische multi-correlatiemethoden).
   • AUROC scores: ARCH3D bereikte een gemiddelde AUROC van 0,930 over drie cel lijnen, vergeleken met 0,787 voor de beste multi-correlatiemethode en 0,551 voor MATCHA.

Bijdragen en Significantie

• Eerste Foundation Model voor Genoomarchitectuur: ARCH3D vult een cruciale leemte in het ecosysteem van biologische foundation modellen door zich te richten op de 3D-structuur van het genoom in plaats van alleen sequentie of expressie.
• Globaal Contextvenster: Door gebruik te maken van willekeurig geselecteerde loci uit het hele genoom in plaats van lokale patches, overwint ARCH3D de beperkingen van bestaande Hi-C-modellen en maakt het het modelleren van langeafstandsinteracties mogelijk.
• Multimodale Integratie: Omdat ARCH3D embeddings op locus-niveau genereert, kunnen deze direct worden gealigneerd met embeddings van DNA-sequentie- en scRNA-seq-modellen. Dit opent de weg voor multimodale modellen die genoomstructuur en genexpressie gezamenlijk analyseren.
• Toekomstvisie (Virtual Genome): De auteurs schetsen een visie op een "virtueel genoom", een AI-model dat genoomgedrag en dynamiek kan simuleren. ARCH3D vormt hierin de structurele basis, die in combinatie met transcriptomische modellen kan leiden tot in silico experimenten voor celreprogrammering en versnelde biologische ontdekkingen.

Kortom, ARCH3D bewijst dat foundation modellen, wanneer ze worden getraind op globale contactprofielen in plaats van lokale patches, een dieper inzicht kunnen bieden in de complexe, driedimensionale organisatie van het genoom.