CLADES - Contrastive Learning Augmented DifferEntial Splicing with Orthologous Positive Pairs

Het paper introduceert CLADES, een methode die contrastief leren met evolutionaire orthologen gebruikt om representaties te leren die de voorspelling en interpretatie van alternatief splicing in verschillende biologische contexten verbeteren.

De kern

Wat is het probleem?

Stel je voor dat je DNA een gigantisch kookboek is. In dit boek staan recepten (genen) om eiwitten te maken. Maar het boek is niet statisch; het is meer zoals een slimme kookapp. Afhankelijk van de situatie (bijvoorbeeld: "ik ben een hartcel" of "ik ben een hersencel"), kiest de app een ander recept uit hetzelfde boek.

Soms wordt een bepaald ingrediënt (een stukje DNA genaamd een exon) wel gebruikt, en soms niet. Dit proces heet alternatieve splicing. Als dit proces fout gaat, kan dat leiden tot ziektes.

Het probleem voor wetenschappers is dat het heel moeilijk is om te voorspellen wanneer een ingrediënt wel of niet gebruikt wordt. Er zijn te weinig "proefrecepten" (data) voor elke specifieke celtype, en de experimenten die we doen om dit te meten, zijn vaak rommelig en onnauwkeurig.

De oplossing: CLADES (De "Tijdreis-Kookboeken")

De onderzoekers hebben een nieuwe manier bedacht om dit te leren, genaamd CLADES. In plaats van alleen te kijken naar de huidige menselijke kookboeken, kijken ze naar evolutie.

Stel je voor dat je niet alleen het recept van vandaag hebt, maar ook de recepten van je grootouders, overgrootouders en zelfs je verre neven (andere diersoorten) die duizenden jaren geleden leefden.

• De Kernidee: Als een bepaald ingrediënt (een stukje DNA) al miljoenen jaren door verschillende soorten (mensen, apen, muizen) wordt gebruikt op dezelfde manier, dan is dat ingrediënt waarschijnlijk heel belangrijk en stabiel. De "regels" om dit ingrediënt te kiezen, zijn in de loop van de tijd behouden gebleven, ook al is de tekst eromheen iets veranderd.
• De Analogie: Het is alsof je een taal probeert te leren. Als je ziet dat het woord voor "liefde" in het Engels, Spaans en Frans bijna hetzelfde klinkt en dezelfde betekenis heeft, begrijp je dat het een fundamenteel concept is. CLADES doet precies dit met DNA: het vergelijkt dezelfde stukjes DNA bij verschillende soorten om de "ware betekenis" (de regel) te vinden, zonder dat het zich laat afleiden door ruis in de data.

Hoe werkt het? (De "Tweeling-Test")

Het systeem gebruikt een slimme truc die contrastief leren heet.

1. De Tweeling: Het systeem pakt een stukje DNA van een mens en zoekt het "tweelingstukje" op bij een aap of een muis. Omdat ze evolutionair verwant zijn, gedragen deze twee stukjes zich waarschijnlijk hetzelfde. Het systeem leert: "Ah, deze twee horen bij elkaar!"
2. De vreemdeling: Vervolgens pakt het systeem een willekeurig ander stukje DNA dat niets met de eerste te maken heeft. Het systeem leert: "Deze horen echt niet bij elkaar!"

Door dit duizenden keren te doen, leert de computer een soort intern kompas. Het leert welke patronen in het DNA belangrijk zijn voor het regelen van de recepten, ongeacht of het om een mens of een muis gaat. Het negeert de "rommel" (experimentele fouten) en focust op de echte regels.

Wat levert dit op?

Nadat de computer dit "intern kompas" heeft ontwikkeld, kunnen ze het gebruiken om nieuwe dingen te voorspellen:

• Voorspellen van veranderingen: Kunnen we voorspellen of een bepaald recept in een hersencel anders wordt gebruikt dan in een levercel? Ja, en CLADES doet dit beter dan eerdere modellen.
• Kleine datasets: Omdat het systeem de regels uit de evolutie heeft geleerd, heeft het minder "proefrecepten" nodig om goed te werken. Het werkt zelfs goed bij celtypen waar we weinig data over hebben.
• Betere interpretatie: Het systeem kan niet alleen zeggen "dit verandert", maar ook waarom. Het kijkt naar de specifieke letters in het DNA die als "stopborden" of "groene lichten" fungeren voor de cel.

Samenvatting in één zin

CLADES is een slimme computer die leert hoe cellen hun recepten kiezen door te kijken naar de evolutionaire geschiedenis van DNA, waardoor het beter kan voorspellen wat er in onze cellen gebeurt dan modellen die alleen naar de huidige mens kijken.

Het is alsof je een taal niet leert door alleen naar één boek te staren, maar door de geschiedenis van die taal te bestuderen, zodat je de onderliggende logica snapt die door de tijd heen niet verandert.

Technische samenvatting

Probleemstelling

Alternatieve splicing (AS) is een cruciaal mechanisme dat de diversiteit van transcripten en eiwitten in verschillende biologische contexten (zoals cellen en weefsels) bepaalt. Hoewel RNA-sequencing het kwantificeren van splicing mogelijk maakt (uitgedrukt als $\psi$, het percentage ingesloten exon), is het voorspellen van de verandering in splicing ($\Delta\psi$) tussen verschillende biologische staten (bijv. verschillende weefsels of ziektecondities) een grote uitdaging.

De huidige beperkingen zijn:

1. Beperkte labels: Er is een tekort aan gelabelde data over weefsels en celtypen.
2. Experimentele variabiliteit: Ruisonderdrukking door experimentele protocollen (bijv. GC-inhoud bias) maakt het moeilijk om robuuste modellen te trainen.
3. Complexiteit: De regulatie van splicing wordt bepaald door complexe, niet-lineaire afhankelijkheden tussen korte motieven, RNA-bindende eiwitten (RBPs) en positionele context, die moeilijk met handgemaakte kenmerken te vangen zijn.
4. Generalisatie: Bestaande modellen presteren goed bij het voorspellen van absolute $\psi$, maar falen vaak bij het voorspellen van $\Delta\psi$ tussen weefsels zonder specifieke supervisie voor elk weefsel.

Methodologie: CLADES

De auteurs introduceren CLADES (Contrastive Learning Augmented DifferEntial Splicing), een framework dat gebruikmaakt van evolutionaire conservatie als een krachtige vorm van data-augmentatie.

1. Kernconcept: Orthologe Positieve Paren (OPP)
In plaats van traditionele data-augmentatie (zoals ruis toevoegen aan sequenties), behandelt CLADES orthologe exon-intron junctions (dezelfde exon in verschillende diersoorten) als semantisch consistente "weergaven" van hetzelfde regulerende programma.

• Hypothese: Hoewel de nucleotidesequentie kan variëren door mutaties, behoudt de evolutie de functionele regulerende eigenschappen (stabiliserende selectie).
• Implementatie: Orthologe sequenties worden behandeld als positieve paren in een contrastief leerdoel, terwijl niet-homologe sequenties als negatieve paren dienen.

2. Architectuur en Training

• Pre-training (Zelftoezicht):
  • Input: 300 bp intronische sequentie en 100 bp exonische sequentie (5' en 3' van de exon).
  • Encoder: Een parallelle CNN-Spline architectuur (gebaseerd op MTSplice) die context-afhankelijke motieven vastlegt.
  • Doel: Supervised Contrastive Loss ($L_{sup}$). De embeddings van orthologe paren worden dicht bij elkaar gebracht, terwijl embeddings van niet-verwachte exons uit elkaar worden geduwd.
  • Dataset: Gebruik van het Multiz100way alignment (vertebraten) voor pre-training, waarbij datalekken worden voorkomen door ASCOT-testdata uit te sluiten.
• Fine-tuning (Supervised):
  • Een lichtgewicht supervised hoofd (head) wordt toegevoegd om $\Delta\psi$ te voorspellen.
  • Doel: Minimaliseren van de Kullback-Leibler (KL) divergentie tussen voorspelde en waargenomen $\psi$-waarden.
  • Datasets: ASCOT (56 menselijke weefsels) en Tabula Sapiens (112 menselijke celtypen).

3. Interpretatie en Classificatie
Om biologische betekenis toe te voegen, wordt $\Delta\psi$ niet alleen als regressie, maar ook als classificatie-probleem geformuleerd:

• TSRC (Tissue-Specific Regulation Classification): Classificeert of een exon up-regulated, down-regulated of onveranderd is.
• ELRC (Exon-Level Regulation Classification): Classificeert regulatiepatronen voor sterk versus zwak ingesloten exons.

Belangrijkste Bijdragen

1. Evolutie als Augmentatie: Het introduceren van een contrastief leerframework dat evolutionaire conservatie gebruikt om robuuste representaties te leren zonder afhankelijk te zijn van dure, weefsel-specifieke labels.
2. Generalisatie: Het framework leert algemene regulerende principes die direct toepasbaar zijn op nieuwe weefsels en celtypen met minimale fine-tuning.
3. Interpreteerbaarheid: Het framework levert embeddings die biologisch zinvol zijn (bijv. clustering op basis van inclusie-niveau en weefsel-specifieke patronen) en identificeert bekende splice-site motieven (AG/GT) via saliency-maps.
4. Nieuwe Evaluatiemethoden: De introductie van TSRC en ELRC taken om de richting van verandering (up/down) in plaats van alleen de grootte te evalueren.

Resultaten

De prestaties van CLADES werden geëvalueerd tegen de state-of-the-art (SOTA) model MTSplice.

• Weefsel-specifiek (ASCOT Dataset):
  • CLADES overtreft MTSplice consistent in het voorspellen van $\Delta\psi$ (gemeten met Spearman correlatie $\rho$) over bijna alle 56 weefsels.
  • Vooral sterk in weefsels met weinig data (low-sample settings), wat aantoont dat het model beter generaliseert.
  • Verbetering in regressie: +16% in correlatie en 0.7% reductie in RMSE ten opzichte van SOTA.
  • Verbetering in classificatie: Hoge AUPRC/AUROC voor het onderscheiden van up- vs. down-regulatie.
• Cel-specifiek (Tabula Sapiens Dataset):
  • CLADES toont robuuste prestaties over 112 celtypen.
  • In groepen met veel data presteert CLADES significant beter dan de baseline (zonder contrastief pre-training).
  • Verbetering in het detecteren van differentiatie in zowel hoog- als laag-geëxprimeerde exons (ELRC taak).
• Biologische Validatie:
  • UMAP-projecties tonen dat orthologe exons dicht bij elkaar clusteren.
  • Saliency-analyse bevestigt dat het model zich richt op biologisch relevante splice-site dinucleotiden (AG en GT) en conservatieve motieven.

Betekenis en Conclusie

CLADES demonstreert dat evolutie als een versterkingsstrategie een effectieve en biologisch onderbouwde route is om context-opgeloste splicing te voorspellen. Door te vertrouwen op de conservatie van regulerende programma's in plaats van op specifieke experimentele labels, creëert het model representaties die:

1. Minder gevoelig zijn voor ruis en protocol-bias.
2. Direct overdraagbaar zijn naar nieuwe biologische contexten.
3. De onderliggende cis-regulerende logica van splicing effectief decoderen.

Dit werk opent de weg voor de ontwikkeling van fundamentele modellen voor splicing-regulatie die kunnen voorspellen hoe splicing verandert onder verschillende omstandigheden, perturbaties en evolutionaire afstanden, zonder dat er voor elke nieuwe conditie grote datasets nodig zijn.