Biological Reasoning-Informed Regression for Interpretable Regulatory DNA Activity Prediction

Technische Samenvatting: Biologisch Redenerings-geïnformeerde Regressie voor Interpreteerbare Voorspelling van Regulatoire DNA-activiteit

Probleemstelling
Het voorspellen van de regulatoire activiteit van cis-regulatoire elementen (CRE's), zoals enhancers, vanuit DNA-sequenties is een cruciale taak voor metabole engineering, gepersonaliseerde geneeskunde en landbouw. Hoewel deep learning-modellen (bijv. Enformer) succes hebben behaald door end-to-end mapping te leren van sequentie naar activiteit, opereren zij als black boxes. Dit gebrek aan interpreteerbaarheid maakt hen kwetsbaar voor "reward hacking" wanneer ze worden gebruikt als beloningsmodellen voor sequentieoptimalisatie, en beperkt het vertrouwen van biologen. Daarentegen blinken Large Language Models (LLMs) uit in stapsgewijze redenering (Chain-of-Thought), maar falen ze wanneer ze direct worden toegepast op ruwe DNA-sequenties ("ACGT...") vanwege een representatie-mismatch; ze kunnen niet inherent biologisch betekenisvolle kenmerken zoals transcriptiefactor-bindingsplaatsen (TFBS's) of de regulatoire grammatica extraheren uit ongestructureerde nucleotidenstrings.

Methodologie: Het R3LM-framework
De auteurs stellen R3LM (Reasoning Regression Reward Language Model) voor, een framework dat ontworpen is om de kloof tussen de LLM-redeneercapaciteiten en biologische sequentieanalyse te overbruggen via een tweestaps trainingspipeline.

1. Regulatory Context Card (RCC):
   Om de representatie-mismatch aan te pakken, introduceren de auteurs RCC, een gestructureerd inputformaat dat ruwe DNA-sequenties compileert tot interpreteerbare, biologisch gefundeerde representaties. In plaats van ruwe nucleotiden te voeden, transformeert de RCC een sequentie $S$ en context $c$ (bijv. celtype) in een deterministisch schema dat de volgende elementen bevat:

   • Motiefbewijs ($M$): TFBS's geïdentificeerd via scanning tegen JASPAR-databases (familie, score, positie, streng).
   • Sequentiestatistieken ($G$): Globale priors zoals GC-gehalte.
   • Grammatica-tags ($T$): Hogere-orde heuristieken afgeleid van motiefconfiguraties (bijv. afstand, co-occurrence).
   • Context: Expliciete experimentele condities.
     Deze transformatie stelt LLM's in staat om de regulatoire logica te "lezen" in plaats van willekeurige strings.

2. CRE-ReasonBench Dataset:
   De auteurs construeren de eerste dataset die DNA-sequenties koppelt aan mechanistische redeneringssporen. Met behulp van een frontier LLM (Claude Sonnet 4.5) synthetiseren zij stapsgewijze rationales die uitleggen hoe specifieke motiefconfiguraties, afstand en cellulaire context de activiteitsniveaus bepalen. Elke sample bevat een RCC-prompt, een gestructureerd redeneringsspoor (CoT) en een discreet activiteitsniveau (0–3).

3. Tweestaps Trainingsstrategie:
   Om gradiëntconflicten en geheugenproblemen bij de gezamenlijke optimalisatie van generatie en regressie te vermijden, hanteert R3LM een ontkoppelde tweestaps aanpak:

   • Fase 1 (Reasoning Generator): Een Chain-of-Thought generator ($g_\theta$) wordt getraind om mechanistische rationales en een discreet activiteitsniveau ($\ell$) te produceren op basis van de RCC-prompt. Het model wordt geoptimaliseerd met een standaard taalmodellering-loss.
   • Fase 2 (Reason-Conditioned Regressor): Een regressor ($f_\Theta$) wordt getraind om de continue activiteitsscore ($y$) te voorspellen. De input bestaat uit de RCC-prompt geconcateneerd met de zelfgegenereerde rationale uit Fase 1 (exclusief de uiteindelijke discrete conclusie). Het model extraheert een verborgen toestand op een ankerpositie en projecteert deze naar een continue score met behulp van Mean Squared Error (MSE) loss. Cruciaal is dat de regressor wordt getraind op zelfgegenereerde rationales (gefilterd op enkel syntactische validiteit) om de training af te stemmen op de inferentie-tijd distributie, wat de "oracle gap" voorkomt.

Belangrijkste Bijdragen

• RCC: Een gestandaardiseerd, programmatisch schema dat ruw DNA transformeert naar gestructureerde, controleerbare biologische bewijslast toegankelijk voor LLM's.
• CRE-ReasonBench: De eerste dataset die DNA-sequenties en activiteitsscores koppelt aan expliciete, stapsgewijze mechanistische redeneringssporen.
• R3LM Framework: Een tweestaps trainingspipeline die LLM's in staat stelt om redenerings-geïnformeerde regressie uit te voeren, waarbij state-of-the-art prestaties worden behaald terwijl interpreteerbare verklaringen worden geboden.
• Empirische Validatie: Demonstratie dat biologisch redenerings-geïnformeerde LLM's gespecialiseerde black-box modellen (zoals Enformer) en raw-sequence LLM's overtreffen in drie celtypen (HepG2, K562, SK-N-SH).

Resultaten

• Regressieprestaties: R3LM bereikt state-of-the-art Pearson correlatie ($\rho$) en de laagste RMSE op enhancer-voorspellingstaken. Bijvoorbeeld, op het K562 celtype behaalde R3LM (Generated-CoT) een $\rho = 0,8246$, waarmee het Enformer ($\rho = 0,7990$) en raw-sequence LLM's ($\rho = 0,3919$) overtreft.
• Interpreteerbaarheid: Het model levert mechanistische rationales die gegrond zijn in RCC-bewijs (motieven, grammatica, GC-gehalte). Ablatie-studies bevestigen dat de regressor afhankelijk is van deze rationales; het husselen van de rationale-tekst tijdens de testtijd zorgt voor een instorting van de prestaties (van $\rho = 0,8246$ naar $0,0198$), wat bewijst dat het redeneringsspoor een informatieve intermediaire factor is.
• Kwaliteit van Redenering: De Fase 1 generator bereikt een hoge syntactische validiteit (~97–99%) en een redelijke nauwkeurigheid in het voorspellen van discrete activiteitsniveaus (Acc@1 $\approx$ 78–81%), ook al is de exacte niveauvoorspelling imperfect. De regressor blijft robuust ondanks deze imperfecties.

Betekenis en Claims
Het artikel claimt dat R3LM de fundamentele beperking van huidige CRE-voorspellingsmodellen aanpakt: de trade-off tussen prestaties en interpreteerbaarheid. Door LLM's te leren redeneren over gestructureerde biologische kennis in plaats van ruwe sequenties, dient het framework als een interpreteerbaar beloningsmodel. Dit stelt biologen niet alleen in staat om een voorspelde activiteitsscore te ontvangen, maar ook om de mechanistische bewijslast (bijv. specifieke TF-binding en afstand-logica) te inspecteren die die voorspelling ondersteunt. De auteurs positioneren R3LM als een hulpmiddel bij het ontwerp van op maat gemaakte CRE's, waarbij een transparant alternatief wordt geboden voor black-box neurale netwerken met behoud van competitieve voorspellende nauwkeurigheid. Het werk benadrukt dat de gegenereerde rationales "gegrond en controleerbaar" proxies zijn gebaseerd op programmatisch bewijs, en geen claims maken over het ontdekken van nieuwe grondwaarheid causale mechanismen.