Biological Reasoning-Informed Regression for Interpretable Regulatory DNA Activity Prediction

Resumen Técnico: Regresión Informada por Razonamiento Biológico para la Predicción Interpretable de la Actividad de ADN Regulatorio

Planteamiento del Problema
Predecir la actividad regulatoria de los elementos cis-regulatorios (CRE), como los potenciadores (enhancers), a partir de secuencias de ADN es una tarea crítica para la ingeniería metabólica, la medicina personalizada y la agricultura. Si bien los modelos de aprendizaje profundo (por ejemplo, Enformer) han logrado el éxito al aprender mapeos de extremo a extremo de la secuencia a la actividad, operan como cajas negras. Esta falta de interpretabilidad los hace vulnerables al "ataque de recompensa" (reward hacking) cuando se utilizan como modelos de recompensa para la optimización de secuencias, y limita la confianza de los biólogos. Por el contrario, los Modelos de Lenguaje de Gran Escala (LLMs) sobresalen en el razonamiento paso a paso (Cadena de Pensamiento o Chain-of-Thought), pero fallan cuando se aplican directamente a secuencias de ADN crudas ("ACGT...") debido a un desajuste de representación; no pueden extraer inherentemente características biológicamente significativas como sitios de unión de factores de transcripción (TFBS) o gramática regulatoria a partir de cadenas de nucleótidos no estructuradas.

Metodología: El Marco R3LM
Los autores proponen R3LM (Reasoning Regression Reward Language Model), un marco diseñado para cerrar la brecha entre las capacidades de razonamiento de los LLM y el análisis de secuencias biológicas a través de un pipeline de entrenamiento de dos etapas.

1. Tarjeta de Contexto Regulatorio (RCC):
   Para abordar el desajuste de representación, los autores introducen la RCC, un formato de entrada estructurado que compila secuencias de ADN crudas en representaciones interpretables y biológicamente fundamentadas. En lugar de alimentar nucleótidos crudos, la RCC transforma una secuencia $S$ y un contexto $c$ (por ejemplo, tipo de célula) en un esquema determinista que contiene:

   • Evidencia de Motivos ($M$): TFBSs identificados mediante el escaneo contra bases de datos JASPAR (familia, puntuación, posición, cadena).
   • Estadísticas de la Secuencia ($G$): Priores globales como el contenido de GC.
   • Etiquetas de Gramática ($T$): Heurísticas de alto nivel derivadas de los arreglos de motivos (por ejemplo, espaciamiento, coocurrencia).
   • Contexto: Condiciones experimentales explícitas.
     Esta transformación permite que los LLM "lean" la lógica regulatoria en lugar de cadenas arbitrarias.

2. Conjunto de Datos CRE-ReasonBench:
   Los autores construyen el primer conjunto de datos que empareja secuencias de ADN con trazas de razonamiento mecanístico. Utilizando un LLM de frontera (Claude Sonnet 4.5), sintetizan razonamientos paso a paso que explican cómo configuraciones específicas de motivos, el espaciamiento y el contexto celular determinan los niveles de actividad. Cada muestra incluye un prompt de RCC, una traza de razonamiento estructurada (CoT) y una etiqueta de nivel de actividad discreta (0–3).

3. Estrategia de Entrenamiento de Dos Etapas:
   Para evitar conflictos de gradiente y problemas de memoria asociados con la optimización conjunta de generación y regresión, R3LM emplea un enfoque desacoplado de dos etapas:

   • Etapa 1 (Generador de Razonamiento): Un generador de Cadena de Pensamiento ($g_\theta$) es entrenado para producir razonamientos mecanísticos y un nivel de actividad discreto ($\ell$) basado en el prompt de la RCC. El modelo se optimiza utilizando la pérdida estándar de modelado de lenguaje.
   • Etapa 2 (Regresor Condicionado por el Razonamiento): Un regresor ($f_\Theta$) es entrenado para predecir la puntuación de actividad continua ($y$). La entrada consiste en el prompt de la RCC concatenado con el razonamiento autogenerado de la Etapa 1 (excluyendo la conclusión discreta final). El modelo extrae un estado oculto en una posición de anclaje y lo proyecta a una puntuación continua usando la pérdida de Error Cuadrático Medio (MSE). Crucialmente, el regresor es entrenado con razonamientos autogenerados (filtrados solo por validez sintáctica) para alinear el entrenamiento con la distribución en tiempo de inferencia, evitando la "brecha del oráculo".

Contribuciones Clave

• RCC: Un esquema programático estandarizado que transforma el ADN crudo en evidencia biológica estructurada y auditable accesible para los LLM.
• CRE-ReasonBench: El primer conjunto de datos que vincula secuencias de ADN y puntuaciones de actividad con trazas de razonamiento mecanístico explícitas paso a paso.
• Marco R3LM: Un pipeline de entrenamiento de dos etapas que permite a los LLM realizar regresión informada por el razonamiento, logrando un rendimiento de vanguardia y proporcionando explicaciones interpretables.
• Validación Empírica: Demostración de que los LLM informados por el razonamiento biológico superan a los modelos especializados de caja negra (como Enformer) y a los LLM de secuencias crudas en tres tipos de células (HepG2, K562, SK-N-SH).

Resultados

• Rendimiento de Regresión: R3LM logra la correlación de Pearson ($\rho$) de vanguardia y el menor RMSE en tareas de predicción de potenciadores. Por ejemplo, en el tipo de célula K562, R3LM (Generated-CoT) alcanzó $\rho = 0.8246$, superando a Enformer ($\rho = 0.7990$) y a los LLM de secuencias crudas ($\rho = 0.3919$).
• Interpretabilidad: El modelo proporciona razonamientos mecanísticos fundamentados en la evidencia de la RCC (motivos, gramática, contenido de GC). Los estudios de ablación confirman que el regresor depende de estos razonamientos; barajar el texto del razonamiento en el tiempo de prueba provoca que el rendimiento colapse (de $\rho = 0.8246$ a $0.0198$), demostrando que la traza de razonamiento es un factor intermedio informativo.
• Calidad del Razonamiento: El generador de la Etapa 1 logra una alta validez sintáctica (~97–99%) y una precisión razonable en la predicción de niveles discretos (Acc@1 $\approx$ 78–81%), a pesar de que la predicción del nivel exacto es imperfecta. El regresor permanece robusto a pesar de estas imperfecciones.

Significancia y Reivindicaciones
El artículo afirma que R3LM aborda la limitación fundamental de los modelos actuales de predicción de CRE: el compromiso entre rendimiento e interpretabilidad. Al enseñar a los LLM a razonar sobre el conocimiento biológico estructurado en lugar de secuencias crudas, el marco sirve como un modelo de recompensa interpretable. Esto permite a los biólogos no solo recibir una puntuación de actividad predicha, sino también inspeccionar la evidencia mecanística (por ejemplo, la lógica específica de unión de TF y el espaciamiento) que respalda esa predicción. Los autores posicionan a R3LM como una herramienta para asistir en el diseño de CREs a medida, ofreciendo una alternativa transparente a las redes neuronales de caja negra mientras mantienen una precisión predictiva competitiva. El trabajo enfatiza que los razonamientos generados son proxies "fundamentados y auditables" basados en evidencia programática, en lugar de ser afirmaciones de descubrimiento de nuevos mecanismos causales de verdad absoluta.