🧬 biology

LDARNet: DNA Adaptive Representation Network with Learnable Tokenization for Genomic Modeling

LDARNet es un modelo fundacional genómico jerárquico de 120 millones de parámetros que introduce una tokenización aprendible y no supervisada mediante la fragmentación dinámica y el enrutamiento aprendido, logrando un rendimiento de vanguardia en tareas de modificación de histonas y superando a modelos hasta 20 veces más grandes al alinear los límites de secuencia adaptativos con estructuras biológicamente relevantes como los motivos de promotores y las uniones de empalme.

Autores originales: Daria Ledneva, Denis Kuznetsov

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Daria Ledneva, Denis Kuznetsov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a una computadora a entender el lenguaje de la vida: el ADN. El ADN es una larga cadena de letras (A, C, G, T) que le dice a las células cómo construir y hacer funcionar un organismo vivo.

Durante mucho tiempo, las computadoras han intentado leer este "lenguaje" cortando el ADN en fragmentos de tamaño fijo, como si se cortara una oración larga en grupos de exactamente tres letras cada vez, sin importar lo que signifiquen las palabras. Esto es como intentar leer un libro cortando cada página en tiras de 10 pulgadas, incluso si una oración termina en medio de una tira. Funciona, pero es desordenado y pierde la estructura natural de la historia.

Entra LDARNet: El Lector Inteligente

El artículo presenta un nuevo modelo de IA llamado LDARNet. En lugar de usar una regla rígida para cortar el ADN, LDARNet aprende a encontrar los lugares naturales para hacer las rupturas, tal como un lector humano hace una pausa naturalmente al final de una oración o un párrafo.

Así es como funciona, utilizando algunas analogías simples:

1. El "Resaltador Inteligente" (Tokenización Aprendible)

La mayoría de los modelos de ADN utilizan una "rejilla fija". Imagina una cinta transportadora donde una máquina corta una hogaza de pan larga en rebanadas que siempre tienen 2 pulgadas de grosor. A veces, una rebanada corta justo por medio de un relleno delicioso (una señal biológica), y otras veces deja todo un relleno pegado a la corteza.

LDARNet es diferente. Tiene un resaltador inteligente que escanea el ADN y decide: "Está bien, este grupo de letras forma una unidad significativa, así que me detendré aquí. Esta siguiente parte es diferente, así que comenzaré un nuevo fragmento". Aprende dónde están los "límites" naturales, en lugar de forzarlos.

2. La "Calle de Doble Sentido" (Lectura Bidireccional)

En el cuerpo humano, el ADN se lee en ambas direcciones (hacia adelante y hacia atrás) para entender cómo funcionan los genes. Los modelos antiguos a menudo leen como una calle de un solo sentido, mirando solo hacia adelante. LDARNet está construido como una calle de doble sentido. Mira el contexto tanto desde la izquierda como desde la derecha simultáneamente. Esto ayuda a comprender el panorama completo de un gen, no solo lo que viene después.

3. El "Truco de Compresión" (Eficiencia)

El ADN es increíblemente largo. Leer cada letra, una por una, es lento y costoso para una computadora.

Forma antigua: Leer cada letra, una por una.
Forma de LDARNet: Utiliza su "resaltador inteligente" para agrupar las letras en fragmentos. Luego procesa estos fragmentos como unidades individuales.

Piensa en esto como leer un resumen de un libro en lugar de leer cada palabra. LDARNet comprime la información para que pueda procesarla mucho más rápido, pero debido a que aprendió dónde comprimir, no pierde los detalles importantes.

¿Qué Encontraron?

Los investigadores probaron LDARNet contra otros modelos de primer nivel, incluyendo algunos que son 20 veces más grandes (con mucha más memoria y potencia de cómputo).

El Desafinado Gana: Aunque LDARNet es pequeño (solo 120 millones de "parámetros", o células cerebrales), superó a los modelos gigantes en muchas tareas. Ganó 11 de los 18 desafíos principales de la competencia "Nucleotide Transformer".
El Especialista en Histonas: Fue especialmente bueno prediciendo las "modificaciones de histonas". Piensa en las histonas como los carretes alrededor de los cuales se enrolla el ADN. Cuando el carrete cambia de forma, activa o desactiva los genes. LDARNet fue el mejor prediciendo estos cambios, superando a modelos que son 20 veces más grandes.
El Experimento del "¿Por qué?": Para demostrar que no fue solo suerte, realizaron una prueba controlada. Tomaron una versión del modelo y la obligaron a usar el método antiguo de la "regla fija" (cortando cada 4 letras).
- Resultado: El modelo con los límites aprendidos (el resaltador inteligente) era significamente mejor encontrando señales biológicas que el que usaba la "regla fija". El artículo afirma que hasta un 14 por ciento de mejora provino simplemente de aprender dónde cortar el texto, no de tener más potencia de cómputo.

El Momento de Revelación Biológica

La parte más emocionante es que la computadora no solo adivinó al azar. Cuando los investigadores observaron dónde decidió hacer los cortes LDARNet, descubrieron que estaba aterrizando exactamente en puntos de referencia biológicos reales.

Se detuvo justo en los promotores (los botones de "inicio" para los genes).
Se detuvo justo en las uniones de empalme (donde la célula edita el mensaje genético).
El modelo descifró las reglas biológicas del juego sin que nadie le enseñara explícitamente esas reglas. Aprendió a ver las "palabras" de la vida por su cuenta.

Resumen

LDARNet es una IA pequeña y eficiente que lee el ADN aprendiendo a encontrar sus propios cortes de oración naturales, en lugar de seguir un patrón rígido y preestablecido. Al hacer esto, comprende la historia biológica mejor que modelos mucho más grandes y costosos, demostiendo que saber cómo leer es más importante que simplemente tener un cerebro más grande.

Resumen Técnico: LDARNet

Planteamiento del Problema

Los modelos fundacionales genómicos adoptan cada vez más arquitecturas de Modelos de Lenguaje de Gran Escala (LLM), pero dependen predominantemente de esquemas de tokenización fijos (por ejemplo, k-meros, BPE o nucleótidos individuales). Estos esquemas fijos imponen límites de secuencia arbitrarios que pueden ocultar estructuras biológicamente relevantes, ya que carecen de un fundamento biológico claro. Aunque trabajos recientes como H-Net han demostrado que la tokenización adaptativa y dinámica es viable para la generación autorregresiva (AR), no está claro si dicha tokenización adaptativa produce embeddings competitivos bajo el paradigma de Modelado de Lenguaje con Máscara (MLM), que es el estándar para los modelos fundacionales genómicos. Además, los enfoques adaptativos existentes a menudo no validan los límites aprendidos frente a los hitos genómicos canónicos ni demuestran vínculos causales entre el enrutamiento aprendido y las ganancias de rendimiento.

Metodología

Los autores presentan LDARNet (Red de Representación Adaptativa de ADN Aprendible), un modelo fundacional genómico jerárquico de 120 millones de parámetros que adapta la arquitectura H-Net de la generación AR al preentrenamiento MLM.

Arquitectura

LDARNet conserva la jerarquía codificador–backbone–decodificador de H-Net, pero introduce cuatro modificaciones arquitectónicas clave para adaptarse al modelado genómico bidireccional:

Backbone BiMamba-2: Las capas Mamba causales son reemplazadas por bloques BiMamba-2 (extendiendo el diseño BiMamba de Caduceus a Mamba-2). Estos bloques utilizan pesos compartidos para los pasos hacia adelante y hacia atrás para permitir una condicionamiento de contexto completo sin duplicar los parámetros.
Atención No Causal: Todos los mecanismos de atención son no causales para soportar el contexto bidireccional.
Atención Local: El codificador incluye una única capa de atención local para ayudar en el reconocimiento de patrones de grano fino, mientras que el backbone y el decodificador dependen enteramente de BiMamba-2.
Enrutamiento y Dechunking Bidireccional:
- Enrutamiento Bidireccional: A diferencia del enrutador unidireccional de H-Net, LDARNet estima la evidencia de los límites utilizando orientaciones tanto hacia adelante como hacia atrás de pares adyacentes. Esto emplea una métrica de similitud bidireccional para detectar límites de forma simétrica, haciendo que el proceso sea robusto ante el 15% de enmascaramiento utilizado en MLM.
- Dechunking Bidireccional: El dechunker incorpora un suavizador de Media Móvil Exponencial (EMA) bidireccional. Esto propaga la información desde ambas direcciones hacia las posiciones enmascaradas, asegurando la reconstrucción estable de segmentos de longitud variable.

Objetivo de Entrenamiento

El modelo se optimiza utilizando una pérdida de MLM combinada con un regularizador basado en la razón ( $L_{ratio}$ ). Este regularizador evita soluciones de compresión degeneradas (por ejemplo, compresión trivial) mediante la imposición de una relación de compresión objetivo ( $N=4$ ) a través de las etapas. El corpus de entrenamiento combina el genoma de referencia humano con datos multiespecie del Nucleotide Transformer, utilizando aumentación de complemento inverso para imponer simetría biológica.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Adaptación Arquitectónica: Adaptación exitosa del marco de tokenización dinámica de H-Net de la generación autorregresiva al modelado de lenguaje con máscara.
Eficiencia de Rendimiento: Demostración de que un modelo compacto de 120 millones de parámetros con predicción de límites dinámica puede igualar o superar a los baselines 4 a 20 veces más grandes (hasta 2.5B de parámetros), logrando resultados de vanguardia en 5 tareas de modificación de histonas.
Generalización entre Especies: Establecimiento de que la generalidad arquitectónica a través de la compresión multiescala aprendible preserva mejor la transferibilidad entre especies que las optimizaciones específicas de dominio. LDARNet logra 11/18 victorias en el benchmark de Nucleotide Transformer, superando a modelos especializados en el genoma humano de escala comparable.
Evidencia Causal para los Límites Aprendidos: Provisión de evidencia directa de que el enrutamiento aprendido (no solo el andamiaje jerárquico) impulsa las ganancias de rendimiento. Un experimento controlado emparejado por FLOPs muestra que los límites aprendidos superan a los límites de rejilla fija hasta en 14.3 puntos porcentuales en tareas de histonas. Además, el análisis a resolución de nucleótidos revela que los límites aprendidos se alinean con motivos de promotores canónicos y sitios de empalme (splice junctions) sin supervisión.

Resultados

Benchmark de Nucleotide Transformer (NT)

En 18 tareas diversas, LDARNet logró 11 victorias entre modelos compactos (<300M de parámetros), superando significativamente a otros modelos compactos (que lograron 1–2 victorias cada uno). Notablemente, obtuvo los mejores resultados generales en 5 tareas de modificación de histonas (H3K4me1, H3K4me2, H3K4me3, H3K79me3, H4ac), superando a competidores de hasta 2.5B de parámetros.

Benchmarks Genómicos (GB)

En 9 tareas de genómica regulatoria, LDARNet empató con DNABERT-2 por el mejor rendimiento de modelo compacto (3 victorias cada uno). Mientras que las tareas de GB exhiben un efecto de techo debido a las altas precisiones base, LDARNet alcanzó la precisión más alta (96.3%) en la tarea de "Promotores humanos no TATA", superando a modelos más grandes como Generator-1.2B.

Experimentos Controlados

Un experimento emparejado por FLOPs comparando LDARNet (enrutamiento aprendido) contra una variante con límites fijos cada 4 nucleótidos ( $N=4$ ) aisló la fuente de las ganancias:

Tareas de Histonas: LDARNet superó a la variante de límites fijos por +14.3pp en H3K4me1 y +6.7pp en H3K36me3. El modelo de límites fijos también exhibió una varianza significativamente mayor en estas tareas.
Sitios de Empalme (Splice Sites): La tendencia se invirtió para la clasificación de sitios de empalme, donde los límites fijos (0.961) superaron al enrutamiento aprendido (0.901). Los autores atribuyen esto a la naturaleza local de los motivos de empalme (GT/AG), donde las rejillas fijas preservan mejor la información posicional uniforme que el enrutamiento aprendido, el cual no es recompensado explícitamente por aterrizar en cada unión.

Significancia

El artículo afirma que LDARNet proporciona una interpretación biológica para la tokenización adaptativa en los modelos fundacionales genómicos. Al aprender límites que se alinean con elementos genómicos funcionales (promotores, sitios de empalme) sin supervisión, el modelo demuestra que la tokenización adaptativa puede capturar señales funcionales de manera más fiel que los esquemas fijos. El trabajo destaca que el enrutamiento aprendido es el factor crítico que permite a los modelos compactos rivalizar con arquitecturas mucho más grandes, particularmente para el modelado epigenético de largo alcance como la predicción de la modificación de histonas.