🧬 biology

LDARNet: DNA Adaptive Representation Network with Learnable Tokenization for Genomic Modeling

O LDARNet é um modelo de fundação genômica hierárquico de 120 milhões de parâmetros que introduz uma tokenização não supervisionada e aprendível via fragmentação dinâmica e roteamento aprendido, alcançando desempenho de estado da arte em tarefas de modificação de histonas e superando modelos até 20 vezes maiores ao alinhar fronteiras de sequência adaptativas com estruturas biologicamente relevantes, como motivos de promotores e junções de splicing.

Autores originais: Daria Ledneva, Denis Kuznetsov

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Daria Ledneva, Denis Kuznetsov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você está tentando ensinar um computador a entender a linguagem da vida: o DNA. O DNA é uma longa sequência de letras (A, C, G, T) que diz às células como construir e operar um organismo vivo.

Por muito tempo, os computadores tentaram ler essa "linguagem" cortando o DNA em pedaços de tamanho fixo, como se estivessem cortando uma frase longa em grupos de exatamente três letras, independentemente do que as palavras realmente significam. Isso é como tentar ler um livro cortando cada página em tiras de 25 centímetros, mesmo que uma frase termine no meio de uma tira. Funciona, mas é desajeitado e perde a estrutura natural da história.

Conheça o LDARNet: O Leitor Inteligente

O artigo apresenta um novo modelo de IA chamado LDARNet. Em vez de usar uma régua rígida para cortar o DNA, o LDARNet aprende a encontrar os lugares naturais para fazer as pausas, assim como um leitor humano naturalmente pausa ao final de uma frase ou de um parágrafo.

Veja como funciona, usando algumas analogias simples:

1. O "Marca-texto Inteligente" (Tokenização Aprendível)

A maioria dos modelos de DNA usa uma "grade fixa". Imagine uma esteira onde uma máquina corta um pão de forma em fatias que têm sempre 5 centímetros de espessura. Às vezes, uma fatia corta bem no meio de um recheio delicioso (um sinal biológico), e às vezes deixa um recheio inteiro preso na crosta.

O LDARNet é diferente. Ele possui um marca-texto inteligente que varre o DNA e decide: "Ok, este grupo de letras forma uma unidade significativa, então vou parar aqui. Esta próxima parte é diferente, então começarei um novo bloco". Ele aprende onde estão os "limites" naturais, em vez de impô-los.

2. A "Via de Mão Dupla" (Leitura Bidirecional)

No corpo humano, o DNA é lido em ambas as direções (para frente e para trás) para entender como os genes funcionam. Modelos antigos costumam ler como uma via de mão única, olhando apenas para frente. O LDARNet foi construído como uma via de mão dupla. Ele observa o contexto tanto da esquerda quanto da direita simultaneamente. Isso ajuda a entender o quadro completo de um gene, não apenas o que vem a seguir.

3. O "Truque da Compressão" (Eficiência)

O DNA é incrivelmente longo. Ler cada letra individualmente é lento e caro para um computador.

Jeito antigo: Ler cada letra, uma por uma.
Jeito LDARNet: Ele usa seu "marca-texto inteligente" para agrupar as letras em blocos. Em seguida, processa esses blocos como unidades únicas.

Pense nisso como ler um resumo de um livro em vez de ler cada palavra individualmente. O LDARNet comprime a informação para que possa processá-la muito mais rápido, mas, como ele aprendeu onde comprimir, ele não perde os detalhes importantes.

O Que Eles Descobriram?

Os pesquisadores testaram o LDARNet contra outros modelos de ponta, incluindo alguns que são 20 vezes maiores (com muito mais memória e poder de computação).

O Azarão Vence: Embora o LDARNet seja pequeno (apenas 120 milhões de "parâmetros", ou células cerebrais), ele superou os modelos gigantes em muitas tarefas. Ele venceu 11 dos 18 principais desafios na competição "Nucleotide Transformer".
O Especialista em Histonas: Ele foi especialmente bom em prever "modificações de histonas". Pense nas histonas como os carretéis em torno dos quais o DNA se enrola. Quando o carretel muda de forma, ele liga ou desliga os genes. O LDARNet foi o melhor em prever essas mudanças, superando modelos que são 20 vezes maiores.
O Experimento do "Porquê": Para provar que não era apenas sorte, eles realizaram um teste controlado. Eles pegaram uma versão do modelo e o forçaram a usar o método antigo da "régua fixa" (cortando a cada 4 letras).
- Resultado: O modelo com os limites aprendidos (o marca-texto inteligente) foi significativamente melhor em encontrar sinais biológicos do que aquele com a régua fixa. O artigo afirma que até 14 pontos percentuais da melhoria vieram simplesmente de aprender onde cortar o texto, e não de ter mais poder de computação.

O Momento "Aha!" Biológico

A parte mais emocionante é que o computador não apenas adivinhou aleatoriamente. Quando os pesquisadores observaram onde o LDARNet decidiu fazer seus cortes, descobriram que ele caía exatamente em marcos biológicos reais.

Ele parou de cortar justamente nos promotores (os botões de "início" para os genes).
Ele parou de cortar justamente nas junções de splicing (onde a célula edita a mensagem genética).

O modelo compreendeu as regras biológicas do jogo sem que ninguém as ensinasse explicitamente. Ele aprendeu a ver as "palavras" da vida por conta própria.

Resumo

O LDARNet é uma IA pequena e eficiente que lê o DNA aprendendo a encontrar seus próprios intervalos de frases naturais, em vez de seguir um padrão rígido e pré-definido. Ao fazer isso, ele entende a história biológica melhor do que modelos muito maiores e mais caros, provando que saber como ler é mais importante do que apenas ter um cérebro maior.

Resumo Técnico: LDARNet

Definição do Problema

Modelos de fundação genômica adotam cada vez mais arquiteturas de Grandes Modelos de Linguagem (LLMs), mas dependem predominantemente de esquemas de tokenização fixos (ex: k-mers, Byte-Pair Encoding ou nucleotídeos únicos). Esses esquemas fixos impõem fronteiras de sequência arbitrárias que podem obscurecer estruturas biologicamente relevantes, pois carecem de um embasamento biológico claro. Embora trabalhos recentes como o H-Net tenham demonstrado que a tokenização adaptativa e dinâmica é viável para geração autorregressiva (AR), permanece incerto se tal tokenização adaptativa produz embeddings competitivos sob o paradigma de Modelagem de Linguagem Mascarada (MLM), que é o padrão para modelos de fundação genômica. Além disso, abordagens adaptativas existentes frequentemente falham em validar as fronteiras aprendidas contra marcos genômicos canônicos ou em demonstrar ligações causais entre o roteamento aprendido e os ganhos de desempenho.

Metodologia

Os autores apresentam o LDARNet (Rede de Representação Adaptativa de DNA Aprendível), um modelo de fundação genômica hierárquico de 120 milhões de parâmetros que adapta a arquitetura H-Net da geração AR para o pré-treinamento MLM.

Arquitetura

O LDARNet mantém a hierarquia codificador–backbone–decodificador do H-Net, mas introduz quatro modificações arquiteturais fundamentais para adequar-se à modelagem genômica bidirecional:

Backbone BiMamba-2: Camadas Mamba causais são substituídas por blocos BiMamba-2 (expandindo o design BiMamba do Caduceus para o Mamba-2). Esses blocos utilizam pesos compartilhados para passagens direta e reversa para permitir o condicionamento de contexto total sem dobrar os parâmetros.
Atenção Não-Causal: Todos os mecanismos de atenção são não-causais para suportar o contexto bidirecional.
Atenção Local: O codificador inclui uma única camada de atenção local para auxiliar no reconhecimento de padrões de grão fino, enquanto o backbone e o decodificador dependem inteiramente do BiMamba-2.
Roteamento e Deschunking Bidirecional:
- Roteamento Bidirecional: Diferente do roteador unidirecional do H-Net, o LDARNet estima a evidência de fronteira usando orientações direta e reversa de pares adjacentes. Isso utiliza uma métrica de similaridade bidirecional para detectar fronteiras simetricamente, tornando o processo robusto aos 15% de mascaramento usados no MLM.
- Deschunking Bidirecional: O deschunker incorpora um suavizador de Média Móvel Exponencial (EMA) bidirecional. Ele propaga informações de ambas as direções para as posições mascaradas, garantindo a reconstrução estável de spans de comprimento variável.

Objetivo de Treinamento

O modelo é otimizado usando uma perda de MLM combinada com um regularizador baseado em razão ( $L_{ratio}$ ). Este regularizador evita soluções de compressão degeneradas (ex: compressão trivial) ao impor uma razão de compressão alvo ( $N=4$ ) através das etapas. O corpus de treinamento combina o genoma de referência humano com dados multiespécies do Nucleotide Transformer, utilizando aumento de complemento reverso para impor simetria biológica.

Principais Contribuições

O artigo descreve quatro contribções primárias:

Adaptação Arquitetural: Adaptação bem-sucedida da estrutura de tokenização dinâmica do H-Net da geração autorregressiva para a modelagem de linguagem mascarada.
Eficiência de Desempenho: Demonstração de que um modelo compacto de 120 milhões de parâmetros com previsão de fronteira dinâmica pode igualar ou superar baselines 4 a 20 vezes maiores (até 2,5 bilhões de parâmetros), alcançando resultados de estado da arte em 5 tarefas de modificação de histonas.
Generalização Entre Espécies: Estabelecimento de que a generalidade arquitetural através da compressão multi-escala aprendível preserva melhor a transferibilidade entre espécies do que otimizações específicas de domínio. O LDARNet alcança 11/18 vitórias no benchmark Nucleotide Transformer, superando modelos especializados no genoma humano de escala comparável.
Evidência Causal para Fronteiras Aprendidas: Fornecimento de evidência direta de que o roteamento aprendido (não apenas o andaime hierárquico) impulsiona os ganhos de desempenho. Um experimento controlado com FLOPs equivalentes mostra que as fronteiras aprendidas superam as fronteiras de grade fixa em até 14,3 pontos percentuais em tarefas de histonas. Além disso, a análise de resolução de nucleotídeos revela que as fronteiras aprendidas alinham-se com motivos promotores canônicos e junções de splicing sem supervisão.

Resultados

Benchmark Nucleotide Transformer (NT)

Em 18 tarefas diversas, o LDARNet alcançou 11 vitórias entre modelos compactos (<300M de parâmetros), superando significativamente outros modelos compactos (que alcançaram 1–2 vitórias cada). Notavelmente, garantiu os melhores resultados gerais em 5 tarefas de modificação de histonas (H3K4me1, H3K4me2, H3K4me3, H3K79me3, H4ac), superando competidores até 2,5B de parâmetros.

Benchmarks Genômicos (GB)

Em 9 tarefas de genômica regulatória, o LDARNet empatou com o DNABERT-2 para o melhor desempenho de modelo compacto (3 vitórias cada). Embora as tarefas de GB exibam um efeito de teto devido às altas acurácias de baseline, o LDARNet alcançou a maior acurácia (96,3%) na tarefa "Human non-TATA Promoters", superando modelos maiores como o Generator-1.2B.

Experimentos Controlados

Um experimento com FLOPs equivalentes comparando o LDARNet (roteamento aprendido) contra uma variante com fronteiras fixas a cada 4 nucleotídeos ( $N=4$ ) isolou a fonte dos ganhos:

Tarefas de Histona: O LDARNet superou a variante de fronteira fixa em +14,3pp em H3K4me1 e +6,7pp em H3K36me3. O modelo de fronteira fixa também exibiu variância significativamente maior nessas tarefas.
Sítios de Splicing: A tendência inverteu-se para a classificação de sítios de splicing, onde as fronteiras fixas (0.961) superaram o roteamento aprendido (0.901). Os autores atribuem isso à natureza local dos motivos de splicing (GT/AG), onde grades fixas preservam melhor a informação posicional uniforme do que o roteamento aprendido, que não é explicitamente recompensado por pousar em cada junção.

Significância

O artigo afirma que o LDARNet fornece uma interpretação biológica para a tokenização adaptativa em modelos de fundação genômica. Ao aprender fronteiras que se alinham com elementos genômicos funcionais (promotores, junções de splicing) sem supervisão, o modelo demonstra que a tokenização adaptativa pode capturar sinais funcionais de forma mais fiel do que esquemas fixos. O trabalho destaca que o roteamento aprendido é o fator crítico que permite que modelos compactos rivalizem com arquiteturas muito maiores, particularmente para tarefas de modelagem epigenética de longo alcance, como a predição de modificação de histonas.