Biological Reasoning-Informed Regression for Interpretable Regulatory DNA Activity Prediction

Resumo Técnico: Regressão Informada por Raciocínio Biológico para Predição Interpretável de Atividade de DNA Regulatório

Definição do Problema
Prever a atividade regulatória de elementos cis-regulatórios (CREs), como enhancers, a partir de sequências de DNA é uma tarefa crítica para a engenharia metabólica, medicina personalizada e agricultura. Embora modelos de aprendizado profundo (ex: Enformer) tenham alcançado sucesso ao aprender mapeamentos de ponta a ponta da sequência para a atividade, eles operam como caixas pretas. Essa falta de interpretabilidade os torna vulneráveis ao "reward hacking" (exploração de recompensa) quando usados como modelos de recompensa para otimização de sequências e limita a confiança dos biólogos. Por outro lado, Modelos de Linguagem de Grande Escala (LLMs) destacam-se no raciocínio passo a passo (Chain-of-Thought), mas falham quando aplicados diretamente a sequências de DNA brutas ("ACGT...") devido a um descompasso de representação; eles não conseguem extrair inerentemente características biologicamente significativas, como sítios de ligação de fatores de transcrição (TFBSs) ou gramática regulatória, a partir de strings de nucleotídeos não estruturadas.

Metodologia: O Framework R3LM
Os autores propõem o R3LM (Reasoning Regression Reward Language Model), um framework projetado para preencher a lacuna entre as capacidades de raciocínio de LLMs e a análise de sequências biológicas através de um pipeline de treinamento de dois estágios.

1. Regulatory Context Card (RCC):
   Para abordar o descompasso de representação, os autores introduzem o RCC, um formato de entrada estruturado que compila sequências de DNA brutas em representações interpretáveis e biologicamente fundamentadas. Em vez de alimentar nucleotídeos brutos, o RCC transforma uma sequência $S$ e um contexto $c$ (ex: tipo celular) em um esquema determinístico contendo:

   • Evidência de Motivo ($M$): TFBSs identificados via varredura contra bancos de dados JASPAR (família, pontuação, posição, fita).
   • Estatísticas de Sequência ($G$): Priores globais, como conteúdo GC.
   • Tags de Gramática ($T$): Heurísticas de nível superior derivadas de arranjos de motivos (ex: espaçamento, coocorrência).
   • Contexto: Condições experimentais explícitas.
     Esta transformação permite que os LLMs "leiam" a lógica regulatória em vez de strings arbitrárias.

2. Dataset CRE-ReasonBench:
   Os autores construíram o primeiro dataset que pareia sequências de DNA com traços de raciocínio mecanístico. Usando um LLM de fronteira (Claude Sonnet 4.5), eles sintetizam racionais passo a passo que explicam como configurações específicas de motivos, espaçamento e contexto celular determinam os níveis de atividade. Cada amostra inclui um prompt de RCC, um traço de raciocínio estruturado (CoT) e um rótulo de nível de atividade discreto (0–3).

3. Estratégia de Treinamento de Dois Estágios:
   Para evitar conflitos de gradiente e problemas de memória associados à otimização conjunta de geração e regressão, o R3LM emprega uma abordagem desacoplada de dois estágios:

   • Estágio 1 (Gerador de Raciocínio): Um gerador de Chain-of-Thought ($g_\theta$) é treinado para produzir racionais mecanísticos e um nível de atividade discreta ($\ell$) baseado no prompt de RCC. O modelo é otimizado usando perda padrão de modelagem de linguagem.
   • Estágio 2 (Regressor Condicionado pelo Racional): Um regressor ($f_\Theta$) é treinado para prever a pontuação de atividade contínua ($y$). A entrada consiste no prompt de RCC concatenado com o racional autogerado do Estágio 1 (excluindo a conclusão discreta final). O modelo extrai um estado oculto em uma posição âncora e o projeta para uma pontuação contínua usando perda de Erro Quadrático Médio (MSE). Crucialmente, o regressor é treinado em racionais autogerados (filtrados apenas por validade sintática) para alinhar o treinamento com a distribuição de tempo de inferência, evitando o "gap do oráculo".

Principais Contribuições

• RCC: Um esquema programático padronizado que transforma DNA bruto em evidência biológica estruturada e auditável, acessível a LLMs.
• CRE-ReasonBench: O primeiro dataset que vincula sequências de DNA e pontuações de atividade com traços de raciocínio mecanístico explícitos, passo a passo.
• Framework R3LM: Um pipeline de treinamento de dois estágios que permite que LLMs realizem regressão informada por raciocínio, alcançando desempenho de estado da arte enquanto fornece explicações interpretáveis.
• Validação Empírica: Demonstração de que LLMs informados por raciocínio biológico superam modelos especializados de caixa preta (como Enformer) e LLMs de sequências brutas em três tipos celulares (HepG2, K562, SK-N-SH).

Resultos

• Desempenho de Regressão: O R3LM alcança correlação de Pearson ($\rho$) de estado da arte e o menor RMSE em tarefas de predição de enhancer. Por exemplo, no tipo celular K562, o R3LM (Generated-CoT) alcançou $\rho = 0,8246$, superando o Enformer ($\rho = 0,7990$) e LLMs de sequências brutas ($\rho = 0,3919$).
• Interpretabilidade: O modelo fornece racionais mecanísticos fundamentados na evidência do RCC (motivos, gramática, conteúdo GC). Estudos de ablação confirmam que o regressor depende desses racionais; embaralhar o texto do racional no tempo de teste causa o colapso do desempenho (de $\rho = 0,8246$ para $0,0198$), provando que o traço de raciocínio é um fator intermediário informativo.
• Qualidade do Raciocínio: O gerador do Estágio 1 alcança alta validade sintática (~97–99%) e uma precisão razoável na predição de níveis discretos de atividade (Acc@1 $\approx$ 78–81%), embora a predição exata do nível seja imperfeita. O regressor permanece robusto apesar dessas imperfeições.

Significância e Alegações
O artigo afirma que o R3LM aborda a limitação fundamental dos modelos atuais de predição de CRE: o compromisso entre desempenho e interpretabilidade. Ao ensinar LLMs a raciocinar sobre conhecimento biológico estruturado em vez de sequências brutas, o framework serve como um modelo de recompensa interpretável. Isso permite que biólogos não apenas recebam uma pontuação de atividade prevista, mas também inspecionem a evidência mecanística (ex: lógica específica de ligação de TF e espaçamento) que sustenta essa predição. Os autores posicionam o R3LM como uma ferramenta para auxiliar no design de CREs customizados, oferecendo uma alternativa transparente a redes neurais de caixa preta, mantendo uma precisão preditiva competitiva. O trabalho enfatiza que os racionais gerados são proxies "fundamentados e auditáveis" baseados em evidência programática, em vez de alegações de descoberta de novos mecanismos causais de verdade fundamental (ground-truth).