LPDP: Inference-Time Reward Control for Variable-Length DNA Generation with Edit Flows

Resumo Técnico: LPDP para Geração de DNA de Comprimento Variável

Declaração do Problema
O artigo aborda o desafio da geração de sequências de DNA guiada por recompensa, especificamente no contexto de sequências de comprimento variável. Embora muitas estruturas existentes de orientação por recompensa operem em espaços de sequência de comprimento fixo (usando substituição ou mascaramento de tokens), muitos problemas de design genômico — como otimização de elementos regulatórios e preenchimento de íntrons — envolvem naturalmente sequências de comprimentos variados. Esses problemas exigem operações explícitas de inserção, deleção e substituição.

Os autores observam que a orientação contínua padrão (via gradientes) e muitos métodos de difusão discreta são difíceis de aplicar diretamente aos Fluxos de Edição [Havasi et al., 2025], um modelo generativo que transita entre sequências por meio de ações de edição explícitas. O desafio central é explorar a "geometria tipada" das ações de edição (onde inserções/deleções deslocam coordenadas e alteram o comprimento) no momento da inferência para maximizar uma função de recompensa sem buscar exaustivamente a árvore de edição completa, o que é computacionalmente intratável.

Metodologia: Programação Discreta de Perturbação Local (LPDP)
Os autores propõem o LPDP, um framework de inclinação de recompensa sem treinamento, aplicado no momento da inferência, projetado especificamente para Fluxos de Edição de DNA pré-treinados. O LPDP trata cada decisão de execução como um problema de ressolução de raiz. Em vez de manter uma fronteira global de sequências parciais (como Busca em Feixe ou SMC), o LPDP aloca seu orçamento de oráculo localmente ao redor de edições de raiz competitivas.

O método opera em cinco etapas por passo de execução:

1. Avaliação de Raiz e Retenção de Faixa: Todas as edições de raiz válidas de um passo (substituições, inserções, deleções) são avaliadas usando uma pontuação inclinada que combina a probabilidade do fluxo base e a melhoria imediata da recompensa ($\Delta R$). Uma "faixa de raiz" das edições próximas ao melhor é retida para maior previsão, descartando aquelas com pontuações significativamente abaixo do ótimo.
2. Definição de Vizinhança Local: Para cada raiz retida, uma sequência-filha é gerada. Uma vizinhança local de sítio é definida ao redor do sítio de edição mais recente, restringindo o espaço de busca a edições ocorrendo perto da modificação atual.
3. Regras de Candidatos Tipados: Para gerenciar o espaço de busca, o LPDP aplica regras específicas para selecionar candidatos dentro da vizinhança local:
   • Misto: Mantém as top-$K$ edições entre todos os tipos (sub, ins, del).
   • ST-after: Primeiro seleciona uma lista curta mista top-$K$, depois filtra para manter apenas edições do mesmo tipo que a edição pai.
   • ST-first: Primeiro filtra a vizinhança para o mesmo tipo de edição que o pai, depois seleciona as top-$K$.
4. Grafo de Previsão Local: Um grafo local limitado, de profundidade $H$, é construído usando os candidatos selecionados. Este grafo representa continuações hipotéticas de curto prazo da edição de raiz.
5. Backup de Ressolução Local: O grafo é retroalimentado para calcular um valor de "correção futura local". Duas estratégias de backup são usadas:
   • Max (Rígido): Seleciona o único caminho de continuação local melhor.
   • LSE (Suave): Agrega múltiplas continuações plausíveis usando um operador log-soma-exponencial (controle regularizado por entropia), preservando a massa de caminho suave.

A pontuação final para uma edição de raiz é a soma de sua pontuação inclinada imediata e uma correção futura local amortecida derivada do backup. O algoritmo aplica a edição de raiz de maior pontuação e repete o processo a partir da nova sequência.

Principais Contribuições

• Primeiro Framework para Fluxos de Edição de Comprimento Variável: Segundo os autores, o LPDP é o primeiro framework de inclinação de recompensa no momento da inferência construído especificamente para fluxos de edição de DNA de comprimento variável com ações explícitas de inserção, deleção e substituição.
• Ressolução Local Condicionada à Raiz: Diferente de buscas de fronteira ao nível da sequência, o LPDP foca recursos computacionais no reordenamento de edições de raiz competitivas resolvendo programas discretos locais limitados. Isso aproveita a geometria específica das ações de edição.
• Regras de Candidatos Tipados: O artigo introduz e avalia regras de poda "Mesmo-Tipo" (ST) (ST-after, ST-first) que trocam flexibilidade de tipo misto por eficiência computacional e coerência de tipo, mostrando que podem preservar a qualidade da decisão enquanto reduzem o espaço de busca.
• Regimes de Backup Flexíveis: A integração de backups rígidos (Max) e suaves (LSE) permite que o método se adapte a diferentes geometrias de recompensa (por exemplo, explorando um único melhor caminho versus agregando múltiplos futuros plausíveis).

Resultados Experimentais
O método foi avaliado em duas tarefas usando oráculos congelados e um cronograma de fluxo de edição base de 256 passos:

1. Otimização de Enhancers: Otimização de sequências regulatórias para atividade HepG2. O LPDP aplicou inclinação de recompensa carregada no início (orientação nos primeiros 16 passos).
   • Resultado: Variantes do LPDP (particularmente LPDP-ST-after-LSE) alcançaram maior atividade prevista do que as linhas de base (CEM, Beam, TDS, SMC), mantendo orçamentos de busca comparáveis (chamadas de oráculo) e preservando diagnósticos de distribuição do fluxo base (baixo JSD de 3-mers).
2. Preenchimento Exon-Intrão-Exon: Geração de regiões intrônicas entre éxons para preservar sinais de splicing. O LPDP aplicou inclinação de recompensa carregada no final (orientação nos últimos 16 passos).
   • Resultado: Variantes do LPDP (particularmente LPDP-ST-first-Max) alcançaram pontuações geomean de splicing superiores e taxas de doador GT em comparação com as linhas de base.

O artigo observa que diferentes regras de candidatos e tipos de backup performaram melhor dependendo da tarefa: ST-after com LSE adequou-se aos padrões regulatórios globais de enhancers, enquanto ST-first com Max adequou-se aos motivos de fronteira local de sítios de splicing.

Significado e Alegações
O artigo alega que o LPDP estende com sucesso a geração guiada por recompensa para espaços de DNA de comprimento variável onde a orientação padrão de comprimento fixo falha. Demonstra que, explorando a estrutura ao nível da ação dos Fluxos de Edição, é possível alcançar melhorias significativas de recompensa sem treinar novos modelos ou incorrer no custo de uma busca global.

Os autores são modestos sobre as limitações, reconhecendo que:

• O método depende de truncamento de faixa de raiz e grafos locais limitados, o que pode perder interações de edição de longo alcance ou multi-sítio que uma busca global encontraria.
• Todas as recompensas são baseadas em oráculos preditivos congelados; assim, as melhorias biológicas relatadas são baseadas em modelos e requerem validação experimental a jusante.
• O método é uma alocação específica de computação no momento da inferência, trocando amplitude global por profundidade local condicionada à raiz.

Em resumo, o LPDP fornece uma abordagem estruturada e sem treinamento para controlar a geração de DNA de comprimento variável, equilibrando efetivamente a necessidade de maximização de recompensa com a preservação de estatísticas de sequência realistas.