LPDP: Inference-Time Reward Control for Variable-Length DNA Generation with Edit Flows

Resumen Técnico: LPDP para la Generación de ADN de Longitud Variable

Enunciado del Problema
El artículo aborda el desafío de la generación de secuencias de ADN guiada por recompensas, específicamente en el contexto de secuencias de longitud variable. Mientras que muchos marcos existentes guiados por recompensas operan en espacios de secuencias de longitud fija (usando reemplazo o enmascaramiento de tokens), muchos problemas de diseño genómico, como la optimización de elementos reguladores y la relleno de intrones, involucran naturalmente secuencias de longitudes variables. Estos problemas requieren operaciones explícitas de inserción, eliminación y sustitución.

Los autores señalan que la guía continua estándar (mediante gradientes) y muchos métodos de difusión discreta son difíciles de aplicar directamente a los Flujos de Edición [Havasi et al., 2025], un modelo generativo que transita entre secuencias mediante acciones de edición explícitas. El desafío central es explotar la "geometría tipada" de las acciones de edición (donde las inserciones/eliminaciones desplazan coordenadas y cambian la longitud) en el momento de la inferencia para maximizar una función de recompensa sin buscar exhaustivamente el árbol completo de ediciones, lo cual es computacionalmente intratable.

Metodología: Programación Discreta de Perturbación Local (LPDP)
Los autores proponen LPDP, un marco de inclinación de recompensas sin entrenamiento y en tiempo de inferencia diseñado específicamente para Flujos de Edición de ADN preentrenados. LPDP trata cada decisión de simulación como un problema de re-resolución de raíz. En lugar de mantener un frente global de secuencias parciales (como la Búsqueda en Haz o SMC), LPDP asigna su presupuesto de oráculo localmente alrededor de ediciones de raíz competitivas.

El método opera en cinco etapas por paso de simulación:

1. Puntuación de Raíz y Retención de Banda: Todas las ediciones de raíz válidas de un solo paso (sustituciones, inserciones, eliminaciones) se puntúan utilizando una puntuación inclinada que combina la probabilidad del flujo base y la mejora inmediata de la recompensa ($\Delta R$). Se retiene una "banda de raíz" de ediciones cercanas a la mejor para una mirada futura adicional, descartando aquellas con puntuaciones significativamente inferiores al óptimo.
2. Definición del Vecindario Local: Para cada raíz retenida, se genera una secuencia hija. Se define un vecindario local de sitio alrededor del sitio de edición más reciente, restringiendo el espacio de búsqueda a ediciones que ocurren cerca de la modificación actual.
3. Reglas de Candidatos Tipados: Para gestionar el espacio de búsqueda, LPDP aplica reglas específicas para seleccionar candidatos dentro del vecindario local:
   • Mixto: Mantiene las $K$ mejores ediciones de todos los tipos (sust, ins, del).
   • ST-después: Primero selecciona una lista corta mixta de las $K$ mejores, luego filtra para mantener solo ediciones del mismo tipo que la edición padre.
   • ST-primero: Primero filtra el vecindario al mismo tipo de edición que el padre, luego selecciona las $K$ mejores.
4. Grafo de Mirada Futura Local: Se construye un grafo local acotado de profundidad $H$ utilizando los candidatos seleccionados. Este grafo representa continuaciones hipotéticas a corto plazo de la edición de raíz.
5. Respaldo de Re-resolución Local: El grafo se respalda para calcular un valor de "corrección futura local". Se utilizan dos estrategias de respaldo:
   • Máximo (Duro): Selecciona la única trayectoria de continuación local mejor.
   • LSE (Suave): Agrega múltiples continuaciones plausibles utilizando un operador de suma-exponencial-logarítmica (control regularizado por entropía), preservando la masa de trayectoria suave.

La puntuación final para una edición de raíz es la suma de su puntuación inclinada inmediata y una corrección futura local amortiguada derivada del respaldo. El algoritmo aplica la edición de raíz con la puntuación más alta y repite el proceso desde la nueva secuencia.

Contribuciones Clave

• Primer Marco para Flujos de Edición de Longitud Variable: Según los autores, LPDP es el primer marco de inclinación de recompensas en tiempo de inferencia construido específicamente para flujos de edición de ADN de longitud variable con acciones explícitas de inserción, eliminación y sustitución.
• Re-resolución Local Condicionada a la Raíz: A diferencia de las búsquedas de frente a nivel de secuencia, LPDP centra los recursos computacionales en la reordenación de ediciones de raíz competitivas resolviendo programas discretos locales acotados. Esto aprovecha la geometría específica de las acciones de edición.
• Reglas de Candidatos Tipados: El artículo introduce y evalúa reglas de poda "Mismo Tipo" (ST) (ST-después, ST-primero) que intercambian la flexibilidad de tipos mixtos por eficiencia computacional y coherencia de tipo, mostrando que pueden preservar la calidad de la decisión mientras reducen el espacio de búsqueda.
• Regímenes de Respaldo Flexibles: La integración de respaldos tanto duros (Máximo) como suaves (LSE) permite que el método se adapte a diferentes geometrías de recompensa (por ejemplo, explotando una única trayectoria mejor frente a agregar múltiples futuros plausibles).

Resultados Experimentales
El método se evaluó en dos tareas utilizando oráculos congelados y un programa de flujo de edición base de 256 pasos:

1. Optimización de Potenciadores: Optimización de secuencias reguladoras para la actividad HepG2. LPDP aplicó una inclinación de recompensa cargada al inicio (guía en los primeros 16 pasos).
   • Resultado: Las variantes de LPDP (particularmente LPDP-ST-después-LSE) lograron una actividad predicha más alta que las líneas base (CEM, Beam, TDS, SMC) mientras mantenían presupuestos de búsqueda comparables (llamadas al oráculo) y preservaban los diagnósticos de distribución del flujo base (baja JSD de 3-mers).
2. Relleno Exón-Intrón-Exón: Generación de regiones intrónicas entre exones para preservar señales de empalme. LPDP aplicó una inclinación de recompensa cargada al final (guía en los últimos 16 pasos).
   • Resultado: Las variantes de LPDP (particularmente LPDP-ST-primero-Máximo) lograron puntuaciones geométricas de empalme superiores y tasas de donante GT en comparación con las líneas base.

El artículo señala que diferentes reglas de candidatos y tipos de respaldo funcionaron mejor dependiendo de la tarea: ST-después con LSE se adaptó a los patrones reguladores globales de los potenciadores, mientras que ST-primero con Máximo se adaptó a los motivos de límites locales de los sitios de empalme.

Significado y Afirmaciones
El artículo afirma que LPDP extiende con éxito la generación guiada por recompensas a espacios de ADN de longitud variable donde falla la guía estándar de longitud fija. Demuestra que, al explotar la estructura a nivel de acción de los Flujos de Edición, se pueden lograr mejoras significativas en la recompensa sin entrenar nuevos modelos ni incurrir en el costo de una búsqueda global.

Los autores son modestos sobre las limitaciones, reconociendo que:

• El método depende de la truncación de la banda de raíz y grafos locales acotados, lo que puede pasar por alto interacciones de edición a larga distancia o multi-sitio que una búsqueda global encontraría.
• Todas las recompensas se basan en oráculos predictivos congelados; por lo tanto, las mejoras biológicas reportadas son basadas en modelos y requieren validación experimental aguas abajo.
• El método es una asignación específica de cómputo en tiempo de inferencia, intercambiando amplitud global por profundidad local condicionada a la raíz.

En resumen, LPDP proporciona un enfoque estructurado y sin entrenamiento para controlar la generación de ADN de longitud variable, equilibrando eficazmente la necesidad de maximización de recompensas con la preservación de estadísticas de secuencia realistas.