Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles

Resumen Técnico: Selección Generativa de Bucle Cerrado

Planteamiento del Problema
La selección generativa de bucle cerrado ha emergido como una metodología primordial en el descubrimiento computacional de fármacos. En este flujo de trabajo, un modelo generativo aprendido propone moléculas candidatas, un oráculo de aptitud (por ejemplo, docking o ensayos) las califica, y los mejores candidatos se retienen para reentrenar el modelo para la siguiente ronda. A pesar de su utilidad práctica, el método carece de una teoría de convergencia rigurosa. El análisis de los algoritmos evolutivos clásicos se basa en la propiedad de Markov del proceso de la población; sin embargo, en la selección generativa, el modelo $G_t$ se reentrena en cada ronda basándose en el historial de los grupos de élite. Esta adaptación rompe la propiedad de Markov de la secuencia de la población $(P_t)$, lo que hace que las herramientas analíticas estándar sean inaplicables. Además, el campo carece de una teoría unificada que aborde el papel de la memoria (cuántos datos pasados informan al modelo), el impacto de los oráculos ruidosos y el costo real de la búsqueda, medido en evaluaciones del oráculo en lugar de rondas algorítmicas.

Metodología y Marco Matemático
Los autores desarrollan una teoría autónoma reformulando el problema en un espacio de estados ampliado para recuperar una estructura de Markov.

1. Formulación de Markov: En lugar de analizar solo la población $P_t$, los autores definen un estado aumentado $Z_t = (P_t, G_t)$ o un proceso de historial $H_t = (P_0, \dots, P_t)$. Demuestran que, bajo reglas de actualización deterministas, estos procesos aumentados son cadenas de Markov homogéneas en el tiempo.
2. Elitismo y Absorción: El algoritmo emplea una regla de selección elitista (retener los mejores $N$ moléculas), asegurando que la aptitud de la élite $f(P_t)$ sea no decreciente. Esto crea una estructura absorbente donde el conjunto objetivo de moléculas $\epsilon$-óptimas es un estado absorbente.
3. Método de Niveles de Aptitud: El análisis descompone la búsqueda en "estancias" (sojourns) en niveles discretos de aptitud. El tiempo de llegada esperado está acotado por la suma de los tiempos esperados para escapar de cada nivel. La probabilidad de escape en el nivel $k$ depende de la capacidad del núcleo generativo para proponer moléculas estrictamente más aptas que el nivel actual.
4. Modelos de Memoria: El artículo analiza tres regímenes:
   • Estático/Paso único: $G_t$ depende solo de $P_t$.
   • Memoria completa: $G_t$ depende de todo el historial.
   • Memoria de paso $m$ finito: $G_t$ depende de los últimos $m$ grupos.
5. Manejo de Ruido: La teoría se extiende a oráculos ruidosos reemplazando las evaluaciones individuales con consultas replicadas y estimadores robustos (por ejemplo, mediana de medias, pruebas de signo) para certificar las brechas de aptitud bajo distribuciones de ruido sub-gaussianas y de cola pesada.

Contribuciones Clave y Resultados

• Convergencia y Acotaciones del Tiempo de Llegada:
  El artículo demuestra la convergencia casi segura para cualquier algoritmo de selección generativa que satisfaga una condición de positividad uniforme (un suelo de exploración uniforme). Establece una "Acotación de Tiempo de Llegada por Capas" donde el número esperado de rondas está acotado por la suma de las probabilidades inversas de escape a través de los niveles de aptitud. Esta cota es más ajustada que las cotas de cola geométrica estándar, ya que tiene en cuenta la estructura del paisaje.

• Jerarquía de Memoria y Aprendizaje Monótono:
  Bajo una condición de "aprendizaje monótono" (donde condicionar con datos pasados adicionales nunca disminuye la probabilidad de proponer una molécula mejor), los autores demuestran una jerarquía de memoria: la memoria más profunda mejora estrictamente (o al menos no perjudica) las probabilidades de escape y reduce el tiempo de llegada esperado. En este régimen, la memoria completa es óptima, y el beneficio de la memoria exhibe rendimientos decrecientes, saturándose exponencialmente.

• Aprendizaje No Monótono y Profundidad de Memoria Óptima:
  El artículo identifica que el aprendizaje monótono suele fallar en la práctica (por ejemplo, cuando el promedio de grupos ruidosos introduce un sesgo de obsolescencia). En ausencia de monotonicidad, los autores derivan una teoría de salida no monótona. Definen un "perfil de aprendizaje" $\rho_k(j)$ que representa la probabilidad de escape como una función del número de grupos del nivel actual en la ventana. Se muestra que el tiempo de estancia esperado es una función en forma de U de la profundidad de la memoria $m$. En consecuencia, existe una profundidad de memoria óptima finita $m^*$ que equilibra la reducción de la varianza de más datos frente al sesgo de los datos obsoletos. Esta profundidad óptima corresponde al primer pico del perfil de aprendizaje.

• Estrategia de Evaluación Mínima:
  Al reformular la teoría en términos de evaluaciones del oráculo (el verdadero cuello de botella en el diseño de fármacos), los autores demuestran que la operación secuencial ($M=1$) minimiza el número total de evaluaciones. Aunque los tamaños de lote más grandes ($M > 1$) reducen el número de rondas, desperdician evaluaciones en candidatos que se califican incluso después de que ya se ha encontrado un candidato mejor en el mismo lote. La estrategia óptima es proponer un candidato a la vez, potencialmente combinado con memorización y parada temprana.

• Oráculos Ruidosos:
  Para ruido sub-gaussiano, el costo de la certificación se infla por un factor proporcional a $\sigma^2/\Delta^2$, donde $\Delta$ es la brecha de aptitud. Para ruido de cola pesada (donde la varianza puede ser infinita), se demuestra que la media muestral es insuficiente. Los autores demuestran que los estimadores robustos (mediana de medias) o las pruebas de signo sin distribución restauran la corrección, con costos de consulta que se degradan gradualmente con la pesadez de la cola.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer análisis rigurooso de convergencia y tiempo de ejecución para la selección generativa de bucle cerrado que tiene en cuenta los núcleos de aprendizaje adaptativo. Su significancia radica en:

1. Resolver la Ruptura de Markov: Mediante la construcción de un espacio de estados aumentado, cierra la brección entre los modelos generativos adaptativos y la teoría clásica de algoritmos evolutivos.
2. Cuantificar la Memoria: Va más allá de la heurística de "más datos es mejor" para proporcionar un análisis preciso de la compensación entre sesgo y varianza, identificando las condiciones bajo las cuales la memoria finita es óptima.
3. Optimización de Recursos: Establece que, para el diseño de fármacos con restricciones de costo, la evaluación secuencial ($M=1$) es teóricamente óptima para minimizar las llamadas al oráculo, desafiando la práctica común de la evaluación paralela en grandes lotes.
4. Robustez: Ofrece un marco para manejar datos experimentales ruidosos y realistas, incluyendo distribuciones de cola pesada comunes en ensayos biológicos, sin sacrificar las garantías de convergencia.

Los autores concluyen que, si bien la teoría es abstracta y depende de cotas inferiores para las probabilidades de escape que dependen de implementaciones de modelos específicos, proporciona un marco fundacional para analizar y diseñar algoritmos de selección generativa. Identifican tres problemas abiertos: cuantificar las probabilidades de escape para arquitecturas neuronales específicas, diseñar aprendices que sean tanto no monótonos como composición-homogéneos para realizar ganancias de memoria adaptativas al nivel, y extender la certificación robusta a espacios latentes continuos y ruido asimétrico.