A Diagnostic Framework for Auditing Validation-Driven Adaptive Reward Weighting in Molecular Generation

Resumen Técnico: Un Marco de Diagnóstico para Auditar el Ponderado de Recompensas Adaptativo Basado en Validación en la Generación Molecular

Planteamiento del Problema
En la generación molecular multiobjetivo, se propone frecuentemente el ponderado de recompensas adaptativo para superar las limitaciones de la scalarización fija, la cual puede descalibrarse a medida que la distribución molecular generada cambia. Sin embargo, el artículo argumenta que el éxito aparente de los controladores adaptativos suele ser ambiguo. Un controlador puede parecer efectivo no porque utilice información de validación específica para mejorar la utilidad molecular, sino porque reacciona al ruido temporal, optimiza un oráculo de retroalimentación que observa repetidamente (persecución de proxies/proxy chasing), o se beneficia de una computación de validación no emparejada que perturba el flujo de números aleatorios del entrenamiento. Los controles existentes, como el simple barajado de historial o los baselines de pesos iguales, a menudo fallan al aislar estos factores de confusión, lo que conduce a falsos positivos respecto a la eficacia del ponderado adaptativo.

Metodología
Los autores proponen un marco de diagnóstico diseñado para auditar el ponderado de recompensas adaptativo como una comparación causal en lugar de un simple benchmark de controlador. El estudio utiliza el marco REINVENT4 para la generación molecular, centrándose en la optimización de la actividad DRD2, QED (similitud con fármacos) y el peso molecular. La metodología se basa en tres flujos de información distintos y un conjunto riguroso de controles:

1. Separación de Tres Flujos:

   • Recompensa del Generador: Utiliza un modelo de Bosque Aleatorio (RF) entrenado en actividad, combinado con puntuaciones de QED y peso molecular.
   • Retroalimentación del Controlador: Un controlador determinista lee un Modelo de Vectores de Soporte (SVM) entrenado de forma independiente sobre lotes de validación. Este SVM es distinto del modelo de recompensa RF del generador.
   • Evaluación Final: Una Red Neuronal de Paso de Mensajes (MPN) "intacta", entrenada con datos de BindingDB, evalúa las moléculas generadas finales. Crucialmente, esta MPN nunca es consultada durante el entrenamiento o la adaptación del controlador.

2. Controles de Diagnóstico:

   • Placebos de Preservación Temporal: Para abordar la falla del barajado de historial independiente (que interrumpe la autocorrelación de rezago-1 y los eventos de declive), el estudio emplea reproducciones de desplazamiento circular (circular-shift replays). Estos preservan la dinámica temporal de la trayectoria de validación mientras rompen la alineación con la fase de entrenamiento actual.
   • Robustez de Mecanismo Distinto: El replay de cross-seed utiliza el historial de validación de una semilla diferente (emparejada cíclicamente) para asegurar que el controlador no esté explotando artefactos específicos de la semilla.
   • Emparejamiento de Cómputo y RNG: Los comparadores estáticos (ponderado igual congelado y ponderado ajustado seleccionado durante el desarrollo) se ejecutan con una cadencia de validación, muestreo de lotes y estados del generador de números aleatorios (RNG) idénticos para asegurar que el muestreo de validación no altere el proceso de entrenamiento.
   • Control Positivo de Extremo a Extremo: Se utiliza una tarea semi-sintética donde se inyecta un declive de QED conocido. El sistema debe recuperar exitosamente una ganancia de QED para demostrar que el pipeline es capaz de detectar y actuar sobre una señal real.

3. Diseño Experimental:

   • Un experimento confirmatorio bloqueado de 10 semillas emparejadas y 70 ejecuciones totales.
   • La inferencia estadística se realiza al nivel de la semilla (diferencias emparejadas), no al nivel de la molécula, utilizando 100,000 remuestreos de bootstrap.
   • Se estableció un margen práctico preespecificado de +0.015 para el endpoint primario (diferencia de actividad del SVM).
   • Se aplica el análisis de Dominio de Aplicabilidad (AD) a la MPN final para distinguir entre la extrapolación fuera del dominio y la utilidad descendente soportada.

Resultados Clave

• Validación de Placebos: Los placebos de desplazamiento circular preservaron con éxito las características temporales (autocorrelación, conteos de declive) significativamente mejor que el barajado independiente, corrigiendo un desajuste en el proceso de activación del controlador.
• Desempeño del Controlador: Contra el placebo de desplazamiento circular primario, el controlador real mostró un aumento medio de actividad del SVM de +0.00236 (IC 95%: -0.00327 a +0.00946). Esto está muy por debajo del margen práctico preespecificado de +0.015.
• Utilidad Descendente: La MPN intacta mostró una pequeña ganancia positiva para todas las moléculas válidas (+0.00788) pero un cambio insignificante (-0.00032) dentro del dominio de aplicabilidad del modelo (que cubría solo ~4.4% de las moléculas generadas). Esto indica que las ganancias observadas no persistieron en regiones químicamente soportadas.
• Comparadores Estáticos: El controlador adaptativo no superó al ponderado estático igual. Al compararse contra un comparador estático ajustado, el controlador mostró un compromiso (mayor actividad pero menor QED) en lugar de una superioridad uniforme.
• Control Positivo: El control semi-sintético de extremo a extremo recuperó con éxito una ganancia media de QED de +0.126 en todas las semillas, demostrando que el pipeline de auditoría es lo suficientemente sensible para detectar una respuesta molecular conocida y prácticamente significativa.

Significancia y Reivindicaciones
El artículo enmarca explícitamente su contribución como un plantilla de auditoría reutilizable para evaluar controladores de generación molecular adaptativos, en lugar de una afirmación de que el ponderado adaptativo es generalmente ineficaz.

• Auditoría de Utilización de Señal: El estudio concluye que el controlador probado no demostró una utilización prácticamente significativa de las señales de validación ni de la utilidad descendente soportada por el dominio de aplicabilidad.
• Controles Necesarios: Los autores identifican que la evaluación válida del ponderado adaptativo requiere un conjunto de controles conjuntamente necesarios: placebos de preservación temporal, separación de oráculos (entrenamiento vs. retroalimentación vs. evaluación final), emparejamiento de cómputo/RNG, scalarización estática competitiva y detectabilidad de extremo a extremo.
• Cambio de Interpretación: El marco demuestra cómo estos controles pueden cambiar la interpretación de un resultado de desarrollo aparentemente prometedor, revelando que las mejoras observadas pueden ser artefactos del diseño experimental en lugar de una optimización molecular genuina.
• Modestia: Los autores advierten que el resultado negativo es específico para el controlador, los oráculos y el régimen de DRD2/QED/peso molecular bloqueados. No afirman que el pipeline de análisis sea globalmente insensible, sino que detectó con éxito la falta de efecto en esta configuración específica mientras probaba su propia sensibilidad mediante el control positivo.