🤖 AI

PGFS++: Molecular Property Improvement under Synthesis and Diversity Constraints

Este artículo presenta PGFS++, un marco de aprendizaje por refuerzo consciente de la síntesis que mejora las propiedades moleculares al tiempo que preserva la diversidad de los resultados y proporciona rutas de síntesis explícitas, abordando las limitaciones de selección de reactivos y el colapso de la diversidad por manipulación de recompensas encontrados en su predecesor, PGFS+.

Autores originales: Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

Publicado 2026-08-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las etapas iniciales de la creación de nuevos medicamentos, los científicos se enfrentan a un constante acto de equilibrio. Necesitan diseñar moléculas que sean lo suficientemente potentes como para combatir enfermedades, pero también deben asegurarse de que esas moléculas puedan ser construidas realmente en un laboratorio. Durante años, la inteligencia artificial ha ayudado a generar nuevas estructuras moleculares, optimizándolas a menudo para rasgos específicos, como qué tan bien podrían unirse a un virus o qué tan seguras son para el cuerpo humano. Sin embargo, una brecha significativa ha persistido: muchos de estos diseños generados por computadora son químicamente válidos en el papel, pero imposibles de fabricar con las herramientas e ingredientes disponibles en los laboratorios del mundo real. Para cerrar esta brecha, los investigadores han recurrido a un método llamado síntesis hacia adelante (forward synthesis), que trata la creación de fármacos como un proyecto de construcción paso a paso, comenzando con una molécula conocida y añadiendo piezas una por una mediante reacciones químicas establecidas. El objetivo es guiar a la computadora no solo hacia una mejor molécula, sino hacia una mejor molécula que venga con un manual de instrucciones claro y factible sobre cómo construirla.

Un equipo de investigadores de la Universidad de Cambridge y Graphcore ha desarrollado un nuevo sistema llamado PGFS++ para resolver un problema específico que surgió al intentar automatizar este proceso. Su trabajo se basa en un método anterior conocido como PGFS, que utilizaba un tipo de aprendizaje de inteligencia artificial llamado aprendizaje por refuerzo. En esta configuración, la computadora actúa como un agente que intenta mejorar una molécula inicial seleccionando reacciones químicas y bloques de construcción. La versión anterior de este sistema, una mejora que llamaron Prafos+, funcionaba bien para encontrar moléculas con propiedades mejoradas, pero sufría un fallo extraño. El sistema se volvía demasiado eficiente al encontrar una única solución altamente gratificante. En lugar de crear una amplia variedad de versiones mejoradas para diferentes materiales de partida, canalizaba cientos de moléculas de entrada hacia el mismo producto final exacto. Los investigadores llaman a esto el efecto "imán", donde el sistema es atraído hacia un resultado de alta puntuación, colapsando la diversidad de los resultados y haciendo que la herramienta sea inútil para crear mejoras personalizadas para fármacos específicos.

Para solucionar esto, el equipo introdujo PGFS++, un marco refinado que obliga a la computadora a mantener la conexión entre el material de partida y el resultado final. El sistema sigue trabajando mediante la selección de plantillas de reacción y bloques de construcción compatibles de una enorme biblioteca de más de 118,000 ingredientes químicos disponibles. Utiliza un mapa precomputado para identificar rápidamente qué bloques de construcción pueden reaccionar legalmente con una parte específica de la molécula, reduciendo millones de posibilidades a una lista manejable. La innovación clave reside en cómo el sistema se recompensa a sí mismo. En la versión anterior, la computadora solo era recompensada si la molécula final tenía mejores propiedades, lo que la incentivaba a ignorar el punto de partida por completo. En PGFS++, el sistema de recompensa incluye un bono por mantener la similitud estructural con la entrada original. Esto significa que la computadora es penalizada si se aleja demasiado de la molécula inicial, asegurando que las mejoras sean específicas para ese candidato a fármaco en particular, en lugar de ser una solución genérica de talla única.

Los resultados de este nuevo enfoque fueron probados en dos medidas comunes de la calidad de un fármaco: una puntuación de qué tan "parecido a un fármaco" es una molécula y una puntuación de qué tan fácil es de sintetizar. Cuando los investigadores realizaron simulaciones con miles de moléculas de partida diferentes, el nuevo sistema mejoró con éxito las propiedades objetivo manteniendo la diversidad de los resultados. A diferencia de la versión anterior, que producía moléculas casi idénticas para casi cada entrada, PGFS++ generó una amplia gama de estructuras únicas y mejoradas. El sistema también mantuvo puntuaciones altas de accesibilidad sintética, lo que significa que las rutas que encontró eran prácticas para que los químicos las siguieran. Al prevenir el colapso hacia una única solución "imán", los investigadores demostraron que es posible optimizar los candidatos a fármacos para necesidades específicas sin sacrificar la variedad requerida para explorar diferentes posibilidades químicas. Este trabajo sugiere que las futuras herramientas de descubrimiento de fármacos pueden ser tanto altamente efectivas para mejorar las propiedades moleculares como respetuosas con los puntos de partida únicos que definen la investigación del mundo real.

Resumen Técnico: PGFS++ para la Mejora de Propiedades Moleculares

Declaración del Problema

En las etapas iniciales del descubrimiento de fármacos, la mejora de las propiedades moleculares (por ejemplo, la similitud con fármacos o la afinidad de unión) es crítica. Sin embargo, las moléculas optimizadas en un espacio químico no restringido pueden carecer de valor práctico si no pueden sintetizarse. Aunque los métodos de Aprendizaje por Refuerzo (RL) como PGFS (Policy Gradient for Forward Synthesis) abordan esto al restringir la búsqueda a rutas de síntesis accesibles, sufren de limitaciones específicas:

Selección Indirecta de Reactivos: PGFS utiliza una red neuronal para predecir un embedding continuo para el segundo reactivo ( $R_2$ ), seguido de una búsqueda de vecinos más cercanos para recuperar una molécula discreta. Esto crea un desajuste entre la acción continua optimizada y la reacción discreta ejecutada, lo que puede limitar la efectividad del aprendizaje.
El Modo de Fallo de "Molécula Imán" (Magnet Output): Incluso las variantes mejoradas (como la propuesta PGFS+) pueden colapsar la diversidad de la salida. La política aprende a mapear moléculas de entrada diversas hacia una única "molécula imán" de alta recompensa. Si bien esto maximiza la puntuación de la propiedad objetivo (por ejemplo, QED), destruye la diversidad de la salida y no logra una mejora molecular específica para cada entrada.

Metodología

El artículo propone PGFS++, un marco de RL consciente de la síntesis diseñado para mejorar las propiedades moleculares preservando la diversidad y asegurando rutas de síntesis explícitas.

1. Espacio de Acción y Puntuación Mejorados (PGFS+)

Para abordar las limitaciones de PGFS, los autores desarrollaron primero PGFS+:

Embeddings Aprendidos: En lugar de predecir embeddings continuos, PGFS+ utiliza tablas de búsqueda de embeddings entrenables para las plantillas de reacción y los segundos reactivos ( $R_2$ ).
Puntuación Global Directa: Las moléculas y las plantillas se proyectan en un espacio de reacción aprendido. Se utiliza un vector de consulta $q = \text{concat}(\phi_1(R_1), \phi_T(T))$ para puntuar directamente todos los candidatos de $R_2$ compatibles con la plantilla mediante un mecanismo de tipo atención.
Cambio de Algoritmo: El algoritmo de acción continua (TD3) se reemplaza por PPO (Optimización de Política Próxima), que soporta naturalmente una política categórica sobre el espacio de acción indexado de $R_2$ .
Máscaras Precomputadas: Para manejar el gran espacio de acción, los autores precomputan máscaras de compatibilidad utilizando el emparejamiento de subestructuras de RDKit, reduciendo el conjunto de candidatos a un tamaño manejable (mediana de ~1,000 candidatos por plantilla).

2. Mitigación del Colapso de Diversidad (PGFS++)

Para resolver el problema de la "molécula imán" donde entradas diversas mapean a salidas idénticas de alta recompensa, PGFS++ introduce un Bono de Similitud Entrada-Salida en la función de recompensa.

Modelado de Recompensa (Reward Shaping): La recompensa del episodio $r_{episode}$ se modifica para incluir un término basado en la similitud de Tanimoto entre la molécula de entrada ( $m_{in}$ ) y la de salida ( $m_{out}$ ):
$r_{episode} = r_{property}(m_{out}) \cdot (1 + c \cdot \text{sim}(m_{in}, m_{out}))$
Limitación de Recompensa (Reward Capping): Si la similitud cae por debajo de un umbral $\tau$ , la recompensa se limita para evitar que la política ignore la estructura de entrada por completo.
Justificación Teórica: Los autores derivan que, sin esta restricción, la política induce un "sesgo de edición hacia adentro" (covarianza negativa entre la entrada y el desplazamiento de la edición), lo que conduce al colapso de la diversidad ( $D_{out} \to 0$ ). El bono de similitud estrecha el límite superior de la caída de la diversidad, fomentando que el modelo produzca mejoras específicas para la entrada en lugar de converger a una única molécula imán.

Contribuciones Clave

Marco PGFS++: Un marco de RL con restricciones de síntesis que extiende PGFS mediante el uso de espacios de acción discretos, máscaras de compatibilidad precomputadas y puntuación basada en atención global para la selección de reactivos.
Identificación de la Molécula Imán: El artículo identifica y caracteriza un modo de fallo específico en la mejora molecular consciente de la síntesis, donde se alcanzan altas puntuaciones de propiedad a costa de la diversidad de la salida.
Bono de Similitud Entrada-Salida: La propuesta de un bono de similitud multiplicativo como un mecanismo efectivo para resolver el colapso de la diversidad, asegurando que el modelo realice mejoras específicas para la entrada mientras mantiene una alta diversidad de salida.

Resultados Experimentales

El marco fue evaluado en un conjunto de datos de ~118,000 moléculas y 102 plantillas de reacción, centrándose en la mejora de QED (Estimación Cuantitativa de Similitud con Fármacos) y SEH (Accesibilidad Sintética/Salud).

Rendimiento vs. Baselines: PGFS++ superó consistentemente a PGFS y sus variantes (PGFS-TAC, PGFS-MB) tanto en la mejora de propiedades como en las métricas de diversidad. Logró un rendimiento competitivo con REINVENT4 (un modelo generativo) y SynFlowNet (un método basado en GFlowNet), con la ventaja distintiva de proporcionar rutas de síntesis explícitas.
Preservación de la Diversidad: A diferencia de PGFS+, que colapsó la diversidad (produciendo la misma salida para ~97.8% de las entradas de prueba), PGFS++ mantuvo una alta diversidad de salida mientras alcanzaba un alto QED medio.
Estudios de Ablación: Las comparaciones entre los bonos de similitud aditivos y multiplicativos mostraron que la forma multiplicativa (utilizada en PGFS++) preserva mejor la propiedad objetivo (QED) mientras mitiga eficazmente el problema de la molécula imán.
Métricas: El marco demostró un rendimiento superior en la Sintetizabilidad Consciente de la Ruta (RAS), la similitud entrada-salida y la diversidad estructural en comparación con los modelos base que carecen de restricciones de síntesis o que sufren de colapso de diversidad.

Significado y Reivindicaciones

El artículo afirma que PGFS++ representa un paso significativo hacia la mejora molecular específica de la entrada. Al tratar la molécula de entrada como el inicio de una trayectoria de síntesis hacia adelante y aplicar la similitud estructural, el marco evita el comportamiento de "hackeo de recompensa" donde los modelos optimizan para un máximo global a expensas de la diversidad.

Los autores enfatizan que, mientras que los métodos anteriores o ignoraban las restricciones de síntesis o fallaban en mantener la diversidad bajo dichas restricciones, PGFS++ equilibra con éxito tres objetivos contrapuestos:

Mejora de Propiedades: Maximizar métricas objetivo como el QED.
Viabilidad Sintética: Proporcionar rutas de síntesis válidas y explícitas.
Diversidad: Asegurar que las moléculas de salida sean estructuralmente diversas y específicas para sus entradas, en lugar de colapsar hacia una solución "imán" única.

El trabajo sugiere que para el descubrimiento de fármacos práctico, donde a menudo se requiere mantener un andamio (scaffold) o características estructurales específicas de un compuesto líder, los métodos conscientes de la síntesis deben penalizar explícitamente la pérdida de relación entrada-salida para ser efectivos.