Resumen Técnico: Optimización Molecular Amortizada mediante Optimización de Política Relativa por Grupos (AMORTIX)

1. Declaración del Problema

En el descubrimiento de fármacos, el diseño molecular a menudo requiere modificar una estructura inicial fija (por ejemplo, decoración de andamios, diseño de conectores) en lugar de generar moléculas desde cero. Estas tareas se evalúan típicamente utilizando "oráculos" costosos (funciones de puntuación), que van desde proxies heurísticos hasta simulaciones de alta fidelidad como la perturbación de energía libre.

Los métodos actuales del estado del arte siguen predominantemente un paradigma de optimización por instancia. Algoritmos como los Algoritmos Genéticos (Mol GA) y los modelos de difusión discreta guiada (GenMol) realizan una optimización iterativa basada en búsqueda para cada nueva estructura de entrada. Este enfoque requiere miles de llamadas al oráculo por tarea de diseño, lo que resulta en altos costos computacionales que escalan linealmente con el número de estructuras iniciales.

Aunque la optimización amortizada —aprender una política transferible para generar moléculas optimizadas en una sola pasada hacia adelante sin llamadas al oráculo en tiempo de inferencia— ofrece una solución teórica, los métodos existentes luchan en la práctica. No logran generalizar a diversas restricciones estructurales o sufren inestabilidad en el entrenamiento. Los autores identifican la causa raíz como la heterogeneidad en la dificultad de optimización: algunas estructuras iniciales producen derivados de alta puntuación fácilmente, mientras que otras están químicamente restringidas y producen puntuaciones modestas independientemente de la modificación. Los métodos estándar de aprendizaje por refuerzo (RL) que utilizan líneas base globales (por ejemplo, REINFORCE) o críticos de valor aprendidos (por ejemplo, PPO) no logran estabilizar el entrenamiento bajo esta varianza, ya que las señales de recompensa se vuelven incomparables entre diferentes estructuras iniciales.

2. Metodología: AMORTIX

Los autores proponen AMORTIX, un modelo de Transformador de Grafos amortizado diseñado para optimizar estructuras moleculares bajo restricciones estructurales estrictas con cero llamadas al oráculo en tiempo de inferencia.

2.1 Arquitectura de la Política

AMORTIX emplea un Transformador de Grafos solo de decodificador que opera directamente sobre representaciones de grafos moleculares. El proceso de generación se modela como un Proceso de Decisión de Markov (MDP) secuencial con un espacio de acciones jerárquico:

1. Selección de Operación: Elegir agregar un nuevo átomo, modificar un átomo existente o terminar.
2. Selección de Objetivo: Seleccionar el átomo específico en el grafo actual al que conectar.
3. Especificación de Enlace: Determinar el orden del enlace (simple, doble, triple, etc.).

Para garantizar la validez química, se aplica una máscara de validez en cada paso, anulando las acciones que violarían las reglas de valencia atómica. Esto garantiza que todas las estructuras generadas sean químicamente válidas por construcción. El modelo se preentrena en la base de datos ChEMBL mediante forzado de maestro supervisado para aprender la plausibilidad química antes del ajuste fino con RL.

2.2 Entrenamiento mediante Optimización de Política Relativa por Grupos (GRPO)

La innovación central radica en adaptar la Optimización de Política Relativa por Grupos (GRPO) al dominio molecular para abordar la heterogeneidad de las estructuras iniciales.

• Formación de Grupos: Para cada paso de entrenamiento, se muestrea un lote de estructuras iniciales. Para cada estructura inicial $S_i$, la política genera un grupo de $G$ trayectorias completadas (moléculas).
• Ventaja Relativa: En lugar de utilizar una línea base global o un crítico de valor, la ventaja $A_{i,j}$ para una trayectoria $j$ desde la estructura $i$ se calcula centrando su recompensa $R(O_{i,j})$ contra la recompensa media $\mu_i$ de su grupo específico:
  $$A_{i,j} = R(O_{i,j}) - \mu_i, \quad \text{donde } \mu_i = \frac{1}{G} \sum_{k=1}^{G} R(O_{i,k})$$
• Normalización: Los autores omiten la división por la desviación estándar del grupo y la normalización por la longitud de la trayectoria. Esto evita que las estructuras donde todas las completaciones puntúan de manera similar (ya sea trivialmente fáciles o casi imposibles) reciban un peso de gradiente desproporcionado y evita penalizar las completaciones concisas.
• Actualización: La política se actualiza utilizando un solo paso de gradiente por lote, agregando contribuciones a través de todos los pasos de generación. Este enfoque desacopla la señal de aprendizaje de las variaciones en la dificultad entre estructuras.

3. Contribuciones Clave

1. Identificación de Modos de Fallo: El artículo identifica que la alta varianza en las señales de recompensa causada por la heterogeneidad en la dificultad de las estructuras moleculares es un modo de fallo principal para el RL amortizado en la optimización con restricciones estructurales. Los estudios de ablación demuestran que ni REINFORCE con una línea base global ni PPO con un crítico de valor estabilizan efectivamente el entrenamiento en este escenario.
2. Marco AMORTIX: Una política basada en Transformador de Grafos entrenada con RL relativo por grupos que generaliza a andamios fuera de distribución con cero llamadas al oráculo en tiempo de inferencia.
3. Superioridad en Rendimiento: AMORTIX supera tanto a las líneas base de optimización amortizada como a las de instancia en tareas de decoración de andamios orientadas a objetivos, requiriendo significativamente menos llamadas totales al oráculo al escalar a múltiples estructuras iniciales.

4. Resultados Experimentales

Los autores evalúan AMORTIX en tres tareas distintas:

4.1 Benchmark PMO (Eficiencia de Muestra)

En el benchmark PMO (22 tareas con un presupuesto de 10,000 llamadas al oráculo), AMORTIX se ejecutó como optimizador por instancia (utilizando REINFORCE estándar con una línea base global, ya que la heterogeneidad de la estructura inicial está ausente en la generación de novo de una sola tarea).

• Resultado: AMORTIX logró una puntuación AUC acumulada top-10 de 16.433, clasificándose primero entre políticas amortizadas y segundo en general entre todos los paradigmas, quedando por detrás solo del optimizador por instancia de difusión discreta GenMol.

4.2 Decoración de Andamios Orientada a Objetivos

Esta evaluación prueba la generalización a andamios no vistos (fuera de distribución) para la optimización de un solo objetivo (GSK3$\beta$, JNK3) y múltiples objetivos (Kinase MPO).

• Configuración: Los andamios se dividieron mediante descomposición de Murcko y agrupamiento para asegurar que los andamios de prueba fueran topológicamente distintos de los datos de entrenamiento.
• Resultados: AMORTIX obtuvo las puntuaciones más altas en las tres tareas, superando a las líneas base amortizadas (LibINVENT, GraphXForm, DrugEx v3) y a los optimizadores por instancia (Mol GA, GenMol).
  • Kinase MPO: AMORTIX obtuvo 0.619, superando significativamente a LibINVENT (0.455) y a los optimizadores por instancia Mol GA (0.461) y GenMol (0.479).
  • Estabilidad: Los estudios de ablación confirmaron que AMORTIX-REINFORCE y AMORTIX-PPO exhibieron una inestabilidad severa (alta desviación estándar en las estimaciones de ventaja) en comparación con el estable AMORTIX-GRPO.
• Eficiencia de Costos: El presupuesto de entrenamiento fijo de AMORTIX (~50,000 llamadas al oráculo) se recupera después de procesar aproximadamente 100 andamios de prueba frente a Mol GA y 150 frente a GenMol. Más allá de este punto de equilibrio, AMORTIX ofrece costos acumulados del oráculo órdenes de magnitud menores.

4.3 Estudio de Caso: Transferencia de Profármacos

El modelo se ajustó finamente en solo cuatro fármacos de ejemplo para aprender una regla de modificación para mejorar la penetración en el SNC mediante el diseño de profármacos.

• Resultado: Aplicado a 52 fármacos padres no vistos, AMORTIX generó con éxito profármacos estructuralmente limpios. Recuperó tres motivos clivables distintos (éster alquilo, carbamato alquilo, éster bencilo) sin instrucción explícita.
• Rendimiento: El 31% de las generaciones fueron profármacos "puros" (solo uniones clivables) y el 63% contenía al menos un mango clivable, con un aumento promedio predicho en la penetración de la barrera hematoencefálica (BBB) de +0.26.

5. Significado y Afirmaciones

El artículo afirma que AMORTIX demuestra que la carga computacional de la optimización molecular puede desplazarse efectivamente de la búsqueda en tiempo de inferencia al aprendizaje en tiempo de entrenamiento. Al adaptar GRPO para normalizar las recompensas dentro de grupos de completaciones que comparten la misma estructura inicial, el método estabiliza el aprendizaje en presencia de dificultad heterogénea.

Los autores posicionan a AMORTIX como una alternativa escalable a los métodos de búsqueda iterativa, permitiendo el diseño de alto rendimiento sin el costo prohibitivo de evaluaciones repetidas del oráculo. Señalan que, aunque el proceso de entrenamiento sigue siendo intensivo en llamadas al oráculo, la naturaleza amortizada de la política la hace altamente eficiente para escenarios que involucran muchas estructuras iniciales.

6. Limitaciones

Los autores reconocen explícitamente varias limitaciones:

• Topología 2D: El marco opera exclusivamente sobre topologías moleculares 2D, no capturando explícitamente la dinámica conformacional 3D ni la estereoquímica.
• Conectividad: La máscara de acciones actual asume un andamio inicial único y conectado. La extensión a subgrafos desconectados (por ejemplo, unión de fragmentos) requiere modificaciones arquitectónicas.
• Acciones Aditivas: El proceso de generación se restringe a acciones aditivas (agregar átomos/enlaces). No admite la eliminación o sustitución de átomos, que son necesarias para tareas como el salto de andamios.
• Costo de Entrenamiento: Aunque la inferencia es barata, el proceso de entrenamiento requiere decenas de miles de llamadas al oráculo, lo que hace necesaria una validación adicional para cuantificar con precisión el compromiso de amortización para casos de uso específicos.