Reinforcement Learning with LLM-Guided Action Spaces for Synthesizable Lead Optimization

Resumen Técnico: MolReAct

1. El Problema

La optimización de líderes (lead optimization) en el descubrimiento de fármacos busca mejorar las propiedades terapéuticas de una molécula candidata manteniendo su viabilidad sintética. Los enfoques computacionales existentes presentan dos limitaciones principales:

• Falta de Sintetizabilidad: Muchos métodos basados en Aprendizaje por Refuerzo (RL) o algoritmos genéticos optimizan las puntuaciones de propiedades (como la afinidad de unión) sin garantizar que las modificaciones estructurales propuestas sean químicamente válidas o sintéticamente accesibles. Esto genera moléculas "invenibles" pero imposibles de sintetizar.
• Ineficiencia y Validez de LLMs: La aplicación directa de Modelos de Lenguaje Grandes (LLMs) a la generación molecular a menudo produce estructuras químicamente inválidas. Además, los sistemas LLM aumentados con herramientas suelen estar diseñados para tareas de un solo paso (como retrosíntesis) y luchan para tomar decisiones secuenciales a largo plazo en trayectorias de optimización multi-paso.
• Costo Computacional: Los métodos que exploran redes de reacciones extensas sin guía direccional requieren evaluaciones costosas de oráculos y recursos computacionales masivos.

2. Metodología: El Marco MolReAct

Los autores proponen MolReAct, un marco que formula la optimización de líderes como un Proceso de Decisión de Markov (MDP) sobre un espacio de acciones restringido por síntesis. El sistema se compone de tres componentes clave:

A. Entorno de Reacción Dinámico (Agente LLM Aumentado)
En lugar de un espacio de acciones fijo y enorme, el sistema construye dinámicamente un conjunto compacto de acciones válidas en cada paso:

1. Coincidencia de Plantillas: Se identifican plantillas de reacción validadas (de un conjunto curado de 115 reacciones) que coinciden con la subestructura de la molécula actual.
2. Instanciación Guiada por LLM: Un agente LLM (Llama-3.3-70B) actúa como entorno. Utiliza herramientas químicas especializadas (basadas en RDKit) para analizar la molécula (grupos funcionales, sitios reactivos, esqueletos, etc.).
3. Propuesta de Transformaciones: El agente selecciona las plantillas más relevantes y propone hasta 10 transformaciones químicas concretas, especificando los bloques de construcción necesarios. Esto asegura que todas las acciones propuestas sean químicamente fundamentadas y sintéticamente factibles.

B. Modelo de Política (RL)

• Se entrena un modelo de política independiente (Qwen-3-4B) para seleccionar entre las acciones propuestas por el agente LLM.
• Algoritmo: Se utiliza Optimización de Política Relativa de Grupo (GRPO). A diferencia de métodos que asignan crédito paso a paso, GRPO asigna crédito a nivel de trayectoria. El modelo genera un grupo de trayectorias independientes, calcula una recompensa terminal basada en un oráculo (propiedad objetivo) y asigna ventajas relativas a todos los pasos de la trayectoria para maximizar la recompensa a largo plazo.
• Estructura: El modelo recibe la molécula actual y las descripciones de las reacciones candidatas, proyectando logits sobre un conjunto fijo de "ranuras" de acción.

C. Mecanismo de Caché
Para mitigar el alto costo de inferencia de los LLMs durante la exploración de RL, se implementa un mecanismo de caché basado en SMILES. Si una molécula ya ha sido visitada, el sistema recupera instantáneamente el espacio de acciones y los resultados de transición precalculados, evitando llamadas redundantes al LLM.

3. Contribuciones Clave

1. Espacio de Acción Restringido por Síntesis: MolReAct cierra la brecha entre la optimización de propiedades y la viabilidad sintética al anclar cada paso de optimización en plantillas de reacción validadas, garantizando que cada molécula generada tenga una ruta sintética explícita.
2. Arquitectura Híbrida LLM-RL: Separa roles estratégicamente: el LLM (con herramientas) construye dinámicamente un espacio de acciones factible y químicamente informado, mientras que el modelo de RL optimizado con GRPO toma las decisiones secuenciales a largo plazo.
3. Eficiencia Computacional: El mecanismo de caché reduce el tiempo de optimización de extremo a extremo en aproximadamente un 43%, haciendo viable el uso de LLMs grandes en bucles de RL.
4. Validación Experimental: Demostración de que las propuestas de reacciones son comercialmente viables (66-76% de los bloques de construcción son directamente comprables en catálogos comerciales como Enamine).

4. Resultados Experimentales

El marco se evaluó en 14 tareas (13 del Therapeutic Data Commons y una tarea de acoplamiento estructural).

• Rendimiento General: MolReAct logró la puntuación Top-10 promedio más alta (0.563), superando a la mejor línea base sintetizable (SynFormer) en un 10.4% de mejora relativa.
• Eficiencia de Muestra: Logró la mejor eficiencia de muestreo (AUC10) en 10 de las 14 tareas, indicando una convergencia más rápida hacia regiones químicas de alto valor.
• Tareas Específicas: Mostró mejoras significativas en objetivos de proteínas (JNK3, GSK3β, DRD2), donde el agente pudo utilizar el contexto del bolsillo de unión para seleccionar transformaciones farmacológicamente relevantes.
• Análisis de Ablación:
  • Las propuestas guiadas por herramientas (Tool-LLM) superaron significativamente a las selecciones aleatorias y a los LLMs "vanilla", demostrando la importancia del anclaje estructural.
  • La optimización de política a nivel de trayectoria (GRPO) superó a las búsquedas codiciosas (greedy), evitando óptimos locales y descubriendo rutas sintéticas globales superiores.
• Análisis de Ruta: Los casos de estudio mostraron que MolReAct introduce farmacóforos críticos (ej. alquilación N, cianación aril) que mejoran tanto la puntuación del oráculo como la afinidad de acoplamiento (AutoDock Vina), validando la relevancia química de las rutas descubiertas.

5. Significado e Impacto

MolReAct representa un avance significativo en la intersección de la IA generativa y la química médica. Al integrar explícitamente el conocimiento químico (plantillas y herramientas) dentro del proceso de toma de decisiones de RL, el sistema produce no solo moléculas con propiedades mejoradas, sino rutas sintéticas completas y validadas.

Esto aborda uno de los mayores cuellos de botella en el descubrimiento de fármacos: la desconexión entre la optimización computacional y la síntesis real en el laboratorio. El enfoque demuestra que es posible escalar la optimización de líderes multi-paso manteniendo la factibilidad sintética, ofreciendo una herramienta práctica para acelerar la fase temprana del desarrollo de fármacos. Además, la arquitectura modular permite actualizar el agente LLM o las herramientas sin reentrenar todo el sistema de política, facilitando su adaptación a nuevos conocimientos químicos.