Confidence is the key: how conformal prediction enhances the generative design of permeable peptides

Resumen Técnico: La confianza es la clave: cómo la predicción conformal mejora el diseño generativo de péptidos permeables

Enunciado del Problema
Los modelos generativos acoplados con aprendizaje por refuerzo (RL), como REINVENT y PepINVENT, son herramientas poderosas para el diseño molecular de novo. Sin embargo, su dependencia de modelos predictivos como funciones de puntuación introduce una vulnerabilidad crítica: el dominio de aplicabilidad. Cuando los agentes de RL exploran el espacio químico, a menudo proponen moléculas que se encuentran fuera de la distribución de entrenamiento del modelo predictivo. En estas regiones, las predicciones se vuelven poco fiables, lo que puede desviar la optimización hacia espacios químicos de alta recompensa pero de alta incertidumbre. Este problema es particularmente agudo para los péptidos cíclicos, que muestran promesa terapéutica pero están subrepresentados en los datos de entrenamiento en comparación con las moléculas pequeñas. El desafío radica en distinguir entre diseños genuinamente permeables y artefactos de la extrapolación del modelo, donde las altas probabilidades predichas pueden carecer de calibración y fiabilidad.

Metodología
Los autores proponen un marco generativo consciente de la incertidumbre que integra la Predicción Conformal (CP) directamente en el bucle de RL para el diseño de péptidos cíclicos permeables a células.

• Marco Generativo: El estudio utiliza PepINVENT, un modelo basado en transformadores entrenado con datos semisintéticos (aminoácidos naturales y no naturales en notación CHUCKLES). El proceso de RL implica enmascarar posiciones de aminoácidos en péptidos cíclicos de entrada y generar reemplazos.
• Modelo Predictivo: Un clasificador XGBoost entrenado en la base de datos CycPeptMPDB (6.876 entradas de péptidos cíclicos) predice la permeabilidad pasiva de membrana (datos del ensayo PAMPA). El modelo utiliza Huellas Dactilares de Conectividad Extendida (ECFP) como descriptores.
• Cuantificación de la Incertidumbre: En lugar de utilizar las probabilidades crudas del modelo, los autores emplean la Predicción Conformal Inductiva Mondrian (ICP). Este marco calibra las predicciones para proporcionar estimaciones de confianza válidas para instancias individuales. Genera dos valores p: $P_1$ (confianza de que la molécula es permeable) y $P_0$ (confianza de que la molécula es no permeable).
  • Una predicción se considera "conformalmente eficiente" (fiable) si $P_1 > 0.2$ y $P_0 < 0.2$ (correspondiente a un nivel de confianza del 80%).
  • Se utilizó un Predictor Conformal Agregado (ACP) que emplea 10 modelos ICP para mejorar la eficiencia.
• Estrategias de Puntuación: El estudio evaluó seis funciones de puntuación dentro del bucle de RL:
  1. Modelo Crudo (RM): Probabilidad de la clase permeable (línea base).
  2. CP P1: Maximizar el valor p para la clase permeable.
  3. CP 1-P0: Maximizar el complemento del valor p no permeable.
  4. CP P1-P0: Maximizar la diferencia entre los dos valores p.
  5. Función Estricta: Una recompensa binaria (1 o 0) solo si se cumplen ambas condiciones: $P_1 > 0.2$ y $P_0 < 0.2$.
  6. Función Suave: Una función escalón que proporciona una recompensa parcial (0.5) si se cumple alguna condición, y una recompensa completa (1) si se cumplen ambas.

El bucle de RL optimiza estas puntuaciones durante 350 épocas para 150 consultas de prueba (péptidos cíclicos con 6–12 residuos), enmascarando 1–4 posiciones por consulta.

Resultados Clave

• Limitaciones de las Probabilidades Crudas: Aunque el agente de RL aumentó con éxito las probabilidades del modelo crudo (de 0.51 a 0.87), el número de predicciones conformalmente eficientes se mantuvo bajo. Las altas probabilidades crudas no garantizaban que las moléculas cayeran dentro del dominio de aplicabilidad del predictor, ya que $P_0$ a menudo permanecía por encima del umbral de significancia.
• Superioridad de la Puntuación Basada en CP:
  • Los objetivos de un solo valor p (P1 o 1-P0) mostraron mejoras marginales y no lograron garantizar la confianza conjunta.
  • La función de puntuación "Suave" superó a todos los demás métodos. Logró la convergencia más rápida (alcanzando el objetivo del 50% de predicciones permeables conformalmente eficientes en ~150 épocas) y generó la mayor fracción de moléculas con etiquetas permeables confiables.
  • La función "Estricta" fue aprendible pero menos eficiente en la exploración temprana debido a recompensas dispersas.
• Validez vs. Eficiencia: La función de puntuación suave generó menos moléculas válidas únicas en total en comparación con el modelo crudo o los métodos de un solo valor p, pero una proporción significativamente mayor de esas moléculas fueron predicciones permeables conformalmente eficientes. Esto indica que el modelo crudo infla las tasas de acierto con predicciones poco fiables, mientras que el enfoque CP-suave apunta a aciertos fiables.
• Dependencia de la Longitud: El rendimiento varió según la longitud del péptido. La función de puntuación suave optimizó eficazmente péptidos de longitudes 6, 7, 8 y 10 (bien representados en los datos de entrenamiento). Para las longitudes 9, 11 y 12 (menos representadas), el modelo luchó por alcanzar niveles de confianza altos dentro de las 350 épocas, demostrando la capacidad del marco para señalar cuándo un objetivo de diseño excede el dominio de aplicabilidad del predictor.

Significado y Afirmaciones
El artículo afirma presentar el primer marco que integra la predicción conformal directamente en el diseño generativo guiado por aprendizaje por refuerzo. Los autores argumentan que este enfoque:

1. Cierra la Brecha: Conecta la incertidumbre inherente de los modelos predictivos con la exploración estratégica del RL, evitando que el agente explote regiones poco fiables del espacio químico.
2. Mejora la Fiabilidad: Al recompensar diseños basados en la confianza calibrada en lugar de la probabilidad cruda, el marco asegura que los péptidos generados no solo tengan alta puntuación, sino que también sean estadísticamente válidos dentro del dominio del modelo.
3. Mejora la Eficiencia: La estrategia de puntuación "suave" acelera la convergencia hacia espacios químicos de alta recompensa y confiables en comparación con los métodos tradicionales que no tienen en cuenta la incertidumbre.
4. Utilidad Práctica: El método proporciona un mecanismo ajustable (a través de niveles de significancia) para controlar la compensación entre la exploración y la rigurosidad del dominio de aplicabilidad, ofreciendo una estrategia robusta para tareas de diseño molecular donde la fiabilidad predictiva es primordial.

El estudio concluye que, aunque la función de puntuación óptima específica puede variar según la tarea, el efecto sinérgico de combinar CP, RL y modelos generativos ofrece un camino generalizable hacia un diseño molecular de novo más fiable y eficiente.