Resumen Técnico: Una Evaluación Sistemática de las Representaciones de Modelos de Plegado Colectivo para el Aprendizaje de Moléculas Pequeñas

Enunciado del Problema

Los modelos fundamentales de moléculas pequeñas suelen preentrenarse sobre datos moleculares independientes, aprendiendo representaciones basadas en moléculas aisladas asociadas a supervisión a nivel de molécula (por ejemplo, etiquetas de bioensayos, propiedades químico-cuánticas). Esto contrasta con los dominios de visión y lenguaje, donde fuertes representaciones suelen emerger de supervisión multimodal o relacional. Aunque las estructuras de plegado colectivo proteína-ligando proporcionan un análogo molecular a dicha supervisión relacional al exponer los modelos a interacciones a nivel atómico (por ejemplo, enlaces de hidrógeno, electrostática) dentro de un contexto unido, sigue sin estar claro si los modelos de plegado colectivo pueden generar representaciones robustas y transferibles para tareas de moléculas pequeñas independientes. Además, la utilidad más amplia de los modelos modernos de plegado colectivo (como AlphaFold3 y Boltz) es debatida, con algunos sugiriendo que dependen en gran medida de patrones evolutivos en lugar de una comprensión genuina a nivel atómico. Este artículo busca evaluar sistemáticamente si reaprovechar un modelo moderno de plegado colectivo para el aprendizaje de representaciones de moléculas pequeñas es viable y efectivo.

Metodología

Los autores investigan Boltz2, un modelo moderno de plegado colectivo de 1 mil millones de parámetros diseñado para la predicción de estructuras proteína-ligando, como fuente de representaciones a nivel atómico para moléculas pequeñas. La metodología central implica extraer representaciones de ligandos de Boltz2 (omitiendo las entradas de proteínas para tareas independientes) y evaluar su transferibilidad a través de tres dominios posteriores distintos:

1. Transferencia Predictiva (ADMET): Los autores aplican "sondeo" para evaluar las representaciones a nivel atómico de Boltz2 en la referencia ADMET del Therapeutics Data Commons (TDC). Extraen representaciones de pares de capas específicas ({16, 32, 48, 64}) del tronco Pairformer de 64 capas, aplican una estrategia de agrupación híbrida (concatenando entradas diagonales, enlazadas y todas las entradas) e introducen el vector agrupado en un Perceptrón Multicapa (MLP) para la predicción de propiedades. Comparan estos resultados con modelos fundamentales especializados (MolE, MiniMol, KPGT, QIP, UniMol2, MolGPS, UniQSAR).
2. Transferencia Generativa: Los autores emplean destilación basada en alineación de representaciones para transferir las representaciones de Boltz2 a modelos generativos moleculares de última generación (específicamente GruM). Entrenan el modelo generativo para maximizar la similitud del coseno entre sus representaciones ocultas de moléculas ruidosas y las representaciones limpias correspondientes de Boltz2. Esto se evalúa en el conjunto de datos ZINC250k utilizando métricas como validez, Distancia Fréchet ChemNet (FCD) y novedad.
3. Transferencia de Optimización (Descubrimiento Guiado por Estructura): Los autores extienden la alineación de representaciones al aprendizaje por refuerzo en línea para el descubrimiento de ligandos. Utilizando el pipeline SynFlowNet-Boltz, tratan a Boltz2 no solo como un oráculo de recompensa escalar de caja negra (afinidad de unión), sino como un "maestro de caja blanca". Además de las recompensas escalares, la red de políticas se guía mediante supervisión densa a nivel de representación (alineación con las representaciones intermedias de ligandos de Boltz2) para mejorar la asignación de crédito y la eficiencia de muestras en el descubrimiento de ligandos de alta afinidad.

Contribuciones Clave

El artículo presenta cuatro hallazgos principales que posicionan a los modelos modernos de plegado colectivo como líneas base sólidas para los modelos fundamentales de moléculas pequeñas:

• Rendimiento Predictivo: Las representaciones de Boltz2 igualan o superan a los modelos fundamentales especializados de moléculas pequeñas en la extensa referencia ADMET del TDC. Cabe destacar que Boltz2 logra el mejor rendimiento en 9 de 22 tareas sin ningún preentrenamiento independiente de moléculas pequeñas, lo que sugiere que la supervisión de plegado colectivo proporciona señales no capturadas únicamente por la escalabilidad de la arquitectura o el volumen de datos.
• Aceleración Generativa: La alineación de representaciones con Boltz2 acelera significativamente el entrenamiento de modelos generativos moleculares (2 veces más rápido) y produce moléculas de mayor calidad en múltiples métricas (validez, FCD, NSPDK) en comparación con la alineación con otros modelos fundamentales. Esto indica que los modelos de plegado colectivo proporcionan una supervisión estructural superior para la generación.
• Eficiencia de Muestras en Optimización: En tareas de descubrimiento de ligandos guiado por estructura en línea, incorporar supervisión densa a nivel de representación de Boltz2 mejora la eficiencia de muestras para encontrar moléculas de alta recompensa en comparación con el uso de recompensas escalares únicamente. Esto marca la primera aplicación de alineación de representaciones para mejorar el aprendizaje por refuerzo en línea en el descubrimiento molecular.
• Complementariedad de Representaciones: Boltz2 produce un espacio de representación que es distinto y complementario a los modelos fundamentales moleculares existentes. Los autores demuestran que el ensamblaje de Boltz2 con un modelo menos alineado (MolE) produce mayores ganancias de rendimiento en ciertas referencias que el ensamblaje con un modelo más alineado (MiniMol), sugiriendo una estrategia práctica para la fusión de representaciones.

Resultados

• Referencia ADMET: Boltz2 logró el mejor rendimiento promedio en 9 de 22 tareas entre los métodos no ensamblados. Cuando se combinó con MiniMol (Boltz2Mini.), también lideró en 9 tareas. Boltz2 superó significativamente a UniMol2 (que utiliza la misma arquitectura Pairformer de 1 mil millones pero se preentrena sobre estructuras 3D independientes), destacando el valor de la supervisión de plegado colectivo.
• Generación Molecular: Los modelos destilados con representaciones de Boltz2 lograron las mejores puntuaciones simultáneamente en validez, FCD y NSPDK, mientras que los modelos de difusión de referencia generalmente destacaron solo en un subconjunto de estas métricas.
• Descubrimiento de Ligandos: En tareas de descubrimiento guiado por estructura a través de siete proteínas diana, la política alineada con representaciones descubrió más moléculas de alta recompensa y exploró modos más diversos (moléculas distintas con alta puntuación) que la política estándar bajo el mismo presupuesto de evaluación de recompensas.
• Análisis de Complementariedad: Las puntuaciones CKNNA (Alineación de Vecinos Más Cercanos de Kernel Centrado) mostraron que Boltz2 tiene una alineación relativamente débil con los modelos existentes. Sin embargo, el ensamblaje de Boltz2 con MolE (baja alineación) superó al ensamblaje con MiniMol (mayor alineación) en tareas específicas de metabolismo, confirmando la naturaleza complementaria de las representaciones.

Significado y Afirmaciones

El artículo posiciona al plegado colectivo proteína-ligando como un paradigma de preentrenamiento prometedor para el aprendizaje de representaciones de moléculas pequeñas. Argumenta que los modelos de plegado colectivo como Boltz2 aprenden patrones de interacción a nivel atómico (por ejemplo, conformaciones de unión) que se transfieren eficazmente a tareas independientes, ofreciendo un modelo fundamental robusto y listo para usar para el descubrimiento de fármacos.

Los autores afirman ser los primeros en demostrar que:

1. Las representaciones moleculares informativas de los modelos de plegado colectivo pueden mejorar la generación molecular y la optimización.
2. La destilación basada en alineación de representaciones es efectiva para el aprendizaje por refuerzo en línea, proporcionando señales densas que complementan las recompensas escalares.
3. Combinar representaciones débilmente alineadas (por ejemplo, Boltz2 + MolE) puede ser una estrategia más efectiva para la fusión de representaciones que combinar las fuertemente alineadas.

Limitaciones Reconocidas:
Los autores notan modestamente que los modelos de plegado colectivo pueden carecer de una comprensión completa a nivel atómico de los mecanismos locales, evidenciado por su bajo rendimiento en tareas de predicción de sustratos de metabolismo (una debilidad compartida por UniMol2, lo que sugiere una limitación más amplia del aprendizaje basado en estructuras 3D). También señalan que sus experimentos utilizan una configuración de columna vertebral congelada mediante sondeo y destilación, dejando el ajuste fino de la columna vertebral para trabajos futuros.