On Improving Graph Neural Networks for QSAR by Pre-training on Extended-Connectivity Fingerprints

Resumen Técnico: Sobre la Mejora de las Redes Neuronales de Grafos para QSAR Mediante Pre-entrenamiento en Huellas Dactilares de Conectividad Extendida

Planteamiento del Problema
Las Redes Neuronales de Grafos Moleculares (GNN) se han vuelto prevalentes en los estudios de Relación Cuantitativa Estructura-Actividad (QSAR) para el descubrimiento de fármacos, sin embargo, su superioridad sobre los métodos clásicos de featurización molecular sigue siendo disputada. Aunque las GNN ofrecen el potencial de aprender patrones abstractos y no lineales a partir de grafos moleculares, los resultados empíricos a menudo muestran que les cuesta superar a las huellas dactilares topológicas clásicas, particularmente en conjuntos de datos experimentales pequeños, ruidosos y heterogéneos, comunes en el descubrimiento de fármacos. Además, las evaluaciones existentes de las GNN a menudo carecen de pruebas estadísticas rigurosas frente a líneas base sólidas, no tienen en cuenta la fuga de datos a nivel de subestructura entre los conjuntos de datos de pre-entrenamiento y de referencia, y dependen de divisiones de referencia que pueden no probar adecuadamente la generalización fuera de distribución (OOD).

Metodología
Los autores proponen una estrategia general para mejorar el rendimiento de las GNN para QSAR mediante el empleo de pre-entrenamiento auto-supervisado sobre huellas dactilares topológicas. Específicamente, utilizan Redes de Isomorfismo de Grafos (GIN) pre-entrenadas para predecir Huellas Dactilares de Conectividad Extendida (ECFP).

• Estrategia de Pre-entrenamiento: Las GIN se pre-entrenan en el conjunto de datos QMugs (665k moléculas) para predecir huellas dactilares ECFP4 con hash (vectores de 2048 bits). Los grafos moleculares se featurizan utilizando un enfoque de "tokenización de subestructuras", donde las subestructuras circulares locales (identificadores de Morgan) se enumeran y se mapean a tokens aprendibles mediante un algoritmo de Ordenar y Dividir (S&S). Esto permite que el modelo aprenda representaciones de subestructuras en lugar de solo tipos atómicos.
• Evaluación Aguas Abajo: Los embeddings pre-entrenados se congelan y se utilizan como características de entrada para Máquinas de Gradiente Reforzado Ligeras (LightGBM) para predecir propiedades moleculares. Esta configuración aísla la calidad de la representación molecular de la cabeza de predicción.
• Referencias y Divisiones: El enfoque se evalúa en 40 tareas a través de tres conjuntos de datos: Biogen (6 tareas de regresión ADMET), MoleculeNet (3 regresión, 2 clasificación) y ChEMBL (afinidad de unión). Para asegurar una evaluación OOD robusta, los autores emplean una estrategia de validación cruzada repetida (200 repeticiones de CV de 5 pliegues) utilizando el agrupamiento de Butina en distancias de Tanimoto para generar divisiones OOD desafiantes y de tamaño uniforme con superposición molecular mínima.
• Análisis de Fuga de Datos: El estudio investiga el impacto de la fuga de datos a nivel de subestructura filtrando el conjunto de datos de pre-entrenamiento (QMugs) utilizando umbrales de similitud de Tanimoto variables (de 0.5 a 1.0) en relación con las moléculas de referencia.
• Rigor Estadístico: Las diferencias de rendimiento se evalúan utilizando pruebas estadísticas no paramétricas (prueba de rangos con signo de Wilcoxon) con corrección de Bonferroni y estimación del tamaño del efecto (correlación biserial de rangos, $r_{rb}$) a través de las 200 repeticiones de CV para determinar la significancia estadística.

Resultados Clave

• Rendimiento en Datos Homogéneos: En el conjunto de datos Biogen, que consiste en moléculas similares a fármacos homogéneas, las GIN pre-entrenadas con ECFP (PT-GIN) lograron mejoras estadísticamente significativas sobre todas las líneas base evaluadas (incluidas GIN entrenadas desde cero y huellas dactilares clásicas) en cinco de las seis tareas de regresión. Los tamaños del efecto fueron consistentemente máximos ($r_{rb} = 1.00$), lo que indica que PT-GIN superó a las líneas base en cada repetición de CV para estas tareas.
• Rendimiento en Datos Heterogéneos y Complejos: Los beneficios del pre-entrenamiento no fueron universales. En las tareas de MoleculeNet con fuentes de datos heterogéneas (por ejemplo, Lipofilicidad, FreeSolv) y en tareas de predicción de afinidad de unión (DRD2, Factor XA), PT-GIN tuvo un rendimiento inferior o no mostró ninguna ventaja significativa sobre los métodos clásicos. Los autores sugieren que la heterogeneidad de los datos y la necesidad de información de interacción 3D (que carecen las ECFP 2D) limitan la eficacia de esta estrategia específica de pre-entrenamiento para estos puntos finales.
• Impacto de la Fuga de Datos: El análisis de la fuga de datos reveló resultados contra intuitivos. Aumentar la similitud entre los datos de pre-entrenamiento y de referencia (es decir, permitir más "fuga") no mejoró consistentemente el rendimiento y, en algunos casos (por ejemplo, Human CLint), llevó a una disminución del rendimiento. Esto sugiere que mientras el corpus de pre-entrenamiento contenga un vocabulario diverso de subestructuras químicas, el modelo aprende a generalizar a combinaciones de subestructuras novedosas, haciendo que el filtrado estricto de subestructuras sea menos crítico para este objetivo específico de pre-entrenamiento.
• Detección Virtual: En las desafiantes tareas de detección virtual MUV, los modelos a menudo predijeron solo negativos, resultando en bajos coeficientes de correlación de Matthews (MCC). Ningún método único demostró una ventaja clara en todos los objetivos, destacando la dificultad de la detección virtual OOD con características topológicas 2D únicamente.

Significancia y Afirmaciones
El artículo afirma que el pre-entrenamiento auto-supervisado sobre huellas dactilares topológicas es una estrategia simple, robusta y efectiva para mejorar el rendimiento OOD de las GNN en tareas clave de QSAR, particularmente aquellas que involucran datos ADMET homogéneos. Los autores enfatizan que esta mejora se logra sin aumentar la complejidad del modelo ni requerir grandes conjuntos de datos de pre-entrenamiento etiquetados y ruidosos.

Crucialmente, el estudio destaca que el éxito del pre-entrenamiento depende de la tarea. Aunque es efectivo para tareas de regresión homogéneas, no supera universalmente los desafíos planteados por la heterogeneidad de los datos o los puntos finales que requieren información estructural 3D. El trabajo también contribuye con un marco de evaluación riguroso, demostrando que las pruebas estadísticas y la estimación del tamaño del efecto son esenciales para validar las diferencias de rendimiento en configuraciones de QSAR con muestras pequeñas. Finalmente, los hallazgos sugieren que para el pre-entrenamiento topológico, la diversidad del vocabulario de subestructuras químicas en el conjunto de pre-entrenamiento es más crítica que la exclusión estricta de moléculas similares a la referencia, siempre que las combinaciones de subestructuras permanezcan novedosas.