🔬 materials science

BOOM: Benchmarking Out-Of-distribution Molecular Property Predictions of Machine Learning Models

Este artículo presenta BOOM, el primer referente de código abierto con información química para evaluar sistemáticamente la generalización fuera de la distribución (OOD) en la predicción de propiedades moleculares, revelando que los modelos actuales de aprendizaje automático tienen dificultades para extrapolar más allá de sus datos de entrenamiento y destacando la necesidad de nuevos enfoques para lograr un rendimiento robusto en OOD.

Autores originales: Evan R. Antoniuk, Shehtab Zaman, Tal Ben-Nun, Peggy Li, James Diffenderfer, Busra Sahin, Obadiah Smolenski, Everett Grethel, Tim Hsu, Anna M. Hiszpanski, Kenneth Chiu, Bhavya Kailkhura, Brian Van Esse

Publicado 2026-09-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Evan R. Antoniuk, Shehtab Zaman, Tal Ben-Nun, Peggy Li, James Diffenderfer, Busra Sahin, Obadiah Smolenski, Everett Grethel, Tim Hsu, Anna M. Hiszpanski, Kenneth Chiu, Bhavya Kailkhura, Brian Van Essen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La búsqueda de nuevos medicamentos y materiales a menudo comienza con una pregunta simple y desalentadora: ¿cuál de los miles de millones de posibles estructuras químicas funcionará realmente? Durante décadas, los científicos han dependido del ensayo y error, pero una nueva ola de inteligencia artificial promete acelerar este proceso al predecir cómo se comportará una molécula antes de que sea construida. Estos modelos informáticos se entrenan con vastas bibliotecas de productos químicos conocidos, aprendiendo a reconocer patrones que vinculan la forma de una molécula con sus propiedades, como qué tan bien se disuelve en agua o cuánta energía libera al quemarse. La esperanza es que estos modelos puedan entonces observar una molécula completamente nueva y no vista, y adivinar con precisión su comportamiento, permitiendo efectivamente a los investigadores diseñar el futuro de la química en una pantalla de computadora.

Sin embargo, hay un inconveniente significativo. La mayoría de estos modelos de IA son excelentes reconociendo patrones dentro de los datos con los que fueron enseñados, pero suelen tropezar cuando se les pide predecir las propiedades de moléculas que son verdaderamente diferentes de cualquier cosa en su biblioteca de entrenamiento. En el mundo del aprendizaje automático, esto se conoce como el problema de la "fuera de la distribución" (out-of-distribution). Es la diferencia entre un estudiante que memoriza las respuestas de un examen de práctica y uno que realmente puede resolver un problema nuevo e inesperado. Si un modelo no puede generalizar más allá de sus datos de entrenamiento, se convierte en una herramienta para confirmar lo que ya sabemos, en lugar de una herramienta para descubrir lo desconocido. Esta limitación es un gran cuello de botella para la próxima generación de descubrimiento de fármcos y ciencia de materiales, donde el objetivo es encontrar moléculas que superen los límites de lo que es posible actualmente.

Un equipo de investigadores del Laboratorio Nacional Lawrence Livermore y la Universidad de Binghamton ha analizado a fondo este problema con un nuevo referente llamado BOOM. En lugar de simplemente probar qué tan bien se desempeñan los modelos con datos familiares, diseñaron un conjunto riguroso de pruebas específicamente para ver si estos sistemas de inteligencia artificial pueden manejar lo unfamiliar (lo desconocido). Reunieron diez conjuntos de datos diferentes que contenían miles de moléculas, que iban desde compuestos orgánicos pequeños hasta estructuras complejas con propiedades electrónicas específicas. Para cada conjunto de datos, separaron cuidadosamente las moléculas en tres grupos: un conjunto de entrenamiento, un conjunto de prueba estándar de moléculas familiares y un conjunto de prueba especial "fuera de la distribución". Este grupo especial consistía en moléculas con propiedades extremas: valores tan altos o tan bajos que rara vez aparecen en los datos de entrenamiento. Los investigadores luego sometieron a quince modelos diferentes de aprendizaje automático a la prueba, pidiéndoles a cada uno que predijera las propiedades de estas moléculas extremas.

Los resultados fueron desalentadores. A pesar de las impresionantes capacidades de la inteligencia artificial moderna, el estudio encontró que ningún modelo individual podía predecir consistentemente las propiedades de estas moléculas extremas en todas las tareas. Incluso los modelos con mejor desempeño cometieron errores en estos casos difíciles y no vistos que fueron tres veces mayores que sus errores en datos familiares. Los investigadores observaron un modo de falla común: los modelos eran buenos agrupando moléculas similares, pero fallaban al extender sus predicciones hacia el territorio desconocido. En lugar de adivinar un valor que fuera verdaderamente externo al rango de lo que habían visto, los modelos tendían a comprimir sus predicciones, atrayendo los valores extremos de vuelta hacia el promedio. Este comportamiento sugiere que los modelos están aprendiendo atajos que funcionan bien para los datos estándar, pero que se rompen cuando se enfrentan a la verdadera novedad requerida para el descubrimiento científico.

El equipo también investigó por qué estos modelos tenían dificultades y probó varias estrategias comunes para solucionar el problema. Examinaron si el preentrenamiento de los modelos en conjuntos de datos masivos de miles de millones de moléculas —una técnica que ha revolucionado los modelos de lenguaje— ayudaría. Sorprendentemente, encontraron que, si bien este preentrenamiento hacía que los modelos fueran mejores para manejar datos familiares, no mejoraba su capacidad para predecir valores extremos. De hecho, para algunos modelos, el preentrenamiento hizo que el desempeño fuera peor en la distribución fuera de la normalidad. También probaron si simplemente añadir más datos al conjunto de entrenamiento ayudaría. Aunque incluir un pequeño número de ejemplos extremos mejoró el desempeño para algunas propiedades, no fue una cura universal. El estudio sugiere que la forma en que estos modelos se construyen actualmente, particularmente su dependencia de representaciones basadas en texto de las moléculas, puede estar limitando fundamentalmente su capacidad para comprender las leyes físicas profundas que gobiernan el comportamiento químico.

Uno de los hallazgos más reveladores fue que el tipo de representación de los datos importaba más que el tamaño del modelo. Los modelos que utilizaban información geométrica tridimensional sobre los átomos y sus posiciones funcionaron significativamente mejor que aquellos que dependían de cadenas de texto lineales, que son como nombres químicos escritos en una secuencia. Los modelos tridimensionales, que respetan las simetrías físicas del espacio, pudieron generalizar mucho mejor a los casos extremos. Esto señala un camino claro a seguir: para construir una IA que realmente pueda descubrir nueva química, los modelos deben estar fundamentados en la realidad física de cómo se mueven e interactúan los átomos, en lugar de solo en los patrones de cómo se describen en texto. Los investigadores concluyeron que lograr un fuerte desempeño en estas tareas difíciles probablemente requerirá una combinación de conjuntos de datos más grandes y diversos y modelos que comprendan explícitamente la estructura electrónica de las moléculas.

El benchmark BOOM sirve como un baño de realidad para el campo, mostrando que la generación actual de IA química, aunque poderosa, aún no está lista para navegar de manera confiable lo desconocido. El estudio no afirma que el problema sea irresoluble, pero sí descarta la idea de que simplemente escalar los modelos existentes o usar técnicas de preentrenamiento estándar será suficiente para resolverlo. En cambio, destaca que la próxima frontera en el aprendizaje automático químico requiere un cambio en cómo se diseñan estos sistemas. Al proporcionar una forma estandarizada de probar esta debilidad específica, los investigadores esperan guiar a la comunidad hacia la construcción de modelos que no sean solo buenos recordando el pasado, sino que sean verdaderamente capaces de imaginar el futuro. El camino para descubrir la próxima generación de medicamentos vitales y materiales avanzados puede depender de la resolución de este rompecabezas específico de la generalización.

Resumen Técnico: BOOM – Benchmarking Out-Of-distribution Molecular Property Predictions

Declaración del Problema

El descubrimiento de moléculas impulsado por datos depende en gran medida del aprendizaje automático (ML) para cribar y diseñar nuevas moléculas. Sin embargo, el desafío central del descubrimiento molecular es inherentemente un problema de predicción fuera de la distribución (OOD, por sus siglas en inglés). El éxito requiere que los modelos predigan propiedades para moléculas que presenten valores que extrapolen más allá del conjunto de datos de entrenamiento o que posean subestructuras químicas previamente no consideradas.

A pesar de la importancia crítica del rendimiento OOD, los modelos actuales de ML para la predicción de propiedades moleculares carecen de una evaluación sistemática en este dominio. Los benchmarks existentes suelen basarse en conjuntos de datos insuficientemente desafiantes (por ejemplo, divisiones aleatorias) que no logran medir la generalización en el mundo real. Además, existe una falta de conocimiento empírico sobre cómo las tareas de preentrenamiento, las arquitecturas de modelos y la diversidad de los conjuntos de datos impactan la capacidad de los modelos fundacionales químicos para generalizar a través de todos los sistemas químicos.

Metodología: El Benchmark BOOM

Los autores introducen BOOM (Benchmarking Out-Of-distribution Molecular Property Predictions), un marco estandarizado diseñado para evaluar el rendimiento de generalización OOD de los modelos de predicción de propiedades moleculares.

1. Definiendo Fuera de la Distribución (Out-of-Distribution)

A diferencia de las definiciones tradicionales de OOD basadas en cambios en el espacio de entrada (desplazamiento de covariables), BOOM define OOD como un desajuste en el espacio de propiedades (desplazamiento de concepto o de etiqueta). Formalmente, OOD se define como regiones de baja densidad sobre el espacio de propiedades donde la densidad de probabilidad de las etiquetas de prueba $P(y_{test})$ es menor que la de las etiquetas de entrenamiento $P(y_{train})$ .

Estrategia de División: Los autores utilizan la Estimación de Densidad de Kernel (KDE) para modelar la distribución de las propiedades. Las moléculas con las puntuaciones de probabilidad más bajas (las colas de la distribución) se reservan para formar el conjunto de prueba OOD. Esto asegura que el modelo sea probado en su capacidad de extrapolar a valores de propiedad extremos no vistos durante el entrenamiento.

2. Conjuntos de Datos

BOOM comprende 10 tareas OOD diversas derivadas de:

Conjunto de Datos QM9: 8 propiedades de química cuántica (polarizabilidad isotrópica $\alpha$ , capacidad calorífica $C_v$ , energías HOMO/LUMO, brecha HOMO-LUMO, momento dipolar $\mu$ , extensión espacial electrónica $\langle R^2 \rangle$ , energía de punto cero de vibración ZPVE).
Conjunto de Datos 10k: Derivado de la base de datos Cambridge Structural Database, contiene 10,206 moléculas orgánicas pequeñas sintetizadas experimentalmente con valores de Densidad y Calor de Formación Sólida (HoF) calculados mediante la Teoría del Funcional de la Densidad (DFT).
Conjunto de Datos de Lipofilicidad: 4,200 mediciones experimentales del coeficiente de distribución octanol/agua, incluido como un conjunto de datos ejemplar para realizar evaluaciones OOD en propiedades medidas experimentalmente, pero no forma parte de las 10 tareas principales utilizadas para las 150 combinaciones de modelo-tarea.

3. Modelos Evaluados

El benchmark evalúa 150 combinaciones de modelo-tarea (a través de 10 tareas OOD diversas y 15 modelos) categorizadas por arquitectura y representación:

ML Tradicional: Random Forest y Perceptrón Multicapa (MLP) utilizando descriptores moleculares de RDKit.
Redes Neuronales de Grafos (GNNs): Chemprop (topológico 2D), EGNN, IGNN (E(3)-invariante/equivariante), MACE y GotenNet.
Transformers/LLMs: MoLFormer, ChemBERTa, Regression Transformer (RT) y ModernBERT.
Arquitecturas Híbridas: Graphormer-3D, Geoformer y Transformador Equivariante (ET).

4. Métricas

RMSE: Error cuadrático medio tanto para las divisiones de Distribución Interna (ID) como para las OOD.
$R^2$ por Intervalos (Binned $R^2$ ): Para abordar el problema donde las muestras OOD abarcan rangos dispares (inflando el $R^2$ estándar), los autores calculan el $R^2$ promedio específicamente para las muestras en las colas inferior y superior de la distribución de propiedades.

Resultados Clave

1. Falta de Generalización Universal

Ningún modelo existente logra una generalización sólida en todas las tareas OOD.

Brecha de Rendimiento: Incluso los modelos con mejor desempeño exhiben un error OOD promedio 3 veces mayor que su error de distribución interna.
Dependencia de la Tarea: Mientras que algunos modelos funcionan bien en tareas específicas (por ejemplo, HoF, Densidad, ZPVE, $C_v$ ), fallan significativamente en otras. Notablemente, ningún modelo logra un buen rendimiento OOD en propiedades de estructura electrónica (HOMO, LUMO, Brecha y Momento dipolar $\mu$ ). Los autores hipotetizan que esto se debe a la falta de estructura electrónica explícita en las representaciones moleculares actuales.

2. Impacto de la Arquitectura y la Representación

Modelos 3D y de Grafos: Los modelos con alto sesgo inductivo, particularmente las GNNs equivariantes 3D (ej. GotenNet, Geoformer) y las arquitecturas híbridas, generalmente superan a los modelos de transformadores basados en SMILES en tareas OOD.
Limitaciones de SMILES: Los modelos de transformadores que dependen de cadenas SMILES (ej. ChemBERTa, MoLFormer) a menudo luchan por extrapolar más allá del régimen de entrenamiento, a pesar de tener un fuerte rendimiento ID.
ModernBERT: Entre los modelos de estilo NLP, ModernBERT mostró mejoras significativas sobre otros transformadores para tareas OOD (por ejemplo, reduciendo el RMSE de HoF y $C_v$ en >58% y >78% respectivamente), lo que sugiere que las mejoras arquitectónicas en los mecanismos de atención pueden beneficiar a los dominios químicos.

3. Estrategias de Preentrenamiento

Ineficacia del Preentrenamiento Actual: Sorprendentemente, el preentrenamiento de lenguaje a gran escala (Modelado de Lenguaje Enmascarado para ChemBERTa/MoLFormer; Modelado de Lenguaje de Permutación para Regression Transformer) no mejoró el rendimiento OOD. En algunos casos, incluso disminuyó significativamente el $R^2$ de OOD.
La Correlación Importa: Los estudios de ablación sobre el preentrenamiento supervisado revelaron que el rendimiento OOD solo mejora cuando la tarea de preentrenamiento está fuertemente correlacionada con la tarea de ajuste fino (fine-tuning) posterior (correlación de Pearson > 0.35). Cuando las tareas no están correlacionadas, el rendimiento OOD se degrada.

4. Hiperparámetros y Datos

Optimización de Hiperparámetros: La optimización de hiperparámetros específicamente para el rendimiento OOD produjo mejoras marginales para algunas propiedades (por ejemplo, -60% de RMSE para Densidad) pero no resolvió la brecha de generalización.
Aumento de Datos: Añadir una pequeña fracción (hasta el 4%) de moléculas OOD al conjunto de entrenamiento mejoró la generalización para la mayoría de las propiedades, resaltando la sensibilidad de los modelos ante la presencia de datos de valores extremos.

Significado y Reivindicaciones

El artículo posiciona a BOOM como un desafío de frontera para la comunidad de aprendizaje automático químico. Sus principales contribuciones y afirmaciones son:

Benchmarking Sistemático: Proporciona el primer benchmark estandarizado y a gran escala para la predicción de propiedades moleculares OOD, yendo más allá de las divisiones aleatorias para probar las capacidades reales de extrapolación.
Limitaciones Actuales: Los autores afirman que los modelos actuales de última generación (SOTA), incluidos los grandes modelos fundacionales, no están listos para el descubrimiento confiable de moléculas con propiedades que extrapolen más allá de los datos conocidos. La brecha entre el rendimiento ID y OOD sigue siendo un cuello de botella crítico.
Perspectivas Estratégicas:
- Preentrenamiento: Las estrategias actuales de preentrenamiento no supervisado (MLM/PLM) pueden no transmitir la información química necesaria para la extrapolación OOD. Los futuros modelos fundacionales podrían requerir tareas de preentrenamiento más alineadas con la predicción de propiedades posteriores.
- Representaciones: Los modelos de alto sesgo inductivo (GNNs 3D) actualmente superan a los modelos basados en atención para OOD, pero la escalabilidad sigue siendo un problema.
- Evaluación: El artículo argumenta que el rendimiento OOD debe ser un criterio de evaluación primario, ya que un alto rendimiento ID no garantiza la generalización OOD.

Los autores concluyen que lograr una fuerte generalización OOD requerirá probablemente una combinación de conjuntos de datos más grandes, representaciones moleculares que capturen explícitamente la estructura electrónica y nuevos paradigmas de preentrenamiento adaptados a los desafíos específicos de la extrapolación química. El benchmark es de código abierto para facilitar este progreso.