🧬 biology

Transformers Discover Molecular Structure Without Graph Priors

Este artículo demuestra que los modelos Transformer de propósito general, cuando se entrenan sin prioris físicos explícitos basados en grafos, pueden descubrir autónomamente estructuras moleculares clave y patrones de interacción únicamente a partir de los datos, logrando una precisión competitiva con las arquitecturas informadas por la física y sugiriendo que tales sesgos inductivos pueden ser aprendibles en lugar de estrictamente necesarios.

Autores originales: Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

Publicado 2026-09-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Los científicos han dependido durante mucho tiempo de las simulaciones por computadora para comprender cómo funciona el mundo físico, desde la forma en que los átomos se enlazan para formar moléculas hasta cómo los materiales reaccionan bajo estrés. Tradicionalmente, estas simulaciones se construyen codificando a mano las leyes conocidas de la física directamente en el software. Este enfoque garantiza que los resultados tengan sentido, pero suele ser lento y costoso. En años recientes, ha surgido un método diferente: utilizar el aprendizaje automático para encontrar patrones en los datos en lugar de seguir reglas preescritas. Aunque este enfoque basado en datos ha revolucionado campos como el reconocimiento de lenguaje e imágenes, su aplicación a la física ha sido cautelosa. Muchos expertos creían que, sin enseñar explícitamente a una computadora las reglas de la geometría y la fuerza, esta fallaría al intentar comprender la compleja danza de los átomos. La visión predominante era que un modelo de aprendizaje automático necesitaba un mapa integrado de cómo interactúan los átomos para producir resultados fiables.

Un equipo de investigadores de la Universidad de California, Berkeley, y del Laboratorio Nacional de Lawrence Berkeley se propuso poner a prueba los límites de este supuesto. Plantearon una pregunta fundamental: si le das a un modelo computacional potente una cantidad masiva de datos sobre moléculas pero le prohíbes usar cualquier regla preprogramada sobre la física, ¿puede aun así descubrir por sí solo cómo funciona el mundo físico? Para hallar la respuesta, entrenaron un tipo de inteligencia artificial conocida como Transformer con un vasto conjunto de datos de estructuras moleculares. Este conjunto de datos, llamado OMol25, contiene millones de ejemplos de átomos dispuestos en diversas configuraciones, junto con la energía y las fuerzas asociadas a cada disposición. Crucialmente, los investigadores no le dieron al modelo ninguna instrucción especial sobre cómo deberían comportarse los átomos, ni lo obligaron a observar los átomos en un orden geomético específico. Simplemente le suministraron coordenadas puras y dejaron que aprendiera.

Los resultados fueron sorprendentes. El modelo, que comenzó sin conocimiento de la física, descubrió autónomamente los mismos patrones que los científicos habían pasado décadas intentando codificar a mano. A medida que el modelo procesaba los datos, aprendía a asignar diferentes niveles de importancia a las relaciones entre los átomos basándose en su distancia entre sí. En las etapas iniciales de su aprendizaje, el modelo se concentró intensamente en los átomos cercanos, con su atención cayendo abruptamente a medida que la distancia aumentaba. Este comportamiento reflejaba la forma en que las fuerzas físicas, como la repulsión electrostática, se debilitan rápidamente a distas cortas. A medida que el modelo se volvía más profundo y complejo, cambió su enfoque para incluir interacciones de largo alcance, aprendiendo finalmente un patrón que coincidía con la forma en que la energía decae con la distancia en la física clásica. Sorprendentemente, el modelo incluso determinó un límite natural de qué tan lejos necesitaba mirar para comprender el entorno de un átomo, un radio de corte que se alineaba perfectamente con los valores que los expertos humanos habían seleccionado manualmente para los modelos tradicionales.

Los investigadores también observaron que el modelo no era rígido en su enfoque. En lugar de utilizar una regla fija para determinar qué tan lejos mirar alrededor de un átomo, adaptaba su comportamiento basándose en la densidad del espacio circundante. En áreas congestionadas donde los átomos estaban agrupados estrechamente, el modelo se concentraba en los vecinos inmediatos. En áreas dispersas donde los átomos estaban aislados, expandía su enfoque para incluir socios distantes. Esta flexibilidad permitió al modelo manejar diferentes entornos moleculares de manera más efectiva que un sistema rígido y preprogramado. Además, el modelo aprendió a organizar los elementos químicos de una manera que reflejaba la tabla periódica, agrupando los gases nobles juntos y ordenando los metales por sus familias químicas, todo ello sin haberle dicho nunca qué era una tabla periódica.

Para asegurar que estos hallazgos no fueran solo un golpe de suerte de un conjunto de datos específico, el equipo probó la capacidad de escalabilidad del modelo. Descubrieron que, a medida que aumentaban la cantidad de datos y el tamaño del modelo, su rendimiento mejoraba de manera predecible y consistente. Este comportamiento, conocido como ley de escala, es un sello distintivo de los sistemas potentes de aprendizaje automático y sugiere que la comprensión de la física por parte del modelo era genuina y robusta. En pruebas donde se le pidió al modelo predecir la energía de las moléculas de agua, produjo resultados que coincidían tanto con simulaciones de física de alto nivel como con mediciones experimentales del mundo real. Aún más sorprendente fue que, cuando los investigadores entrenaron una versión muy grande del modelo, este alcanzó una precisión comparable a la de los modelos especializados que han sido diseñados explícitamente con leyes físicas integradas en su arquitectura.

Estos hallazgos sugieren que la frontera entre las reglas diseñadas por humanos y el conocimiento aprendido es más fluida de lo que se pensaba anteriormente. El estudio indica que, con suficientes datos, los modelos de aprendizaje automático de propósito general pueden descubrir los principios fundamentales de la interacción física por sí mismos. Esto no significa que los modelos diseñados por humanos sean obsoletos; más bien, sugiere que las arquitecturas de propósito general pueden servir como un punto de partida sólido para el modelado científico. Al confiar en los datos para revelar la estructura, los científicos pueden descubrir soluciones flexibles que son difíciles de anticipar o complicadas de escribir de antemano. Este trabajo abre un nuevo camino para el descubrimiento científico, donde la computadora no es solo una calculadora que sigue instrucciones, sino un aprendiz capaz de encontrar las reglas del universo dentro de los propios datos.

Resumen Técnico: Los Transformers descubren la estructura molecular sin prioris físicos

Planteamiento del problema
El modelado computacional es esencial para estudiar sistemas físicos, pero los métodos tradicionales ab initio suelen ser prohibitivamente costosos para sistemas de gran escala. El aprendizaje automático (ML) ha surgido como una alternativa rentable, pero su aplicación en las ciencias físicas suele depender de la incorporación de fuertes sesgos inductivos físicos (por ejemplo, localidad geométrica, estructuras de grafos y simetrías específicas) directamente en las arquitecturas del modelo. Esto plantea una pregunta fundamental: ¿hasta qué punto deben codificarse explícitamente las leyes físicas y hasta qué punto pueden ser descubiertas autónomamente a partir de los datos? Aunque las arquitecturas agnósticas al dominio, como los Transformers, han revolucionado el lenguaje y la visión, su adopción en el modelado atomístico se ha visto limitada por la suposición de que no pueden recuperar interacciones físicas complejas sin una guía geométrica explícita, especialmente dados los conjuntos de datos científicos históricamente más pequeños.

Metodología
Los autores investigan si una arquitectura Transformer estándar y no modificada puede recuperar estructuras físicas fundamentales cuando se entrena únicamente con datos atomísticos, sin ningún prior específico del dominio, como grafos de interacción o potenciales de pares definidos manualmente.

Arquitectura del modelo: El estudio utiliza un Transformer libre de grafos que toma coordenadas cartesianas puras, tipos de átomos y tokens globales (carga, espín) como entrada para predecir energías moleculares y fuerzas por átomo. El mecanismo central es la operación de autoatención, donde las puntuaciones de atención ( $XW_Q(XW_K)^T$ ) sirven como un proxy para la fuerza de interacción interatómica aprendida.
Conjunto de datos: El conjunto de datos principal es OMol25 (Open Molecules 2025), un conjunto masivo que cubre diversas estructuras químicas (biomoléculas, complejos metálicos, electrolitos) con etiquetas de energía y fuerza calculadas al nivel de teoría $\omega$ B97M-V/def2-TZVPD.
Pipeline de entrenamiento: El modelo emplea un proceso de entrenamiento de dos etapas: preentrenamiento sobre una versión discretizada de los objetivos seguido de un ajuste fino (fine-tuning) sobre valores continuos.
Técnicas de análisis:
- Análisis de atención: Los autores analizan las puntuaciones de atención en función de la distancia interatómica para determinar si el modelo aprende patrones de decaimiento consistentes con las leyes físicas (por ejemplo, la electrostática).
- Cutoffs adaptativos: Definen un "radio de interacción efectivo" aprendido ( $R_i$ ) para cada átomo basándose en la distancia necesaria para capturar el 90% de su atención total, comparándolo con la escasez local y los proxies físicos (matriz de densidad y proxies de monopolos electrostáticos).
- Leyes de escala: El estudio realiza un análisis de escalado neuronal entrenando modelos de diversos tamaños (de 5M a 306M de parámetros, y hasta 1B en preentrenamiento) con diferentes conteos de épocas para verificar si el rendimiento sigue relaciones de ley de potencia predecibles.
- Experimentos sintéticos: Para aislar los mecanismos de aprendizaje, los autores generan conjuntos de datos sintéticos con etiquetas de energía definidas por potenciales simples de pares ( $E(r) \propto 1/r^\alpha$ ) para probar si el modelo puede recuperar el exponente $\alpha$ específico.

Resultados clave

Recuperación autónoma de la estructura física: El Transformer aprende autónomamente las fuerzas de interacción que reflejan la física clásica. En las capas iniciales, la atención decae bruscamente con la distancia ( $\sim 1/r^2$ ), lo cual es consistente con las fuerzas electrostáticas. En las capas más profundas, el decaimiento se vuelve más gradual ( $\sim 1/r$ ), alineándose con la escala de la energía electrostática.
Patrones de interacción adaptativos: A diferencia de las Redes Neuronales de Grafos (GNN) que utilizan cutoffs de radio fijos, el Transformer aprende radios de interacción efectivos adaptativos. En entornos dispersos, el modelo expande su campo receptivo para capturar interacciones de largo alcance, mientras que en regiones densas, se enfoca en interacciones locales. Este cutoff aprendido se alinea con los valores que suelen seleccionarse manualmente en los modelos informados por la física.
Escalado predecible: El modelo exhibe un comportamiento de ley de escala neuronal predecible. El rendimiento mejora consistentemente con el aumento de datos y cómputo, siguiendo relaciones de ley de potencia similares a las observadas en otros dominios de ML. Los autores predijeron con éxito el rendimiento de un modelo de 306M de parámetros utilizando las leyes de escala derivadas de modelos más pequeños.
Recuperación de datos sintéticos: En conjuntos de datos sintéticos con potenciales $1/r^\alpha$ conocidos, los exponentes de atención aprendidos por el modelo muestran una fuerte correlación con la verdad de campo ( $R^2 = 0.98$ ). A medida que los datos y el tamaño del modelo aumentan, el exponente aprendido se aproxima cada vez más al exponente físico subyacente real.
Comprensión química e intermolecular: El modelo aprende incrustaciones (embeddings) de elementos con significado químico que reflejan la tabla periódica (por ejemplo, agrupando gases nobles, ordenando metales alcalinos). Además, reproduce con precisión las curvas de energía de interacción intermolecular de los dímeros de agua, coincidiendo con los datos de DFT y experimentales, y evita los artefactos de truncamiento abrupto comunes en los modelos de cutoff fijo.
Precisión competitiva: Un Transformer de 1B de parámetros, entrenado bajo un presupuesto de cómputo equivalente frente a una GNN informada por la física, logra una precisión competitiva en tareas de predicción de energía y fuerza, incluso en composiciones moleculares fuera de la distribución (out-of-distribution).

Significado y afirmaciones
El artículo argumenta que las arquitecturas de propósito general, específicamente los Transformers, pueden servir como bases de referencia (baselines) fundamentales para el modelado científico. Los resultados sugieren que muchos sesgos inductivos físicos —tradicionalmente considerados necesarios para ser codificados de forma rígida en las arquitecturas de los modelos— son aprendibles directamente de los datos cuando se dispone de suficiente información y capacidad de cómputo.

Los autores afirman que este trabajo esclarece la frontera entre el sesgo inductivo diseñado y la estructura física aprendible. Postulan que los priors explícitos solo deben introducirse cuando sea empíricamente necesario, en lugar de como un requisito por defecto. Al demostrar que un modelo agnóstico al dominio puede recuperar patrones físicos complejos (como cutoffs adaptativos y el escalado electrostático) y escalar de manera predecible, el estudio respalda la transferencia de conocimientos de la literatura de aprendizaje profundo general hacia la comunidad del modelado atomístico, permitiendo potencialmente modelos científicos más flexibles y generalizables.

Resumen Técnico: Los Transformers descubren la estructura molecular sin prioris físicos

Más como este