Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

El informe técnico presenta Suiren-1.0, una familia de modelos fundamentales moleculares de código abierto que integra variantes especializadas y una técnica de destilación para predecir con precisión propiedades cuánticas y generar representaciones de alta fidelidad a partir de datos 2D o 3D.

Lo esencial

¡Claro que sí! Imagina que las moléculas son como personajes de una película. A veces, en la pantalla (la realidad macroscópica), solo vemos su "foto de perfil" (su fórmula química o cómo están conectados los átomos en 2D). Pero en la vida real, estos personajes están en constante movimiento, girando y cambiando de postura (conformaciones 3D) como si estuvieran bailando.

El problema es que para predecir cómo se comportará un personaje (si es tóxico, si sirve como medicina, o si explota), necesitamos entender no solo su foto, sino todas las formas en las que puede bailar y la energía que gasta en cada movimiento.

Aquí es donde entra Suiren-1.0, una nueva familia de "super-inteligencias" creadas por científicos de la Academia de IA para la Ciencia de Shanghái. Vamos a desglosarlo con analogías sencillas:

1. El Problema: La Brecha entre el "Mapa" y el "Territorio"

Antes de Suiren, los científicos tenían dos tipos de expertos:

• Los Expertos en 2D (como MoleBERT): Son como cartógrafos que conocen perfectamente el mapa de una ciudad (la estructura química), pero nunca han visitado la ciudad. No saben cómo es el tráfico real o el clima. Son rápidos, pero a veces se equivocan en detalles físicos.
• Los Expertos en 3D (como UMA): Son como guías turísticos que han caminado por cada calle y saben exactamente cómo se siente el terreno. Son muy precisos, pero son lentos y necesitan ver el terreno físico (coordenadas 3D) para trabajar. No pueden predecir cosas basándose solo en un nombre o un dibujo simple.

El desafío: Queremos un experto que sea rápido como un cartógrafo pero preciso como un guía turístico, capaz de entender que una sola molécula puede tener miles de "bailarines" (conformaciones) diferentes, y que el resultado final es el promedio de todos esos bailes.

2. La Solución: La Familia Suiren-1.0

Suiren-1.0 no es un solo modelo, es un equipo de tres hermanos que trabajan juntos:

🧠 Hermano Mayor: Suiren-Base (El "Físico Genio")

• Qué hace: Es un modelo gigante (1.8 mil millones de parámetros) que ha estudiado 70 millones de moléculas usando las leyes más estrictas de la física (mecánica cuántica).
• La analogía: Imagina a un estudiante que ha pasado años en una biblioteca infinita leyendo todos los libros de física cuántica. Ha aprendido a predecir la energía y las fuerzas de las moléculas con una precisión increíble.
• Su superpoder: Entiende el "baile" 3D perfecto. Pero es pesado y lento; necesita ver la molécula en 3D para funcionar.

🤝 Hermano Especializado: Suiren-Dimer (El "Experto en Parejas")

• Qué hace: Es una versión de Suiren-Base que ha practicado específicamente con pares de moléculas (dimeros) interactuando.
• La analogía: Si Suiren-Base es experto en un solo bailarín, Suiren-Dimer es experto en parejas de baile. Esto es crucial para la medicina, donde una droga debe "abrazar" a una proteína específica para funcionar.

🚀 El Estrella Pop: Suiren-ConfAvg (El "Traductor Rápido")

• Qué hace: Este es el modelo más importante para el día a día. Es ligero y rápido.
• La Magia (CCD - Destilación de Compresión de Conformación): Aquí ocurre la magia. Los científicos tomaron todo el conocimiento del "Físico Genio" (Suiren-Base) y usaron una técnica llamada Destilación.
  • Imagina que Suiren-Base es un chef estrella con 10 años de experiencia. Suiren-ConfAvg es su aprendiz.
  • En lugar de que el aprendiz pase 10 años cocinando, el chef le da un "libro de recetas comprimido" (distilled knowledge) que le permite cocinar platos deliciosos usando solo los ingredientes básicos (la fórmula 2D o el nombre de la molécula), sin necesidad de ver el proceso 3D completo.
• Resultado: Puedes darle un nombre simple (SMILES) o un dibujo plano, y Suiren-ConfAvg te dice: "¡Oye, esta molécula, si promediamos todos sus movimientos posibles, tendrá esta propiedad!".

3. ¿Por qué es tan bueno? (Los Resultados)

Los científicos probaron a Suiren-1.0 en más de 50 tareas diferentes, desde predecir si una sustancia es tóxica, hasta calcular su punto de ebullición o cómo se disuelve en agua.

• El resultado: Suiren-1.0 ganó en la gran mayoría de las pruebas, superando a los mejores modelos actuales en más del 20% en muchos casos.
• La ventaja clave: Logró esto sin necesitar ajustes complicados para cada tarea. Es como si tuvieras un cuchillo suizo que funciona perfecto para cortar pan, carne y queso sin tener que cambiar la hoja.

4. En Resumen: ¿Qué nos trae esto al mundo real?

Hasta ahora, para diseñar una nueva medicina o un nuevo material de batería, los científicos tenían que elegir entre:

1. Hacer experimentos reales en el laboratorio (lento y caro).
2. Usar modelos rápidos pero poco precisos.
3. Usar modelos precisos pero que requerían computadoras gigantescas y datos 3D difíciles de conseguir.

Con Suiren-1.0:
Tienes un modelo que entiende la física profunda (gracias a Suiren-Base) pero que es tan fácil de usar como una app (gracias a Suiren-ConfAvg). Puedes darle una fórmula química simple y obtener predicciones de alta calidad sobre cómo se comportará en el mundo real.

En conclusión: Suiren-1.0 es como tener un oráculo molecular que puede ver el futuro de una sustancia basándose solo en su nombre, gracias a que ha aprendido a "sueñar" con todas las formas posibles en las que esa sustancia puede existir. Y lo mejor de todo: ¡Es de código abierto, así que cualquiera puede usarlo!

Resumen técnico

Resumen Técnico: Suiren-1.0, una Familia de Modelos Fundacionales Moleculares

A continuación se presenta un resumen detallado del informe técnico sobre Suiren-1.0, un avance significativo en la modelación de sistemas orgánicos mediante inteligencia artificial.

1. El Problema

El campo del modelado molecular enfrenta dos desafíos fundamentales que limitan el desarrollo de modelos universales:

• Complejidad de los Priors Físicos: El comportamiento molecular está dictado por leyes intrincadas de la mecánica cuántica (ecuación de Schrödinger) y la termodinámica estadística (distribución de Boltzmann). Aprender estos mecanismos solo con datos es difícil debido a la escasez de datos etiquetados de alta fidelidad.
• Brecha Multiescala (Micro vs. Macro): Existe una desconexión entre las representaciones microscópicas (conformaciones 3D explícitas y densidades electrónicas, accesibles mediante Teoría del Funcional de la Densidad - DFT) y las representaciones macroscópicas (gráficos 2D o cadenas SMILES, que carecen de información conformacional explícita).
  • Los modelos 3D puros (como UMA) son precisos pero carecen de generalización en tareas químicas amplias.
  • Los modelos 2D puros (como MoleBERT) capturan la topología pero son "ciegos a la conformación", limitando su capacidad predictiva para propiedades que dependen de la estructura 3D.
  • El objetivo: Crear un marco que una ambos mundos, permitiendo predecir propiedades macroscópicas a partir de entradas 2D simples, pero basándose en el conocimiento físico profundo de las conformaciones 3D.

2. Metodología

Suiren-1.0 propone un marco de tres etapas que integra el aprendizaje auto-supervisado, la destilación de conocimiento y la adaptación a tareas específicas.

A. Arquitectura Base: Suiren-Base

• Modelo: Una red neuronal de grafos (GNN) equivariante de alto grado bajo el grupo SO(3), diseñada para aprender representaciones de conformaciones 3D.
• Componentes Clave:
  • Integra EquiformerV2 con un bloque de actualización denso de Mezcla de Expertos (MoE).
  • Utiliza dos tipos de expertos en cada paso: S2Activation y Equivariant Spherical Transformer (EST).
  • Estrategia de Rotación de Base: Para mitigar errores de discretización en el muestreo esférico, se introduce una rotación aleatoria de la base de Fourier durante el entrenamiento, mejorando la consistencia de la orientación y reduciendo la sobrecarga computacional.
• Entrenamiento: Pre-entrenado en 70 millones de muestras de datos cuánticos (DFT nivel B3LYP/def2-SVP) utilizando auto-supervisión espacial y objetivos de predicción de energía y fuerzas.

B. Destilación de Compresión Conformacional (CCD)

Para cerrar la brecha entre 3D y 2D, se propone CCD, un marco basado en difusión:

• Objetivo: Destilar el conocimiento del modelo 3D pesado (Suiren-Base) en un modelo ligero (Suiren-ConfAvg) que acepte entradas 2D (SMILES o gráficos moleculares).
• Mecanismo:
  • Utiliza un modelo de difusión que reconstruye la representación 3D y las coordenadas atómicas a partir de una representación latente 2D y la energía asociada.
  • El proceso permite al codificador 2D aprender a mapear la topología molecular a un espacio conformacional promedio (promedio de ensemble), capturando la distribución de Boltzmann implícitamente.
• Resultado: Suiren-ConfAvg, un modelo ligero capaz de generar representaciones de alta fidelidad desde SMILES, adecuadas para tareas macroscópicas.

C. Entrenamiento y Adaptación

• Suiren-Dimer: Una variante de pre-entrenamiento continuo en 13.5 millones de muestras de dímeros para capturar interacciones intermoleculares.
• Red Neuronal de Grafos Doble (DGNN): Para tareas de fine-tuning, se utiliza una arquitectura paralela que combina el modelo Suiren-ConfAvg (congelado) con un GNN específico de la tarea, evitando el olvido catastrófico y preservando las características aprendidas.

3. Contribuciones Clave

1. Marco de Puente Micro-Macro: Establece un pipeline unificado que conecta el aprendizaje de representaciones 3D de alta fidelidad con la aplicación práctica en representaciones 2D mediante destilación.
2. Nuevos Modelos y Datos:
   • Lanzamiento de Suiren-Base (1.8B parámetros), Suiren-Dimer y Suiren-ConfAvg.
   • Creación de MoleHB, un benchmark exhaustivo con más de 40 tareas heterogéneas en 9 dominios científicos (seguridad, propiedades térmicas, transporte, etc.).
3. Eficiencia y Generalización: Demuestra que es posible lograr un rendimiento de vanguardia en tareas macroscópicas sin necesidad de acceso a estructuras 3D en tiempo de inferencia, gracias a la destilación CCD.
4. Ciencia Abierta: Todos los pesos del modelo, códigos y benchmarks están disponibles públicamente.

4. Resultados

Los modelos fueron evaluados en más de 50 tareas a través de dos conjuntos de datos principales: MoleHB y Therapeutics Data Commons (TDC).

• Rendimiento en MoleHB:
  • Suiren-ConfAvg logró resultados State-of-the-Art (SOTA) en 41 de 43 propiedades evaluadas.
  • Mejoras significativas en propiedades críticas (temperatura, presión, volumen críticos) con reducciones de error absoluto medio (MAE) de hasta un 39%.
  • Mejoras notables en propiedades energéticas (energía libre de Gibbs, entalpía de formación) con mejoras superiores al 30%.
  • Desempeño superior en propiedades de transporte (viscosidad, conductividad térmica) y seguridad.
• Rendimiento en TDC (ADMET):
  • En tareas de descubrimiento de fármacos (ADMET), Suiren-ConfAvg obtuvo el primer lugar en 9 de 18 métricas y el segundo lugar en 4 más.
  • Destaca por lograr este rendimiento con una configuración de hiperparámetros única y fija para todas las tareas, demostrando una robustez y capacidad de generalización excepcionales sin necesidad de ajuste fino específico por tarea.
• Comparativa: Superó consistentemente a modelos baselines avanzados como MoleBERT, Uni-Mol v1 y Uni-Mol v2.

5. Significado e Impacto

El trabajo de Suiren-1.0 representa un paso crucial hacia la democratización y eficacia de los modelos fundacionales en química y ciencia de materiales:

• Viabilidad Práctica: Al permitir el uso de entradas 2D (SMILES) para predecir propiedades complejas que dependen de la física 3D, elimina la barrera de necesidad de generar conformaciones 3D costosas para cada predicción.
• Integración de Física y Datos: Demuestra que la integración de priores físicos (a través de la arquitectura equivariante y la destilación de distribuciones de energía) es superior al aprendizaje puramente basado en datos.
• Reproducibilidad: La estandarización del pipeline de fine-tuning y la apertura de los recursos facilitan la investigación reproducible en la comunidad científica.
• Aplicaciones: Tiene un impacto directo en el diseño de fármacos, descubrimiento de materiales, química de baterías y predicción de seguridad industrial.

En resumen, Suiren-1.0 no solo establece nuevos récords de precisión, sino que resuelve un problema fundamental de escalabilidad en la química computacional, unificando la precisión cuántica con la eficiencia de los modelos de grafos 2D.