SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

Resumen Técnico: SciCore-Mol

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) han demostrado capacidades de razonamiento notables, pero enfrentan una incompatibilidad fundamental al aplicarse en dominios científicos como la química. Los datos científicos, tales como estructuras moleculares y condiciones de reacción, son inherentemente topológicos, geométricos y continuos. En contraste, los LLM están diseñados para secuencias simbólicas discretas. Los enfoques actuales intentan cerrar esta brecha linealizando grafos moleculares en cadenas de texto (por ejemplo, SMILES o SELFIES). Sin embargo, esta linealización falla en exponer explícitamente las invariantes topológicas y geométricas centrales para el razonamiento químico, lo que conduce a pérdida de información, ruido semántico y predicciones poco fiables en tareas sensibles a la estructura. Además, los sistemas existentes aumentados con herramientas a menudo tratan los módulos científicos como cajas negras externas, requiriendo que los datos intermedios se compriman nuevamente en texto antes de ser procesados por el LLM. Esta "interfaz a nivel de texto" crea cuellos de botella en el razonamiento y evita que el LLM acceda a información molecular densa y continua.

Metodología: Marco SciCore-Mol
Los autores proponen SciCore-Mol, un marco modular que aumenta un núcleo LLM con tres módulos cognitivos profundamente integrados y conectables. A diferencia de enfoques previos que dependen de retroalimentación basada únicamente en texto, SciCore-Mol acopla estos módulos al LLM a través de interfaces de representación aprendidas a nivel de estado oculto.

1. Módulo de Percepción Topológica: Construido sobre una red de Perceptrón Vectorial Geométrico (GVP), este módulo codifica la geometría molecular 3D (generada mediante RDKit) en representaciones equivariantes bajo SE(3). Integra propiedades escalares a nivel atómico y vectores de coordenadas 3D mediante paso de mensajes. La incrustación geométrica resultante se proyecta en el espacio oculto del LLM e inyecta como un "Token Estructural Virtual", permitiendo que el LLM atienda a la información estructural 3D junto con los tokens de texto.
2. Módulo de Generación Molecular: Para abordar la baja validez de la generación autoregresiva de SMILES, este módulo emplea un Transformador de Difusión Latente (DiT). Opera en un espacio latente molecular continuo, condicionado por los estados ocultos del LLM. Un autoencoder de SMILES preentrenado mapea moléculas a vectores latentes, y el proceso de difusión desruido iterativamente estos vectores para generar moléculas estructuralmente coherentes, las cuales luego se decodifican de nuevo a SMILES.
3. Módulo de Detección de Reacciones: Construido sobre un Transformador sensible a lo numérico, este módulo maneja el razonamiento intermolecular. Procesa datos de reacción de forma jerárquica utilizando codificaciones compuestas multicanal que combinan incrustaciones geométricas derivadas de GVP, cantidades estequiométricas (moles, masa) y roles funcionales (reactivo, catalizador, etc.). Esto permite la predicción conjunta de productos de reacción, rendimientos y reactivos faltantes.

Estrategia de Entrenamiento
El sistema utiliza una estrategia de entrenamiento progresivo para alinear módulos heterogéneos con el núcleo LLM:

• Etapa 1 (Pre-entrenamiento de Componentes): Los módulos se pre-entrenan de forma independiente. El núcleo LLM experimenta un pre-entrenamiento continuo en un corpus enriquecido con química (~400M de tokens) con regularización de divergencia KL contra un modelo base congelado para evitar el olvido catastrófico.
• Etapa 2 (Alineación Multimodal): El núcleo LLM se congela mientras el codificador GVP y los adaptadores se entrenan para alinear las representaciones geométricas con descripciones en lenguaje natural utilizando un objetivo contrastivo.
• Etapa 3 (Entrenamiento Conjunto Multi-tarea): El sistema completo se optimiza conjuntamente en un corpus de 300K instrucciones-respuestas que cubre diversas tareas (síntesis, predicción de propiedades, generación, etc.).
• Etapa 4 (Ajuste Fino Específico de Tarea): El ajuste fino opcional permite la especialización en tareas específicas posteriores seleccionando la congelación o descongelación de módulos.

Contribuciones Clave

• Innovación Arquitectónica: Un sistema unificado que integra la percepción consciente de la topología, la generación por difusión latente y el razonamiento consciente de reacciones directamente en el estado oculto del LLM, eliminando el cuello de botella de información de las interfaces de herramientas basadas solo en texto.
• Modularidad: El diseño "conectable" permite que los módulos se habiliten, deshabiliten o actualicen de forma independiente (por ejemplo, intercambiar el codificador GVP por una arquitectura 3D más potente) sin reentrenar todo el sistema.
• Rendimiento: Los autores demuestran que un sistema SciCore-Mol de 8 mil millones de parámetros logra un rendimiento competitivo, y en algunas dimensiones superior, en comparación con modelos propietarios mucho más grandes (por ejemplo, GPT-4o, GPT-5) y otros modelos de química de código abierto.

Resultados Experimentales
Evaluado en cinco dimensiones de capacidad (Núcleo de Conocimiento, Traducción Mol-Texto, Generación de Moléculas, Predicción Cuantitativa y Razonamiento de Síntesis) utilizando puntos de referencia como SMolInstruct, MMLU-Chemistry, ChemBench4K, ORD y MoleculeNet:

• Rendimiento Equilibrado: SciCore-Mol exhibe el perfil de capacidad más equilibrado entre modelos de escala similar, superando a las líneas base en generación de moléculas, predicción cuantitativa y razonamiento de síntesis, mientras mantiene un conocimiento general sólido.
• Tareas Sensibles a la Estructura: Los estudios de ablación confirman que el codificador GVP mejora significativamente el rendimiento en tareas que requieren información 3D (por ejemplo, Tox21, clasificación de VIH, regresión QM9), donde los modelos basados solo en texto luchan.
• Razonamiento de Reacciones: Eliminar el Módulo de Detección de Reacciones conduce a una degradación severa en la validez de la predicción de productos y rendimientos, confirmando la necesidad de un modelado estructurado para el razonamiento a nivel de reacción.
• Generalización: El modelo muestra una fuerte generalización fuera de distribución en el punto de referencia DrugR (lanzado después del pre-entrenamiento), lo que sugiere que aprende priores estructurales transferibles en lugar de depender únicamente de la memorización.

Significado y Afirmaciones
El artículo afirma que SciCore-Mol proporciona un plano sistemático para dotar a los LLM de experiencia científica a través de módulos desacoplados, conectables y orquestados de forma flexible. Los autores argumentan que la integración profunda a nivel de incrustación de módulos especializados es más efectiva que depender únicamente de representaciones moleculares basadas en texto o de un razonamiento aumentado con herramientas laxo. Este marco se presenta como una plantilla general para modelos fundamentales científicos que requieren integración de datos heterogéneos, con implicaciones directas para el diseño de fármacos, la síntesis química y el descubrimiento científico más amplio. El trabajo enfatiza que, aunque el sistema actual está diseñado para moléculas pequeñas, la arquitectura modular ofrece un camino hacia el soporte de entidades más grandes como proteínas y polímeros en iteraciones futuras.