Resumen Técnico: MolSight

Planteamiento del Problema

La Predicción de Propiedades Moleculares (MPP) moderna se ha alejado considerablemente de los diagramas esqueléticos 2D (estructuras de líneas de enlace) universalmente disponibles que los químicos han utilizado durante siglos. En su lugar, el campo depende de enfoques específicos de modalidad: Redes Neuronales de Grafos (GNN) que requieren la construcción explícita de la topología covalente, modelos Transformer 3D que demandan una generación costosa de conformeros, y Grandes Modelos de Lenguaje (LLM) de miles de millones de parámetros que utilizan el ajuste de instrucciones (instruction tuning). Aunque son efectivos, estos métodos imponen cargas computacionales significativas y cuellos de botella en la ingeniería de datos, particularmente para el cribado de alto rendimiento de millones de compuestos. La hipótesis central de este trabajo es si un codificador de visión de propósito general, guiado por un preentrenamiento apropiado, puede aprender a leer diagramas moleculares 2D directamente para lograr una predicción de propiedades competitiva, eliminando así la necesidad de grafos, conformeros 3D o decodificación de texto durante la inferencia.

Metodología

Los autores presentan MolSight, un estudio sistemático a gran escala que evalúa la MPP basada en visión. La metodología involucra tres ejes primarios:

1. Arquitecturas Visuales: El estudio evalúa 10 arquitecturas distintas, categorizadas en:

   • Codificadores de visión pura: ResNet-18, ResNet-50, DINOv2 y DINOv3.
   • Codificadores de visión-lenguaje (VL): SigLIP, SigLIP2, OpenCLIP, Long-CLIP, MetaCLIP y EVA-CLIP.
   • Todos los modelos procesan diagramas de líneas de enlace RGB estandarizados de 224×224 renderizados mediante RDKit.

2. Estrategias de Preentrenamiento: Se prueban siete estrategias para determinar la mejor manera de codificar el conocimiento químico en el backbone de visión:

   • S1 (Línea base): Solo ajuste fino supervisado (supervised fine-tuning).
   • S2 (Imagen-Imagen): Aprendizaje contrastivo autosupervisado (SimCLR) sobre pares de imágenes aumentadas.
   • S3 (Imagen-SMILES): Alineación transmodal utilizando la pérdida SigLIP entre imágenes y cadenas SMILES canónicas.
   • S4 (Imagen-Descripción): Alineación con descripciones moleculares en lenguaje natural.
   • S5 (Destilación de GNN): Una función de pérdida híbrida que destila representaciones de un profesor Uni-Mol (3D GNN) congelado hacia el codificador de visión, combinada con la regresión de propiedades.
   • S6 (Currículo): La estrategia S5 aumentada con un programador de currículo informado por la química.
   • S7 (SLIP Conjunto): Entrenamiento simultáneo de los objetivos Imagen-Imagen e Imagen-SMILES.

3. Currículo Informado por la Química: Una contribución metodológica clave es la partición del corpus de preentrenamiento (2 millones de moléculas) en cinco niveles basados en la complejidad estructural. Se utilizan cinco descriptores —Decoración de Andamiaje (Scaffold Decoration), Rareza de Grupos Funcionales, Extensión de Conjugación, Complejidad de Sustitución Aromática y Complejidad Topológica de Bertz— para asignar las moléculas a niveles (T0: hidrocarburos simples a T4: macrociclos complejos). El entrenamiento progresa de forma gradual, exponiendo al modelo a estructuras más simples antes de introducir las complejas.

4. Evaluación de Aplicación (Downstream): El rendimiento se evalúa en 10 tareas a través de tres categorías:

   • Regresión de propiedades físicas: ESOL (solubilidad) y LD50 (toxicidad).
   • Clasificación para el descubrimiento de fármacos: BBBP, BACE, ClinTox, Tox21 e HIV (de MoleculeNet).
   • Predicción de química cuántica: QM9 (energía de atomización y brecha HOMO-LUMO) y PCQM4Mv2 (brecha HOMO-LUMO).

Contribuciones Clave

1. Estudio Exhaustivo de Preentrenamiento: La primera evaluación sistemática de 10 arquitecturas bajo 7 estrategias de preentrenamiento en 10 tareas de aplicación, estableciendo un mapa empírico de qué combinaciones codifican mejor el conocimiento químico.
2. Currículo Informado por la Química: La propuesta de un currículo basado en la complejidad estructural que supera consistentemente al muestreo aleatorio en todas las arquitecturas probadas, demostrando que secuenciar los ejemplos de entrenamiento de lo simple a lo complejo mejora el aprendizaje de representaciones.
3. Inferencia de Solo Imagen Competitiva: Demostración de que una única imagen 2D renderizada procesada por un codificador de visión es suficiente para una MPP competitiva. La mejor configuración logra resultados de vanguardia en 5 de 10 benchmarks y en los dos primeros puestos en todos los 10, utilizando únicamente una imagen 2D en la inferencia.

Resultados

• Eficacia de la Estrategia: La estrategia de preentrenamiento pesa significativamente más que la elección de la arquitectura. La destilación de GNN aumentada por currículo (S6) ocupa consistentemente el primer lugar en todas las tareas.
• Ganancias de Rendimiento:
  • Tareas Cuánticas: S6 reduce el MAE de PCQM en un 82.7% (de 0.549 a 0.095) en comparación con Imagen-SMILES (S3) y en un 19.1% en comparación con la destilación de GNN sin currículo (S5). El MAE de QM9-∆ε se reduce en un 31.7%.
  • Descubrimiento de Fármacos: MolSight (S6) alcanza un ROC-AUC de 93.7% en BBBP y 90.7% en Tox21, superando a varias líneas base de preentrenamiento basadas en grafos.
  • Propiedades Físicas: El modelo logra un RMSE de ESOL de 0.627 y un MAE de LD50 de 0.369.
• Comparación con el Estado del Arte:
  • MolSight supera a Uni-Mol (un 3D-GNN líder) en 8 de 10 benchmarks y a MolVision (un VLM) en 7 de 10.
  • Supera significativamente a los LLM (GPT-4o, Janus-Pro) en las 10 tareas, indicando que el aprendizaje en contexto (in-context learning) no puede sustituir al preentrenamiento químico estructurado.
  • Eficiencia: El modelo ViT-B/16 requiere solo 17.6 GFLOPs por inferencia, lo cual es 80 veces menor que MolVision y más de 500 veces menor que GPT-4o.
• Geometría de los Embeddings: El análisis t-SNE revela que el entrenamiento por currículo (S6) organiza los embeddings en variedades (manifolds) suaves y continuamente graduadas alineadas con propiedades cuánticas (por ejemplo, la energía de atomización), mientras que las líneas base sin currículo muestran agrupamientos (clustering) toscos.

Significancia y Reivindicaciones

El artículo afirma que el conocimiento químico puede derivarse únicamente de la vista. Desafía la necesidad de entradas multimodales complejas (grafos, conformeros 3D, LLM de miles de millones de parámetros) para una MPP de alto rendimiento. Los autores argumentan que, si bien la información 3D es valiosa para tareas cuánticas específicas, un codificador de visión preentrenado con la estrategia adecuada (específicamente la destilación de GNN aumentada por currículo) puede capturar suficientes pistas estructurales y electrónicas de los diagramas 2D para rivalizar con modelos especializados.

El estudio destaca que la estrategia de preentrenamiento importa mucho más que la elección de la arquitectura. El currículo informado por la química proporciona mejoras consistentes y computacionalmente insignificantes, lo que sugiere que el orden de los datos de entrenamiento por complejidad estructural es un factor crítico para el aprendizaje de representaciones robustas.

Limitaciones reconocidas por los autores:

• El modelo sigue siendo ligeramente inferior a los métodos 3D-GNN en tareas con fuerte dependencia 3D (por ejemplo, PCQM4Mv2).
• Las moléculas muy grandes (>80 átomos pesados) pueden saturar la resolución de renderizado de 224×224.
• El enfoque depende de una única librería de renderizado (RDKit), mostrando sensibilidad a los estilos de representación (por ejemplo, diferentes anchos de enlace o librerías como PIKAchU).

El trabajo concluye que la inferencia de solo imagen es una alternativa sorprendentemente efectiva y altamente escalable para la predicción de propiedades moleculares, ofreciendo una vía para el cribado de millones de compuestos con costos computacionales significativamente reducidos.