Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

Resumen Técnico: Volver a lo Básico: Mejorando la Comprensión Molecular en los LLM mediante la Traducción de SMILES a Grafos

Planteamiento del Problema
A pesar del sólido rendimiento de los Modelos de Lenguaje de Gran Escala (LLMs) en tareas de comprensión y generación molecular, los enfoques actuales sufren de una falta de fundamentación estructural fiable. El artículo identifica una desconexión crítica: aunque los modelos logran el éxito en tareas de aplicación (downstream), fallan en tareas básicas de reconocimiento de estructuras, como contar átomos pesados o enlaces a partir de cadenas de texto SMILES canónicas. Esto contradice el principio químico fundamental de que "la estructura determina la función". Las evaluaciones preliminares revelan que tanto los LLMs generalistas (p. ej., GPT, Qwen) como los especialistas moleculares (p. ej., MolT5, ChemLLM) tienen un desempeño deficiente en estas tareas fundacionales, lo que sugiere que no logran capturar la equivalencia explícita entre el texto secuencial SMILES y el grafo molecular 2D subyacente. Los autores argumentan que los paradigmas actuales, que a menudo saltan al razonamiento de alto nivel tras un simple preentrenamiento de texto, carecen de interpretabilidad lógica y no establecen la cognición estructural necesaria para un razonamiento fiable.

Metodología: El Marco MolBasic
Para abordar esto, los autores proponen MolBasic, un marco de trabajo "primero la estructura" diseñado para fundamentar la comprensión molecular en la comprensión de la estructura fundamental. La metodología consta de tres componentes principales:

1. Benchmark de Comprensión Estructural Multinivel (MSC):
   Los autores construyen un benchmark compuesto por ocho tareas organizadas en tres niveles para evaluar y entrenar la percepción de grafos 2D:

   • Nivel de Nodo: Conteo de átomos pesados y conteo de elementos específicos.
   • Nivel de Arista: Conteo de enlaces totales y conteo de tipos de enlaces específicos.
   • Nivel de Grafo: Conversión de fórmula molecular, reconocimiento de subestructuras y conversión bidireccional entre SMILES canónicos y listas de adyacencia de grafos textuales.
     La tarea central es la conversión bidireccional SMILES–Grafo, que obliga al modelo a aprender la equivalencia entre las representaciones secuenciales y topológicas.

2. Marco de Aprendizaje Escalonado (Staircase Learning):
   El entrenamiento sigue una ruta progresiva y lineal ($v_{struct} \rightarrow v_{prop} \rightarrow v_{opt}$) que refleja el proceso cognitivo de los químicos humanos. Este enfoque estructurado como un DAG asegura que las capacidades de razonamiento de alto nivel se construyan sobre una comprensión estructural fiable:

   • Etapa 1 (Comprensión de la Estructura): Establecimiento de la percepción fundamental del grafo.
   • Etapa 2 (Predicción de Propiedades Estructurales): Derivación de propiedades (p. ej., LogP, MW) a partir de características estructurales.
   • Etapa 3 (Optimización Molecular Objetiva): Modificación de moléculas para lograr propiedades deseadas.
     Este enfoque de aprendizaje curricular evita la interferencia de tareas complejas en el aprendizaje fundacional.

3. Supervisión de Cadena de Pensamiento (CoT):
   Para mejorar la precisión e interpretabilidad, el marco emplea una estrategia de entrenamiento de dos etapas para cada tarea utilizando el ajuste fino (fine-tuning) de LoRA:

   • Etapa 1 (Aprendizaje de la Respuesta): El modelo aprende a predecir la respuesta correcta ($a$) para establecer anclajes de conocimiento de dominio.
   • Etapa 2 (Aprendizaje del Razonamiento): El modelo aprende la respuesta completa que contiene una Cadena de Pensamiento ($z$) destilada de modelos de razonamiento fuertes (específicamente GPT-5).
     El objetivo de entrenamiento modela conjuntamente el proceso de razonamiento y el resultado final: $P_\theta(a, z | S, q) = P_\theta(z | S, q) \cdot P_\theta(a | S, z, q)$. La CoT incluye resultados intermedios deterministas para tareas de regresión (p. ej., análisis explícito de átomos) y un flujo de "análisis–estrategia–verificación" para tareas de optimización.

Resultados Clave
Los experimentos se realizaron en el conjunto de datos PubChemSTM y en varios benchmarks de aplicación, comparando MolBasic con LLMs generalistas, LLMs moleculares especializados y modelos de aprendizaje profundo tradicionales.

• Comprensión Estructural: MolBasic logró mejoras sustanciales en todas las tareas de MSC. Notablemente, alcanzó una precisión del 94.65% en la conversión de SMILES a Grafo y del 85.66% en Grafo a SMILES, mientras que todos los modelos de referencia (incluidos los LLMs especializados) tuvieron un desempeño cercano a cero en estas tareas de conversión bidireccional.
• Predicción de Propiedades: En la predicción de propiedades estructurales (MW, LogP, TPSA, etc.), MolBasic logró el mejor rendimiento entre los métodos basados en LLM, con correlaciones de Pearson que superan el 0.97 para la mayoría de las propiedades y Errores Absolutos Medios (MAE) comparables o mejores que los modelos específicos de la tarea como Chemprop.
• Optimización Molecular: En la tarea de aumentar el LogP, MolBasic logró la mayor mejora de LogP (2.27) entre los modelos basados en LLM, manteniendo una alta validez (98.7%) y diversidad (0.86).
• Estudios de Ablación:
  • Eliminar la etapa de comprensión estructural ("w/o Struct") provocó una degradación monotónica en el rendimiento de las tareas posteriores, confirmando que la percepción estructural es una base necesaria.
  • Aleatorizar el orden de entrenamiento ("Mixed SFT") resultó en un rendimiento inferior al enfoque escalonado, lo que indica que el orden progresivo es crítico para evitar la interferencia de tareas.
  • Eliminar la supervisión de CoT ("w/o CoT") causó caídas consistentes en el rendimiento, resaltando la necesidad de una guía de razonamiento intermedio explícita.

Significancia y Reivindicaciones
El artículo afirma que la falta de comprensión básica de la estructura es un cuello de botella fundamental en los actuales LLM moleculares. Al "volver a lo básico" y priorizar la alineación del texto secuencial con las estructuras de grafos topológicos, MolBasic permite que los modelos realicen un razonamiento molecular fiable, interpretable y generalizable. Los autores sostienen que su paradigma de "primero la estructura" resuelve la contradicción entre el éxito en aplicaciones y el fallo estructural, proporcionando una base robusta para futuras aplicaciones de "químico de IA". El trabajo enfatiza que, sin la percepción precisa de los grafos moleculares, las tareas de razonamiento de alto nivel son inherentemente poco fiables.

Limitaciones
Los autores reconocen que el diseño escalonado actual modela el razonamiento como una cadena lineal. A medida que las tareas se alejan de la etapa inicial de comprensión estructural, la influencia directa de la percepción estructural puede debilitarse, lo que resulta en mejoras menos pronunciadas en la optimización en comparación con la predicción de propiedades. Sugieren que el trabajo futuro debería explorar marcos de razonamiento no lineales más flexibles que permitan a los LLM utilizar explícitamente la estructura molecular como base para diversas tareas sin la interferencia observada en el entrenamiento de tareas mixtas.