MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

1. Planteamiento del Problema

El diseño y la manipulación de moléculas son tareas fundamentales en química que requieren una comprensión precisa de la estructura molecular (esqueletos, grupos funcionales, estereoquímica) y la capacidad de modificarlas según instrucciones específicas. Aunque los modelos de lenguaje grandes (LLMs) han demostrado capacidades de razonamiento excepcionales en dominios generales, su aplicación en química enfrenta desafíos críticos:

• Brecha de representación: Existe una desconexión entre las representaciones moleculares (grafos, cadenas SMILES, imágenes) y el lenguaje natural.
• Falta de precisión: Las descripciones químicas en lenguaje natural suelen ser ambiguas. En química, cambios mínimos en la posición de un sustituyente o en la estereoquímica alteran drásticamente las propiedades de la molécula.
• Limitaciones actuales: Los modelos existentes a menudo fallan en tareas preliminares de reconocimiento y manipulación, o dependen de predicciones de "caja negra" que no aprovechan el razonamiento estructural profundo.

El objetivo es evaluar y mejorar la capacidad de los sistemas de IA para interpretar instrucciones de lenguaje natural para reconocer, editar y generar estructuras moleculares con precisión determinista.

2. Metodología: MolLangBench

Los autores presentan MolLangBench, un benchmark integral diseñado para evaluar tres tareas fundamentales de la interfaz mol-lenguaje. La metodología se centra en la precisión, la ausencia de ambigüedad y la respuesta determinista.

A. Tareas Evaluadas

1. Reconocimiento de Estructura Molecular: Dada una estructura (SMILES o imagen) y una consulta de texto, el modelo debe extraer información estructural específica (topología local, conectividad atómica, grupos funcionales, estereoquímica) y devolver una respuesta estructurada con índices atómicos precisos.
2. Edición de Moléculas (Prompted): Dada una molécula y una instrucción de edición en lenguaje natural (ej. "sustituir un grupo hidroxilo por metilo"), el modelo debe generar la nueva estructura (SMILES) modificada.
3. Generación de Moléculas: Dada una descripción estructural detallada en texto, el modelo debe generar una molécula válida que coincida exactamente con la especificación.

B. Recolección y Curación de Datos

• Reconocimiento: Se utilizaron herramientas de quimioinformática automatizadas (basadas en RDKit) sobre el banco de datos UniChem para generar 18 tareas de reconocimiento con etiquetas de verdad absoluta (ground truth). Se seleccionaron 200 instancias por tarea, equilibrando distribuciones de etiquetas y forzando casos complejos donde la proximidad en la cadena SMILES no coincide con la conectividad real.
• Edición y Generación: Se empleó un pipeline de anotación riguroso con expertos en química:
  1. Redacción: Anotadores proponen instrucciones o descripciones basadas en estructuras.
  2. Revisión por pares: Un segundo anotador verifica la claridad y unicidad de la instrucción.
  3. Validación independiente: Dos validadores independientes reconstruyen la molécula basándose solo en la instrucción/descripción. La anotación solo se acepta si ambos validadores generan la estructura exacta (convertida a SMILES canónico o InChI).
• Conjunto de Datos: Incluye un conjunto central de 200 instancias validadas por tarea (edición y generación) y un conjunto extendido de 200 adicionales. Las moléculas tienen en promedio ~24 átomos no hidrógeno y cubren un espacio químico diverso.

C. Evaluación

Se evaluaron diversos modelos, incluyendo LLMs puros (GPT-4o, GPT-5, o3, DeepSeek-R1, etc.), modelos multimodales visión-lenguaje (o4-mini, GPT Image 1) y modelos grafo-lenguaje. Las métricas incluyen:

• Reconocimiento: Precisión de reconocimiento y precisión de localización (identificación de índices atómicos).
• Edición/Generación: Validez del SMILES, similitud Tanimoto y precisión de coincidencia estructural (exactitud).

3. Contribuciones Clave

1. Benchmark Estándar de Oro: MolLangBench establece un nuevo estándar para evaluar la interfaz mol-lenguaje, enfatizando la necesidad de respuestas deterministas y únicas, a diferencia de datasets anteriores que permitían ambigüedad.
2. Pipeline de Validación Humana Riguroso: La metodología de anotación con múltiples expertos y validación independiente garantiza que las instrucciones de edición y generación sean inequívocas, resolviendo el problema de la ambigüedad en descripciones químicas.
3. Análisis Multimodal: El benchmark soporta múltiples modalidades de entrada (grafos, cadenas SMILES, imágenes), permitiendo una comparación justa entre modelos de lenguaje, visión y grafos.
4. Identificación de Limitaciones Críticas: El estudio expone fallos sistemáticos en los modelos más avanzados, particularmente en la enumeración atómica y la estereoquímica.

4. Resultados Principales

Los resultados revelan limitaciones significativas incluso en los modelos más potentes (como GPT-5 y o3):

• Reconocimiento:

  • El modelo más fuerte, GPT-5, alcanzó un 86.2% de precisión en reconocimiento, pero cayó al 85.5% en tareas de edición y solo al 43.0% en generación.
  • Existe una brecha notable entre la precisión de reconocimiento (identificar qué es) y la de localización (identificar dónde está exactamente un átomo), a menudo >10%. Esto se atribuye a mecanismos de tokenización (BPE) que agrupan múltiples átomos en un solo token, dificultando el razonamiento a nivel atómico.
  • Las tareas de estereoquímica (configuración E/Z o R/S) son particularmente débiles; la mayoría de los modelos rinden peor que el azar en la clasificación de enlaces dobles.

• Edición y Generación:

  • Validez de SMILES: Los LLMs generales luchan por generar SMILES válidos desde cero (GPT-5: ~69% de validez en generación), mientras que los modelos especializados logran casi el 100%.
  • Precisión Estructural: La precisión real de generar la molécula correcta es baja. GPT-5 logró solo un 43.0% en generación.
  • Errores Comunes: Los errores dominantes son sintaxis SMILES inválida, desajustes de estereoquímica, errores en la longitud de cadenas o anillos, y colocación incorrecta de sustituyentes.
  • Modelos Visuales: Los modelos de generación de imágenes (GPT Image 1) mostraron una precisión de edición del 8% y de generación del 0%, aunque las imágenes generadas parecían visualmente plausibles, violaban reglas químicas fundamentales (valencias incorrectas, anillos incompletos).

• Impacto en Tareas Descendentes: Se demostró que pedir al modelo que primero describa la estructura antes de predecir una propiedad mejora la precisión en la predicción de propiedades (ej. permeabilidad BBB), sugiriendo que el reconocimiento estructural es un prerrequisito para el razonamiento químico fiable.

5. Significado e Implicaciones

• Alerta sobre el estado actual: Los resultados indican que los sistemas de IA actuales, incluso los más avanzados, no están listos para tareas químicas críticas que requieren manipulación molecular precisa. La brecha entre el lenguaje natural y la representación molecular estructurada sigue siendo un cuello de botella.
• Necesidad de Nuevos Enfoques: Se destaca la necesidad de desarrollar modelos que entiendan la química a nivel atómico y no solo a nivel de tokens o patrones superficiales. La tokenización actual de los LLMs es un obstáculo para la precisión química.
• Dirección Futura: El benchmark fomenta la investigación hacia sistemas de IA más robustos y confiables para aplicaciones químicas. Sugiere que la generación de datos a escala mediante enfoques basados en reglas (sintetizar descripciones a partir de formatos estructurados) es más viable que la anotación manual masiva o el uso de LLMs para generar datos de entrenamiento sin corrección humana.
• Recursos Abiertos: El dataset y el código están disponibles públicamente para facilitar la reproducibilidad y el avance de la comunidad en inteligencia artificial para la química.

En resumen, MolLangBench demuestra que, aunque la IA ha avanzado en el razonamiento general, la integración precisa con el dominio químico estructurado sigue siendo un desafío mayor, requiriendo mejoras fundamentales en la alineación multimodal y la comprensión estructural a nivel atómico.