Chemically Meaningful Textualization Enables Explainable Validation of Metal-Organic Frameworks by Large Language Models

Resumen Técnico: La textualización químicamente significativa permite la validación explicable de los marcos metal-orgánicos mediante modelos de lenguaje de gran tamaño

Planteamiento del problema
Las bases de datos de marcos metal-orgánicos (MOF) listas para computación son críticas para el cribado de alto rendimiento y el aprendizaje automático (ML) en la ciencia de materiales. Sin embargo, muchas estructuras cristalinas reportadas experimentalmente contienen defectos como desorden, átomos faltantes, desequilibrios de carga o entornos de coordinación químicamente irrezonables. Estas inconsistencias estructurales distorsionan severamente las propiedades computadas (por ejemplo, la energía electrónica, las brechas de banda y las capacidades de adsorción de gases), comprometiendo la fiabilidad de las simulaciones. Si bien existen estrategias de validación actuales, estas sufren de limitaciones significativas: los enfoques basados en reglas suelen carecer de precisión o requieren acceso restringido a bases de datos comerciales, y los modelos de ML basados en grafos suelen funcionar como "cajas negras" que identifican estructuras irrezonables sin ofrecer diagnósticos interpretables de los errores subyacentes.

Metodología
Los autores investigan si los modelos de lenguaje de gran tamaño (LLM) pueden servir como validadores interpretables de estructuras MOF transformando la información cristalográfica en "texto químicamente significativo". El estudio procede a través de varias etapas metodológicas clave:

1. Evaluación de impacto: Los autores demostraron primero que los defectos estructurales en los MOF conducen a desviaciones sustanciales en las propiedades electrónicas predichas (vía PACMAN) y en las simulaciones de adsorción de gases (vía Monte Carlo de Grand Canonical). Mostraron que las estructuras corregidas reproducen las isotermas de adsorción experimentales de manera más fiel que las estructuras crudas y defectuosas.
2. Benchmarking de descriptores: Se evaluaron nueve descriptores diferentes para determinar la forma óptima de representar las estructuras MOF para los LLM. Estos descriptores abarcan tres categorías:
   • No textual: Solo elementos químicos y números.
   • Semi-textual: Combinaciones de cadenas de texto y datos estructurales.
   • Texto completo: Descripciones en lenguaje natural de la estructura.
     Descriptores específicos incluyeron local_env, robocry, mof2text, cif_p1, entre otros.
3. Entrenamiento y evaluación del modelo: El estudio utilizó cuatro LLM preentrenados (Llama3-8B, DeepSeek-7B, Gemma3-4B, Qwen3-4B). Los modelos fueron evaluados tanto en estados preentrenados (PT) como de ajuste fino (FT) utilizando cuatro métricas: Exactitud, Precisión, Sensibilidad (Recall) y puntuación F1.
4. Explicabilidad y diagnóstico: Más allá de la clasificación binaria (razonable frente a irrezonable), los autores probaron la capacidad de los LLM ajustados para generar razonamientos diagnósticos para los errores. Analizaron el espacio de incrustación (embedding) mediante t-SNE para observar si los descriptores podían separar las estructuras razonables de las irrezonables. Finalmente, evaluaron la capacidad de los modelos para predecir categorías de error específicas (hidrógeno faltante "h", desorden, desequilibrio de carga y "otros") utilizando un conjunto de datos curado manualmente.

Contribuciones clave y resultados

• La necesidad de una textualización informada químicamente: El estudio encontró que el éxito de la validación basada en LLM no depende únicamente de la cantidad de información estructural proporcionada. En su lugar, depende de si la información se organiza en una forma "lingüísticamente aprendible" y químicamente significativa. Los inputs de composición simple o las transcripciones geométricas puras (como cif_p1) funcionaron deficientemente o fueron computacionalmente ineficientes debido a la longitud excesiva de los tokens.
• Superioridad de los descriptores especializados: Los LLM ajustados utilizando descriptores de texto completo especializados, particularmente mof2text y robocry, alcanzaron un rendimiento comparable al de los modelos de vanguardia basados en grafos (por ejemplo, PMTransformer, CGCNN) y superaron significativamente a las heurísticas basadas en geometría (por ejemplo, Chen-Manz, MOFChecker). El descriptor mof2text, que codifica la topología, la información de carga y las unidades de construcción evitando descripciones redundantes átomo por átomo, produjo la mayor exactitud.
• Validación explicable: A diferencia de los clasificadores tradicionales, los LLM ajustados pudieron generar razonamientos diagnósticos específicos. Al proporcionar entradas de mof2text, modelos como Qwen3 identificaron con éxito defectos relacionados con "enlaces" (bonding), "conectividad" y "estados de carga". El análisis t-SNE reveló que los descriptores químicamente significativos crearon espacios de incrustación donde las estructuras razonables e irrezonables se separaban claramente, y los tipos de error formaban grupos discernibles.
• Categorización de errores: En un conjunto de datos de cuatro clases etiquetado manualmente, los LLM ajustados (específicamente FT-Llama3-R) identificaron correctamente los tipos de error para aproximadamente el 70% de los MOF irrezonables, con solo un ~12% de predicciones incorrectas. Los modelos demostraron la capacidad de mapear los defectos estructurales a categorías químicamente plausibles, capturando las consecuencias químicas más amplias de los errores (por ejemplo, vinculando la falta de átomos de hidrógeno con anomalías de coordinación y de carga).

Significado y afirmaciones
El artículo afirma establecer la "textualización informada químicamente" como el paso habilitador crítico para transformar los LLM de propósito general en herramientas prácticas y explicables para la curación de bases de datos de MOF. Los autores aseveran que:

1. Los LLM pueden ir más allá de la clasificación de caja negra para proporcionar razonamientos interpretables sobre los defectos estructurales, cerrando la brecha entre la predicción y la explicación.
2. La representación de los datos es más crítica que la arquitectura del modelo en sí misma; sin una textualización químicamente significativa, los LLM no pueden internalizar eficazmente la validez cristalográfica.
3. Este enfoque ofrece una vía viable para la curación asistida por IA de bases de datos de MOF listas para computación, facilitando potencialmente futuros flujos de trabajo que combinen validación, generación de razonamientos y refinamiento automatizado.

Los autores mantienen la modestia respecto a las limitaciones actuales, señalando que el marco de cuatro clases de error es una aproximación simplificada y que los modelos aún no pueden localizar con precisión los átomos erróneos ni especificar completamente las causas raíz de todos los tipos de defectos. Sin embargo, posicionan este trabajo como un paso fundacional hacia flujos de trabajo de refinamiento más generales y autónomos en la química reticular.