Resumen Técnico: Replanteando las Representaciones de Texto Molecular para LLMs

Declaración del Problema

La aplicación de los Modelos de Lenguaje de Gran Escala (LLMs) a la química está creciendo, pero el campo carece de una comprensión sistemática de qué representación de texto molecular soporta mejor las diferentes tareas. Aunque el Sistema de Entrada de Línea de Texto de Entrada Molecular Simplificada (SMILES) se ha convertido en el estándar de facto debido a su prevalencia en los corpus de preentrenamiento y la literatura, no está claro si esta representación es óptima para todas las tareas de razonamiento químico basadas en LLMs. El trabajo previo suele centrarse en entrenar modelos desde cero sobre cadenas moleculares o realizar ajustes finos (fine-tuning) para tareas específicas, utilizando predominantemente SMILES. Sin embargo, la química ofrece diversos formatos legibles por máquina (por ejemplo, nombres IUPAC, InChI, SELFIES, XML/JSON estructurado) que difieren en compacidad, invertibilidad y estructura semántica. La pregunta central abordada es si el rendimiento de los LLMs es invariante a la representación o si tareas específicas requieren representaciones específicas para lograr una competencia óptima.

Metodología

Los autores introducen MolRepBench, un benchmark sistemático diseñado para evaluar la competencia molecular de los LLMs a través de nueve representaciones distintas y ocho tareas químicas.

Representaciones Evaluadas:
El estudio cubre nueve formatos, que van desde cadenas compactas hasta estructuras de grafos explícitas:

1. Variantes de SMILES: Canónico, Isomérico y SMILES Aleatorizado.
2. Cadenas Optimizadas para Generación: DeepSMILES y SELFIES.
3. Nomenclatura e Identificadores: Nombres IUPAC e Identificador Químico Internacional (InChI).
4. Texto Estructurado: Lenguaje de Marcado Químico (CML) y MolJSON (una representación de grafo reciente basada en JSON).

Modelos Evaluados:
El benchmark pone a prueba 16 LLMs pertenecientes a cinco familias:

• Modelos generales de pesos abiertos: Qwen3 (4B/30B), Phi-4 (14B) y OLMo-3 (32B), incluyendo variantes de razonamiento y no de razonamiento.
• Modelos especializados en el dominio: ChemDFM (v2.0 y R) y Ether0, junto con sus respectivos modelos base (Qwen2.5-14B y Mistral-Small-24B).
• Modelos fronterizos cerrados: GPT-5.4-mini y Claude-Haiku-4.5.

Tareas:
Ocho tareas abarcan comprensión, discriminación y generación:

1. Conteo de Átomos: Parseo de cadenas para contar elementos específicos.
2. Identificación de Grupos Funcionales: Reconocimiento de subestructuras (p. ej., ésteres, aminas).
3. Estimación de Propiedades Moleculares: Predicción de propiedades computables (LogP, TPSA, donadores/aceptores de enlaces de hidrógeno) derivadas de RDKit.
4. Recuperación de Moléculas: Emparejamiento de descripciones en lenguaje natural con estructuras moleculares.
5. Discriminación de Isómeros: Distinción de moléculas con diferencias estructurales o estereoquímicas sutiles.
6. Reconocimiento de Tautómeros: Identificación de equivalencias estructurales dinámicas.
7. Reconocimiento del Estado de Protonación: Identificación de variantes de estado de carga de la misma molécula.
8. Generación de Molécula a partir de Leyenda: Traducción de descripciones en lenguaje natural en cadenas moleculares válidas.

Métricas de Evaluación:
El estudio emplea precisión de coincidencia exacta (exact-match accuracy), F1 macro, correlación de Spearman y similitud de Tanimoto para comparaciones estructurales. Crucialmente, para las tareas de generación, los autores utilizan un LLM como juez (Gemini 3 Flash) para evaluar cualitativamente los modos de error (p. ej., alucinaciones, errores de sintaxis, errores de andamiaje/scaffold) y calificar las generaciones en cuanto a fidelidad, razonamiento químico y calidad general.

Análisis Mecanístico:
Para explicar las diferencias de rendimiento, los autores realizan:

• Auditorías de Tokenización: Medición de conteos de tokens y longitudes de tokens de razonamiento.
• Sondeo Lineal (Linear Probing): Pruebas de estados ocultos para información química linealmente accesible.
• Análisis de Atención: Examen de los pesos de atención entre el último token y los tokens de la molécula, y la autoatención dentro de la molécula.

Resultados Clave

1. El Rendimiento Depende de la Representación
No existe una única representación que sea óptima para todas las tareas. La "mejor" representación varía significativamente según el tipo de tarea:

• Representaciones Estructuradas (CML, MolJSON): Dominan en tareas que requieren una comprensión explícita del grafo, como el Conteo de Átomos, la Discriminación de Isómeros y el Reconocimiento de Tautómeros. CML logró la puntuación agregada más alta (81 victorias en 128 configuraciones), seguida de MolJSON (75 victorias).
• Nombres IUPAC: Sobresalen en tareas semánticas, específicamente en Recuperación de Moléculas (ganando para los 16 LLMs) y Generación de Molécula a partir de Leyenda. Su estructura morfémica se alinea bien con las descripciones en lenguaje natural.
• Variantes de SMILES: A pesar de su dominio en el preentrenamiento, las variantes de SMILES rara vez son óptimas. Funcionan bien en la regresión de propiedades (LogP, TPSA), pero a menudo rinden por debajo de los formatos estructurados en la desambiguación estructural y la generación.
• SELFIES: Consistentemente funcionaron peor entre los 16 LLMs, particularmente en el conteo de átomos y la generación.

2. Especialización vs. Generalización
Los modelos especializados en química (p. ej., ChemDFM) muestran un compromiso (trade-off). Aunque superan significativamente a sus modelos base en tareas basadas en SMILES (p. ej., ChemDFM-R-14B logró puntuaciones altas de coincidencia exacta en generación con SMILES), sufren de olvido catastrófico o una degradación severa cuando se les presenta texto estructurado (CML, MolJSON, InChI). Por ejemplo, ChemDFM-R-14B produjo casi cero generaciones válidas con CML e InChI, mientras que su modelo base (Qwen2.5-14B) mantuvo un rendimiento robusto. Esto sugiere que el ajuste fino basado solo en SMILES premia una especialización que no se generaliza a otros formatos.

3. Calidad de la Generación y Modos de Error

• Validez $\neq$ Corrección: Altas tasas de validez (97.6% para ChemDFM-R-14B con SMILES) no garantizan la corrección estructural (la similitud de Tanimoto fue solo de 0.68).
• LLM-as-a-Judge: Los nombres IUPAC produjeron la mayor fracción de generaciones correctas (50%) cuando fueron juzgados por Gemini 3 Flash. El SMILES canónico tuvo una alta fidelidad de representación pero baja calidad general debido a errores de andamiaje (scaffold) y de razonamiento.
• Modelos de Razonamiento: Las variantes habilitadas para el razonamiento (p. ej., Phi-4-Reasoning, OLMo-Think) generalmente redujeron las tasas de alucinación en comparación con sus contrapartes de no razonamiento, aunque no mejoraron uniformemente el rendimiento en todas las tareas.

4. Perspectivas Mecanísticas

• Tokenización: Las representaciones estructuradas (CML, MolJSON) son significativamente más largas (mayores conteos de tokens) que SMILES. Sin embargo, resultan en longitudes de tokens de razonamiento más cortas, lo que sugiere que la estructura explícita reduce la carga cognitiva para el modelo.
• Atención: Las representaciones estructuradas requieren que el modelo atienda más fuertemente a través de todo el espectro molecular (mayor atención "último-token a molécula"), mientras que las variantes compactas de SMILES fomentan una interacción más rica de token a token dentro de la cadena.
• Codificación Interna: El sondeo lineal reveló que, si bien las variantes de SMILES están bien codificadas (probablemente debido al preentrenamiento), MolJSON (una representación de post-entrenamiento) a menudo produjo un mejor rendimiento de sondeo lineal, indicando que el modelo puede aprovechar la estructura de grafo explícita incluso sin exposición previa.

Significado y Reivindicaciones

El artículo argumenta en contra de la noción de evaluación invariante a la representación en química. Los autores afirman que:

1. La elección de la representación es crítica: El formato de texto molecular es un factor clave en la competencia química de los LLMs; usar una sola representación (como SMILES) proporciona una visión sesgada e incompleta de las capacidades de un modelo.
2. El enrutamiento consciente de la tarea es necesario: Diferentes tareas se benefician de diferentes representaciones. Los autores proponen un enrutamiento de representación consciente de la tarea, donde el formato de entrada se selecciona según la tarea química específica (p. ej., usar IUPAC para recuperación, CML/MolJSON para el parseo estructural).
3. Los estándares de evaluación deben evolucionar: Los benchmarks deberían reportar el rendimiento a través de múltiples representaciones para sacar a la luz los compromisos (trade-offs), particularmente la pérdida de generalización en modelos especializados en el dominio.
4. Juicio Cualitativo: Las métricas rígidas (tasa de validez, coincidencia exacta) son insuficientes para las tareas de generación; el uso de un LLM como juez es esencial para analizar los modos de error como las alucinaciones y los errores de andamiaje.

El estudio concluye que los LLMs actuales aún no poseen capacidades moleculares robustas e invariantes a la representación, y que el campo debe ir más allá de la evaluación centrada en SMILES para desarrollar sistemas de IA química más robustos y generalizables.