What Does a Chemical Language Model Know About Molecules?

Resumen Técnico: ¿Qué sabe un modelo de lenguaje químico sobre las moléculas?

Planteamiento del problema
Los modelos de lenguaje químico (cLMs) han demostrado un fuerte rendimiento en la predicación de propiedades moleculares y el diseño generativo de fármacos. Sin embargo, persiste un escepticismo significativo dentro de la comunidad sobre si estos modelos aprenden semántica molecular significativa o si simplemente explotan patrones sintácticos superficiales de las representaciones de cadenas de strings moleculares (por ejemplo, SMILES). Dado que las moléculas pueden representarse como cadenas de múltiples formas equivalentes, no está claro si los cLMs internalizan la estructura química o simplemente analizan la gramática de la cadena. Abordar esto requiere una comprensión mecánica de cómo los cLMs representan internamente las moléculas.

Metodología
Los autores aplican Autoencoders Dispersos (SAEs), una técnica de interpretabilidad mecánica, a MolFormer-XL (específicamente la variante de pesos abiertos MolFormer-10), un cLM de solo codificador preentrenado en 1.1 mil millones de cadenas SMILES moleculares.

• Entrenamiento de SAE: Entrenan k-SAEs en el flujo residual del modelo para descomponer las activaciones en características dispersas e interpretables por humanos.
• Clasificación de características: Los latentes de los SAE se clasifican según los tipos de tokens dominantes (átomos, índices de anillos, ramas, enlaces) y se mapean a conceptos relacionados con átomos (átomo, átomo en subestructura, subestructura) utilizando la notación SMARTS.
• Análisis de perturbación: El estudio investiga los cambios de representación causados por SMILES no canónicos (variaciones válidas en el análisis de cadenas) e invalidos (errores de sintaxis o valencia) para probar la invariancia del modelo ante la notación de la cadena.
• Sondeo descendente (Downstream Probing): Se entrenan sondas lineales en 21 tareas de ADMET (Absorción, Distribución, Metabolismo, Excreción, Toxicidad) para identificar qué latentes de los SAE se correlacionan con propiedades farmacológicamente relevantes.
• Herramientas: Los autores desarrollaron InterMol, un visualizador web interactivo para explorar las activaciones de los SAE en cadenas y estructuras moleculares.

Contribuciones clave y resultados

1. Construcción de representaciones jerárquicas:
   El análisis revela una progresión jerárquica en cómo se construyen las representaciones moleculares:

   • Capas tempranas: Dependen fuertemente de latentes de seguimiento de posición para analizar la gramática molecular (por ejemplo, rastrear índices de anillos, cierres de ramas y posiciones de tokens). Estas capas muestran una alta densidad de "latentes de posición" que se correlacionan con posiciones relativas de tokens.
   • Capas posteriores: Se desplazan hacia la codificación de átomo-en-subestructura y características a nivel de subestructura. El modelo parece aprender latentes de pares de átomos compartidos para motivos comunes (por ejemplo, C=O, C-N) en lugar de latentes distintos para cada grupo funcional específico, lo que permite su reutilización en estructuras complejas.

2. Características de análisis sintáctico:
   Más allá de los conceptos relacionados con átomos, los autores identifican dos tipos distintos de características de análisis sintáctico:

   • Latentes de posición: Prominentes en las capas tempranas, estas rastrean posiciones específicas de tokens o la completitud de las subestructuras sintácticas (por ejemplo, rastrear un oxígeno con doble enlace dentro de una rama desde la apertura hasta el cierre).
   • Latentes de "Cualquier cosa menos X": Se activan en todos los tokens excepto en tipos específicos (por ejemplo, "cualquier cosa excepto carbonos"). Aunque su función exacta no está clara, podrían ayudar a discriminar heteroátomos, aunque los autores señalan que podrían ser artefactos del tamaño del SAE.

3. Impacto de las variantes de SMILES:

   • SMILES no canónicos: Estos producen cambios de representación más disruptivos que los SMILES inválidos. La disrupción es impulsada por la disrupción de los latentes de posición en las capas tempranas, la cual se propaga a las capas más profundas. Esto sugiere que los modelos preentrenados únicamente con SMILES canónicos pueden tener dificultades con la invariancia a las variaciones de la cadena debido a su dependencia de los mecanismos de seguimiento de posición.
   • SMILES inválidos: Los errores de sintaxis (por ejemplo, truncamiento) causan distribuciones de similitud amplias, mientras que los errores de valencia afectan significativamente a latentes no posicionales específicos. Notablemente, un latente específico en la Capa 12 (L12/f/956) actúa como un detector tanto de la canonicidad como de la validez, mostrando una fuerte activación cuando las entradas son aumentadas o corrompidas.

4. Latentes farmacológicamente relevantes:
   El sondeo lineal en tareas de ADMET demuestra que los embeddings de los SAE superan a los fingerprints y descriptores moleculares base en 16 de 21 tareas. Los autores identificaron latentes específicos correspondientes a características farmacofóricas conocidas:

   • Absorción Intestinal Humana (HIA): Latentes que se activan en sustituyentes de halógenos (Cl, F) y oxígenos con doble enlace.
   • Inhibición de CYP2C9: Un latente que se activa en heteroátomos dentro de heterociclos.
   • Mutagenicidad de Ames: Latentes que se activan en enlaces nitrógeno-nitrógeno (nitrosaminas) y grupos nitro/azida.
   • Lipofilicidad: Latentes que se activan en carbonos aromáticos (aumentando la lipofilicidad) y motivos de ácido carboxílico (disminuyéndola).

Significancia y afirmaciones
El artículo afirma proporcionar una respuesta mecánica fundamentada sobre qué saben los modelos de lenguaje químico acerca de las moléculas. Demuestra que los cLMs no solo aprenden patrones superficiales, sino que construyen representaciones jerárquicas que progresan desde el análisis sintáctico hacia conceptos de subestructura químicamente significativos. Los hallazgos sugieren que, si bien los cLMs codifican características farmacológicamente relevantes, su dependencia de los latentes de seguimiento de posición crea una vulnerabilidad a las variaciones de cadena no canónicas.

Los autores enmarcan modestamente su trabajo como una base para el diseño futuro de cLMs, sugiriendo que las estrategias de entrenamiento que involucren el aumento de SMILES o el aprendizaje contrastivo podrían mitigar el sesgo posicional. También proponen que el trabajo futuro podría utilizar transcodificadores entre capas para identificar circuitos moleculares causales. El artículo evita explícitamente afirmar que los cLMs han alcanzado el razonamiento químico de nivel humano, centrándose en cambio en la identificación de características interpretables que se alinean con principios químicos conocidos. La introducción de InterMol se presenta como una herramienta para facilitar la exploración comunitaria de estos latentes no interpretados.