What Does a Chemical Language Model Know About Molecules?

Resumo Técnico: O que um Modelo de Linguagem Química Sabe Sobre Moléculas?

Problema
Modelos de Linguagem Química (cLMs) têm demonstrado um forte desempenho na previsão de propriedades moleculares e no design generativo de fármacos. No entanto, permanece um ceticismo significativo dentro da comunidade sobre se esses modelos aprendem semântica molecular significativa ou se apenas exploram padrões sintáticos superficiais de representações de strings moleculares (ex: SMILES). Dado que as moléculas podem ser representadas como strings de múltiplas formas equivalentes, não está claro se os cLMs internalizam a estrutura química ou simplesmente processam a gramática da string. Abordar isso requer uma compreensão mecanística de como os cLMs representam internamente as moléculas.

Metodologia
Os autores aplicam Autoencoders Esparsos (SAEs), uma técnica de interpretabilidade mecanística, ao MolFormer-XL (especificamente a variante de pesos abertos MolFormer-10), um cLM apenas de codificação (encoder-only) pré-treinado em 1,1 bilhão de strings SMILES moleculares.

• Treinamento de SAE: Eles treinam k-SAEs no fluxo residual (residual stream) do modelo para decompor as ativações em características esparsas e interpretáveis por humanos.
• Classificação de Características: Os latentes do SAE são classificados com base nos tipos de tokens dominantes (átomos, índices de anéis, ramificações, ligações) e mapeados para conceitos relacionados a átomos (átomo, átomo-em-subestrutura, subestrutura) usando a notação SMARTS.
• Análise de Perturbação: O estudo investiga mudanças de representação causadas por SMILES não-canônicos (variações válidas na análise de string) e SMILES inválidos (erros de sintaxe ou valência) para testar a invariância do modelo à notação de string.
• Probing de Downstream: Probes lineares são treinados em 21 tarefas de ADMET (Absorção, Distribuição, Metabolismo, Excreção, Toxicidade) para identificar quais latentes de SAE se correlacionam com propriedades farmacologicamente relevantes.
• Ferramental: Os autores desenvolveram o InterMol, um visualizador web interativo para explorar ativações de SAE em strings e estruturas moleculares.

Principais Contribuições e Resultados

1. Construção de Representação Hierárquica:
   A análise revela uma progressão hierárquica em como as representações moleculares são construídas:

   • Camadas Iniciais: Dependem fortemente de latentes de rastreamento de posição para processar a gramática molecular (ex: rastrear índices de anéis, fechamentos de ramificações e posições de tokens). Essas camadas mostram uma alta densidade de "latentes de posição" que se correlacionam com posições relativas de tokens.
   • Camadas Posteriores: Deslocam-se para a codificação de átomo-em-subestrutura e características de nível de subestrutura. O modelo parece aprender latentes de pares de átomos compartilhados para motivos comuns (ex: C=O, C-N) em vez de latentes distintos para cada grupo funcional específico, permitindo o reuso em estruturas complexas.

2. Características de Processamento Sintático:
   Além dos conceitos relacionados a átomos, os autores identificam dois tipos distintos de características de processamento sintático:

   • Latentes de Posição: Proeminentes em camadas iniciais, estas rastreiam posições específicas de tokens ou a completude de subestruturas sintáticas (ex: rastrear um oxigênio com ligação dupla dentro de uma ramificação, do início ao fechamento).
   • Latentes "Qualquer Coisa Menos X": Ativam em todos os tokens exceto tipos específicos (ex: "qualquer coisa menos carbonos"). Embora sua função exata seja incerta, elas podem auxiliar na discriminação de heteroátomos, embora os autores notem que podem ser artefatos do tamanho do SAE.

3. Impacto de Variantes de SMILES:

   • SMILES Não-canônicos: Estes produzem mudanças de representação mais disruptivas do que SMILES inválidos. A disrupção é impulsionada pela disrupção de latentes de posição em camadas iniciais, que se propaga para camadas mais profundas. Isso sugere que modelos pré-treinados apenas em SMILES canônicos podem ter dificuldade com a invariância a variações de string devido à sua dependência de mecanismos de rastreamento de posição.
   • SMILES Inválidos: Erros de sintaxe (ex: truncamento) causam distribuições de similaridade amplas, enquanto erros de valência afetam significativamente latentes não-posicionais específicos. Notavelmente, um latente específico na Camada 12 (L12/f/956) atua como um detector tanto de canonicidade quanto de validade, mostrando forte ativação quando os inputs são aumentados ou corrompidos.

4. Latentes Farmacologicamente Relevantes:
   O probing linear em tarefas de ADMET demonstra que os embeddings de SAE superam os fingerprints e descritores moleculares de base em 16 de 21 tarefas. Os autores identificaram latentes específicos correspondentes a características farmacofóricas conhecidas:

   • Absorção Intestinal Humana (HIA): Latentes que ativam em substituintes halogênios (Cl, F) e oxigênios com ligação dupla.
   • Inibição da CYP2C9: Um latente que ativa em heteroátomos dentro de heterociclos.
   • Mutagenicidade de Ames: Latentes que ativam em ligações nitrogênio-nitrogênio (nitrosaminas) e grupos nitro/azida.
   • Lipofilicidade: Latentes que ativam em carbonos aromáticos (aumentando a lipofilicidade) e motivos de ácido carboxílico (diminuindo-a).

Significância e Alegações
O artigo afirma fornecer uma resposta mecanística fundamentada sobre o que os modelos de linguagem química sabem sobre moléculas. Ele demonstra que os cLMs não aprendem apenas padrões superficiais, mas constroem representações hierárquicas que progridem do processamento sintático para conceitos de subestrutura quimicamente significativos. As descobertas sugerem que, embora os cLMs codifiquem características farmacologicamente relevantes, sua dependência de latentes de rastreamento de posição cria uma vulnerabilidade à variações de string não-canônicas.

Os autores enquadram seu trabalho de forma modesta como uma base para o design futuro de cLMs, sugerindo que estratégias de treinamento envolvendo aumento de SMILES ou aprendizado contrastivo poderiam mitigar o viés posicional. Eles também propõem que trabalhos futuros poderiam utilizar transcodificadores entre camadas para identificar circuitos moleculares causais. O artigo explicitamente evita alegar que os cLMs alcançaram o raciocínio químico de nível humano, focando em vez disso na identificação de características interpretáveis que se alinham com princípios químicos conhecidos. A introdução do InterMol é apresentada como uma ferramenta para facilitar a exploração comunitária desses latentes não interpretados.