🧬 biology

Transformers Discover Molecular Structure Without Graph Priors

Este artigo demonstra que modelos Transformer de propósito geral, quando treinados sem priors físicos explícitos baseados em grafos, podem descobrir autonomamente estruturas moleculares e padrões de interação fundamentais apenas a partir de dados, alcançando uma precisão competitiva com arquiteturas informadas pela física e sugerindo que tais vieses indutivos podem ser aprendíveis em vez de estritamente necessários.

Autores originais: Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

Publicado 2026-09-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Cientistas há muito dependem de simulações computacionais para compreender como o mundo físico funciona, desde a maneira como os átomos se ligam para formar moléculas até como os materiais reagem sob estresse. Tradicionalmente, essas simulações são construídas codificando manualmente as leis conhecidas da física diretamente no software. Essa abordagem garante que os resultados façam sentido, mas é frequentemente lenta e cara. Nos últimos anos, um método diferente surgiu: o uso de aprendizado de máquina para encontrar padrões em dados em vez de seguir regras pré-escritas. Embora essa abordagem baseada em dados tenha revolucionado campos como o reconhecimento de linguagem e de imagens, sua aplicação à física tem sido cautelosa. Muitos especialistas acreditavam que, sem ensinar explicitamente ao computador as regras de geometria e força, ele falharia em compreender a complexa dança dos átomos. A visão predominante era que um modelo de aprendizado de máquina precisava de um mapa integrado de como os átomos interagem para produzir resultados confiáveis.

Uma equipe de pesquisadores da Universidade da Califórnia, Berkeley, e do Laboratório Nacional de Berkeley, propôs-se a testar os limites dessa suposição. Eles fizeram uma pergunta fundamental: se você der a um modelo de computador poderoso uma quantidade massiva de dados sobre moléculas, mas proibi-lo de usar quaisquer regras pré-programadas sobre física, ele ainda consegue descobrir por conta própria como o mundo físico funciona? Para encontrar a resposta, eles treinaram um tipo de Transformer, uma forma de inteligência artificial, em um vasto conjunto de dados de estruturas moleculares. Esse conjunto de dados, chamado OMol25, contém milhões de exemplos de átomos arranjados em várias configurações, juntamente com a energia e as forças associadas a cada arranjo. Crucialmente, os pesquisadores não deram ao modelo nenhuma instrução especial sobre como os átomos deveriam se comportar, nem o forçaram a observar os átomos em uma ordem geométrica específica. Eles simplesmente forneceram coordenadas brutas e o deixaram aprender.

Os resultados foram impressionantes. O modelo, que começou sem conhecimento de física, descobriu autonomamente os próprios padrões que os cientistas passaram décadas tentando codificar manualmente. À medida que o modelo processava os dados, ele aprendia a atribuir diferentes níveis de importância às relações entre os átomos com base na distância entre eles. Nos estágios iniciais de seu aprendizado, o modelo focava intensamente nos átomos próximos, com sua atenção caindo bruscamente à medida que a distância aumentava. Esse comportamento espelhava a maneira como as forças físicas, como a repulsão eletrostática, enfraquecem rapidamente em curtas distâncias. À medida que o modelo se tornava mais profundo e complexo, ele mudava seu foco para incluir interações de longo alcance, eventualmente aprendendo um padrão que correspondia à maneira como a energia decai com a distância na física clássica. Notavelmente, o modelo até descobriu um limite natural de até onde precisava olhar para entender o ambiente de um átomo, uma distância de corte que se alinhava perfeitamente com os valores que especialistas humanos haviam selecionado manualmente para modelos tradicionais.

Os pesquisadores também observaram que o modelo não era rígido em sua abordagem. Em vez de usar uma regra fixa para o quão longe olhar ao redor de um átomo, ele adaptava seu comportamento com base na densidade do espaço circundante. Em áreas congestionadas, onde os átomos estavam compactados, o modelo concentrava-se nos vizinhos imediatos. Em áreas esparsas, onde os átomos estavam isolados, ele expandia seu foco para incluir parceiros distantes. Essa flexibilidade permitiu que o modelo lidasse com diferentes ambientes moleculares de forma mais eficaz do que um sistema rígido e pré-programado poderia. Além disso, o modelo aprendeu a organizar elementos químicos de uma forma que refletisse a tabela periódica, agrupando gases nobres juntos e ordenando metais por suas famílias químicas, tudo isso sem nunca ter sido informado sobre o que era uma tabela periódica.

Para garantir que essas descobertas não fossem apenas uma coincidência de um conjunto de dados específico, a equipe testou a capacidade de escala do modelo. Eles descobriram que, à medida que aumentavam a quantidade de dados e o tamanho do modelo, seu desempenho melhorava de maneira previsível e consistente. Esse comportamento, conhecido como lei de escala, é uma marca registrada de sistemas poderosos de aprendizado de máquina e sugere que a compreensão da física pelo modelo era genuína e robusta. Em testes nos quais o modelo foi solicitado a prever a energia de moléculas de água, ele produziu resultados que coincidiam tanto com simulações de física de alto nível quanto com medições experimentais do mundo real. Ainda mais surpreendente, quando os pesquisadores treinaram uma versão muito grande do modelo, ele alcançou uma precisão comparável à de modelos especializados que foram explicitamente projetados com leis físicas integradas em sua arquitetura.

Essas descobertas sugerem que a fronteira entre regras projetadas por humanos e conhecimento aprendido é mais fluida do que se pensava anteriormente. O estudo indica que, com dados suficientes, modelos de aprendizado de máquina de propósito geral podem descobrir os princípios fundamentais de interação física por conta própria. Isso não significa que os modelos projetados por humanos sejam obsoletos; pelo contrário, sugere que arquiteturas de propósito geral podem servir como um ponto de partida sólido para a modelagem científica. Ao confiar nos dados para revelar a estrutura, os cientistas podem ser capazes de descobrir soluções flexíveis que são difíceas de antecipar ou difíceis de escrever antecipadamente. O trabalho abre um novo caminho para a descoberta científica, onde o computador não é apenas uma calculadora seguindo instruções, mas um aprendiz capaz de encontrar as regras do universo dentro dos próprios dados.

Resumo Técnico: Transformers Descobrem Estrutura Molecular Sem Priores Físicos

Definição do Problema
A modelagem computacional é essencial para o estudo de sistemas físicos, porém os métodos tradicionais ab initio são frequentemente proibitivos em termos de custo para sistemas de grande escala. O aprendizado de máquina (ML) surgiu como uma alternativa de baixo custo, mas sua aplicação nas ciências físicas geralmente depende da incorporação de fortes vieses indutivos físicos (ex: localidade geométrica, estruturas de grafos e simetrias específicas) diretamente nas arquiteturas dos modelos. Isso levanta uma questão fundamental: até que ponto as leis físicas devem ser explicitamente codificadas e até que ponto elas podem ser autonomamente descobertas apenas a partir dos dados? Embora arquiteturas agnósticas ao domínio, como os Transformers, tenham revolucionado a linguagem e a visão, sua adoção na modelagem atomística foi limitada pela suposição de que eles não poderiam recuperar interações físicas complexas sem orientação geométrica explícita, especialmente dado o histórico de conjuntos de dados científicos menores.

Metodologia
Os autores investigam se uma arquitetura Transformer padrão, não modificada, pode recuperar estruturas físicas fundamentais quando treinada exclusivamente em dados atomísticos, sem quaisquer priores específicos do domínio, como grafos de interação ou potenciais de pares definidos manualmente.

Arquitetura do Modelo: O estudo utiliza um Transformer livre de grafos que recebe coordenadas cartesianas brutas, tipos atômicos e tokens globais (carga, spin) como entrada para prever energias moleculares e forças por átomo. O mecanismo central é a operação de autoatenção (self-attention), onde os escores de atenção ( $XW_Q(XW_K)^T$ ) servem como um substituto (proxy) para as forças de interação interatômica aprendidas.
Conjunto de Dados: O conjunto de dados primário é o OMol25 (Open Molecules 2025), um conjunto massivo que abrange diversas estruturas químicas (biomoléculas, complexos metálicos, eletrólitos) com rótulos de energia e força calculados ao nível de teoria $\omega$ B97M-V/def2-TZVPD.
Pipeline de Treinamento: O modelo emprega um processo de treinamento de dois estágios: pré-treinamento em uma versão discretizada dos alvos seguido de ajuste fino (fine-tuning) em valores contínuos.
Técnicas de Análise:
- Análise de Atenção: Os autores analisam os escores de atenção como uma função da distância interatômica para determinar se o modelo aprende padrões de decaimento consistentes com leis físicas (ex: eletrostática).
- Cutoffs Adaptativos: Eles definem um "raio de interação efetivo" aprendido ( $R_i$ ) para cada átomo com base na distância necessária para capturar 90% de sua atenção total, comparando isso contra esparsidade local e proxies físicos (matriz de densidade e proxies de monopolo eletrostático).
- Leis de Escala: O estudo realiza uma análise de escala neural treinando modelos de vários tamanhos (5M a 306M de parâmetros, e até 1B no pré-treinamento) em diferentes contagens de épocas para verificar se o desempenho segue relações de lei de potência previsíveis com computação e dados.
- Experimentos Sintéticos: Para isolar mecanismos de aprendizado, os autores geram conjuntos de dados sintéticos com rótulos de energia definidos por potenciais de pares simples ( $E(r) \propto 1/r^\alpha$ ) para testar se o modelo consegue recuperar o expoente $\alpha$ específico.

Principais Resultados

Recuperação Autônoma de Estrutura Física: O Transformer aprende autonomamente forças de interação que espelham a física clássica. Em camadas iniciais, a atenção decai bruscamente com a distância ( $\sim 1/r^2$ ), consistente com forças eletrostáticas. Em camadas mais profundas, o decaimento torna-se mais gradual ( $\sim 1/r$ ), alinhando-se com a escala de energia eletrostática.
Padrões de Interação Adaptativos: Ao contrário das Redes Neurais de Grafos (GNNs) que utilizam cutoffs de raio fixos, o Transformer aprende raios de interação efetivos adaptativos. Em ambientes esparsos, o modelo expande seu campo receptivo para capturar interações de longo alcance, enquanto em regiões densas, foca em interações locais. Este cutoff aprendido alinha-se com os valores tipicamente escolhidos manualmente em modelos informados por física.
Escalabilidade Previsível: O modelo exibe um comportamento de lei de escala neural previsível. O desempenho melhora consistentemente com o aumento de dados e computação, seguindo relações de lei de potência semelhantes às observadas em outros domínios de ML. Os autores previram com sucesso o desempenho de um modelo de 306M de parâmetros usando leis de escala derivadas de modelos menores.
Recuperação de Dados Sintéticos: Em conjuntos de dados sintéticos com potenciais $1/r^\alpha$ conhecidos, os expoentes de atenção aprendidos pelo modelo correlacionam-se fortemente com o valor real ( $R^2 = 0,98$ ). À medida que os dados e o tamanho do modelo aumentam, o expoente aprendido aproxima-se cada vez mais do verdadeiro expoente físico subjacente.
Compreensão Química e Intermolecular: O modelo aprende embeddings de elementos quimicamente significativos que refletem a tabela periódica (ex: agrupando gases nobres, ordenando metais alcalinos). Além disso, ele reproduz com precisão curvas de energia de interação intermolecular para dímeros de água, correspondendo aos dados de DFT e experimentais, e evita os artefatos de truncamento abrupto comuns em modelos de cutoff fixo.
Precisão Competitiva: Um Transformer de 1B de parâmetros, treinado sob um orçamento de computação equivalente contra uma GNN informada por física, alcança precisão competitiva em tarefas de predição de energia e força, inclusive em composições moleculares fora da distribuição (out-of-distribution).

Significância e Alegações
O artigo argumenta que arquiteturas de propósito geral, especificamente Transformers, podem servir como bases (baselines) principiais para a modelagem científica. Os resultados sugerem que muitos vieses indutivos físicos — tradicionalmente considerados necessários para serem codificados rigidamente em arquiteturas de modelos — são aprendíveis diretamente dos dados quando há dados e computação suficientes disponíveis.

Os autores afirmam que este trabalho esclarece a fronteira entre o viés indutivo projetado e a estrutura física aprendível. Eles postulam que priores explícitos devem ser introduzidos apenas quando empiricamente necessários, e não como um requisito padrão. Ao demonstrar que um modelo agnóstico ao domínio pode recuperar padrões físicos complexos (como cutoffs adaptativos e escala eletrostática) e escalar previsivelmente, o estudo apoia a transferência de insights da literatura mais ampla de aprendizado profundo para a comunidade de modelagem atomística, potencialmente permitindo modelos científicos mais flexíveis e generalizáveis.

Mais como este