🔬 ciência dos materiais

Does System Size Matter in Uncertainty Quantification for Machine Learning Interatomic Potentials?

Este estudo demonstra que os métodos comuns de agregação de incerteza para potenciais interatômicos de aprendizado de máquina exibem dependências distintas do tamanho do sistema, revelando que limiares não conscientes do tamanho comprometem a detecção fora da distribuição e motivando a necessidade de calibração consciente do tamanho em simulações atomísticas de larga escala.

Autores originais: Chayaphol Lortaraprasert, Nontawat Charoenphakdee, Wenwen Li, Yong-Bin Zhuang, Yuta Tsuboi

Publicado 2026-10-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chayaphol Lortaraprasert, Nontawat Charoenphakdee, Wenwen Li, Yong-Bin Zhuang, Yuta Tsuboi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na busca pela descoberta de novos materiais, cientistas dependem de uma ferramenta poderosa chamada potenciais interatômicos de aprendizado de máquina. Estes são programas de computador treinados para prever como os átomos se comportarão e interagirão, atuando como um atalho para os cálculos incrivelmente complexos e lentos da física quântica. Em vez de resolver as equações completas para cada átomo individual em uma simulação, esses programas aprendem com um conjunto menor de dados de alta qualidade e, então, aplicam esse conhecimento a sistemas vastos, permitindo que pesquisadores simulem milhões de átomos por longos períodos. Para manter essas simulações seguras e precisas, os programas utilizam um sistema de alarme integrado chamado quantificação de incerteza. Este sistema sinaliza quando o computador encontra uma situação que ele nunca viu antes, como um arranjo estranho de átomos ou um defeito em um cristal, sinalizando que a previsão pode não ser confiável e que uma conta mais rigorosa e lenta é necessária.

Por anos, uma prática padrão tem sido tratar esses sinais de alarme da mesma forma, independentemente do tamanho do sistema que está sendo estudado. Se uma simulação envolve um pequeno aglomerado de átomos ou um bloco massivo de material, os pesquisadores simplesmente calculariam a média dos escores de incertidão de todos os átomos individuais ou observariam o único escore mais alto para decidir se toda a estrutura era segura. A suposição era que um escore alto significava a mesma coisa em uma caixa pequena que em uma gigante. No entanto, um novo estudo desafia essa crença de longa data, revelando que o tamanho do próprio sistema altera a forma como esses sinais de alarme se comportam, potencialmente fazendo com que a rede de segurança falhe exatamente quando é mais necessária: nas simulações mais amplas e complexas.

Os pesquisadores propuseram-se a testar se esses escores de incerteza permanecem comparáveis à medida que o número de átomos em uma simulação cresce. Eles usaram vários tipos diferentes de modelos de aprendizado de máquina para simular diversos materiais, incluindo uma liga metálica, água líquida e gelo. Em cada caso, criaram duas versões do mesmo material: uma que era perfeita e familiar ao computador (dentro da distribuição) e outra que continha uma falha específica, como um átomo ausente ou uma fase de matéria diferente, que o computador não havia sido treinado para reconhecer (fora da distribuição). Eles então realizaram simulações nesses materiais, aumentando gradualmente o número de átomos de algumas dezenas para várias centenas, e observaram como os escores de incerteza mudavam.

O que encontraram foi uma divisão clara e surpreendente no comportamento, dependendo de como os escores eram calculados. Quando os pesquisadores calculavam a média da incerteza de todos os átomos do sistema, o escore permanecia estável para materiais perfeitos, mas caía à medida que o sistema crescia se este contivesse um defeito. Isso acontecia porque os poucos átomos próximos ao defeito eram diluídos pelos milhares de átomos perfeitos ao redor, fazendo com que a média parecesse enganosamente segura. Em contraste, quando observavam o único escore de incerteza mais alto do sistema, o comportamento era o oposto. Para materiais perfeitos, esse escore mais alto continuava subindo conforme o sistema ficava maior, simplesmente porque um sistema maior tem mais chances de tropeçar em um arranjo local ligeiramente incomum de átomos. No entanto, para materiais com um defeito real, esse escore mais alto permanecia constante e não subia com o tamanho.

Essa divergência cria um ponto cego perigoso. Em um sistema pequeno, um defeito real produz um escore de incerteza alto que se destaca claramente contra os baixos escores de um material perfeito. Em um sistema grande, o escore mais alto de um material perfeito sobe tanto que começa a parecer tão incerto quanto o material defeituoso. O intervalo entre os dois desaparece, e o computador não consegue mais distinguir entre uma flutuação rara, mas inofensiva, em um cristal perfeito e uma falha genuína e perigosa. O estudo sugere que isso ocorre devido a um princípio estatístico: à medida que se retira mais amostras de uma distribuição, o valor mais extremo encontrado naturalmente torna-se maior. Um sistema maior simplesmente alcança mais longe na cauda de seu próprio comportamento normal, trazendo à tona ambientes locais mais raros que o modelo considera ligeiramente desconhecidos, embora o material seja fundamentalmente o mesmo.

Para entender se esses escores crescentes em sistemas perfeitos e grandes estavam realmente alertando sobre algo importante, os pesquisadores rastrearam os átomos específicos que dispararam a incerteza mais alta. Eles descobriram que esses átomos estavam, de fato, em ambientes locais incomuns e apresentavam erros maiores do que os átomos em sistemas menores. Logicamente, um ciclo de aprendizado padrão sinalizaria essas estruturas para retreinamento, alimentando o computador com novos dados para corrigir os erros. No entanto, quando os pesquisadores realmente realizaram esse retreinamento nos modelos baseados nessas estruturas grandes e sinalizadas, houve quase nenhuma melhoria. O modelo permaneceu obstinadamente impreciso nesses átomos específicos.

Em uma comparação reveladora, os pesquisadores treinaram o modelo em estruturas pequenas que foram deliberadamente desenhadas para serem desconhecidas, em vez de estruturas grandes que eram apenas estatisticamente raras. Essa abordagem foi muito mais eficaz. O retreinamento nessas estruturas pequenas e claramente fora da distribuição melhorou significativamente o desempenho do modelo e fechou a lacuna entre materiais perfeitos e defeituosos. O estudo conclui que o método atual de usar um limiar único e fixo para julgar a incerteza em todos os tamanhos de sistema é falho. Ele sugere que a maneira como esses modelos são treinados, que faz a média dos erros sobre todos os átomos, permite que eles ignorem alguns "maçãs podres" em um barril grande, tornando o sistema de alarme padrão não confiável para simulações massivas.

As descobertas apontam para uma mudança necessária na forma como essas simulações são gerenciadas. Os pesquisadores propõem que os sistemas futuros precisam ser "cientes do tamanho", o que significa que devem levar em conta o fato de que a incerteza naturalmente escala com o número de átomos. Eles testaram um método preliminar para ajustar os escores de incerteza a posteriori para remover esse viés de tamanho, mas descobriram que era difícil fazê-lo sem mascarar acidentalmente avisos genuínos sobre defeitos reais. O caminho a seguir envolve ou o desenvolvimento de novas maneiras de calibrar esses esscores para que sejam comparáveis entre diferentes tamanhos ou a mudança do próprio processo de treinamento para garantir que átomos raros com altos erros não sejam sacrificados em prol da precisão geral. Até que esses ajustes sejam feitos, os mecanismos de segurança em simulações de materiais de grande escala podem estar falhando silenciosamente, incapazes de distinguir entre o ruído de um sistema grande e o sinal de um problema real.

Problema

Os Potenciais Interatômicos de Aprendizado de Máquina (MLIPs) são cada vez mais utilizados para acelerar simulações atomísticas para a descoberta de materiais, permitindo tamanhos de sistema e escalas de tempo que vão muito além da Teoria do Funcional da Densidade (DFT). Um componente crítico para a implementação de MLIPs é a Quantificação de Incerteza (UQ), que sinaliza configurações fora da distribuição (OOD) e impulsiona ciclos de aprendizado ativo.

As práticas atuais tipicamente agregam incertezas por átomo (por exemplo, incertezas de força ou novidade no espaço de descritores) em uma única pontuação de nível estrutural usando tanto a média quanto o máximo das pontuações por átomo. Essas pontuações são então comparadas contra limiares fixos calibrados em células de referência pequenas. O artigo identifica uma suposição fundamental, não testada, neste fluxo de trabalho: a de que as pontuações de incerteza de nível estrutural permanecem comparáveis entre diferentes tamanhos de sistema. À medida que as simulações escalam para milhões de átomos e os conjuntos de dados de aprendizado ativo tornam-se de tamanhos mistos, os autores questionam se as propriedades estatísticas dessas agregações mudam com o tamanho do sistema, potencialmente fazendo com que a detecção de OOD falhe em simulações de grande escala.

Metodologia

Os autores investigam o comportamento de escala da incerteza de força por átomo em relação ao tamanho do sistema ( $N$ ) utilizando três arquiteturas distintas de Potencial Interatômico de Aprendizado de Máquina (MLIP) e estimadores de incerteza:

Variância de Ensemble: Usando ensembles dos modelos MACE [7] e ORB [13].
Métrica de Modelo Único: O Force-Delta do ORB (a diferença entre forças não conservativas e conservativas).

O estudo foca em três pares de In-Distribution (ID) vs. Out-of-Distribution (OOD):

Ni $_3$ Al: Pristino (ID) vs. Com vacâncias (OOD).
Água/Gelo: Água líquida (OOD) vs. Cristal de gelo (ID).
Dataset WBM: Mn $_2$ ScSe (ID) vs. CrPt $_2$ Sc (OOD).

Para cada sistema, supercélulas de tamanho crescente foram geradas via replicação. Estruturas foram amostradas de trajetórias de Dinâmica Molecular (MD) impulsionadas por potenciais de fundação. Os modelos foram treinados exclusivamente em estruturas ID de vários tamanhos. Os autores analisaram dois métodos de agregação:

Incerteza Média ( $\bar{u}$ ): $\frac{1}{N} \sum u_i$
Incerteza Máxima ( $u_{max}$ ): $\max_i u_i$

Eles também examinaram o ambiente local (via descritores SOAP) e os erros de força dos átomos que contribuem para $u_{max}$ para determinar se a alta incerteza corresponde a uma novidade genuína. Finalmente, testaram a eficácia do aprendizado ativo ao retreinar modelos em estruturas sinalizadas como OOD por essas métricas.

Resultados Principais

1. Comportamentos de Escala Divergentes das Agregações

Agregação pela Média: Para sistemas ID homogêneos, a incerteza média permanece independente do tamanho. No entanto, para sistemas com defeitos (ex: vacâncias), a incerteza média decai como $O(1/N)$ em células maiores. Em sistemas grandes, a incerteza média de uma estrutura com defeito torna-se indistinguível de uma estrutura pristina, tornando-a ineficaz para detectar defeitos locais.
Agregação pelo Máximo: Para sistemas ID homogêneos, $u_{max}$ aumenta com o tamanho do sistema $N$ . Por outro lado, para sistemas com defeitos, $u_{max}$ permanece aproximadamente constante. Este comportamento é atribuído à estatística de valores extremos: conforme $N$ aumenta, um sistema homogêneo amostra ambientes locais mais raros e distorcidos na cauda de sua própria distribuição de ambiente, resultando em maior incerteza.
Consequência: À medida que o tamanho do sistema cresce, a lacuna entre as pontuações de incerteza ID e OOD diminui e eventualmente desaparece para a agregação baseada no máximo. Isso leva a uma falha na detecção de OOD que não considera o tamanho, onde estruturas ID grandes são falsamente sinalizadas como OOD, ou a distinção entre ID e OOD é perdida.

2. Validade de Átomos de Alta Incerteza vs. Eficácia do Retreinamento
Os autores verificaram que os átomos com a incerteza máxima em estruturas ID grandes de fato possuem ambientes locais desconhecidos (alta distância no espaço de descritores SOAP) e altos erros de força. Embora esses átomos sejam candidatos a OOD estatisticamente válidos, retreinar modelos nessas estruturas grandes produz pouca melhoria na precisão do modelo.

Em contraste, retreinar em estruturas pequenas, "OOD-por-design" (ex: células pequenas com vacâncias), melhora significativamente o modelo e fecha a lacuna de incerteza.
Explicação: A perda de erro quadrático médio (MSE) padrão usada para treinar MLIPs faz a média sobre todos os átomos. Em um sistema grande, alguns ambientes distorcidos contribuem com $O(1/N)$ para o erro total. Consequentemente, o otimizador pode tolerar ajustes ruins para esses átomos discrepantes enquanto mantém um erro global baixo. Adicionar mais estruturas ID grandes não força o modelo a ajustar melhor esses ambientes raros.

3. Limitações da Calibração Post-Hoc
Os autores tentaram implementar um calibrador de incerteza treinável e pós-hoc, consciente do tamanho, para remover o viés de tamanho. Embora o calibrador tenha conseguido suavizar a tendência dependente do tamanho para sistemas pristinos, ele inadvertidamente suprimiu o sinal para sistemas com defeitos (que naturalmente não escalam com o tamanho), estreitando assim a lacuna ID/OOD. Isso sugere que remover o viés de tamanho sem distorcer sinais genuínos de OOD é uma tarefa não trivial.

Contribuições Principais

Identificação do Viés de Tamanho do Sistema: O artigo demonstra que os métodos atuais de agregação de incerteza (média e máximo) não são invariantes ao tamanho, desafiando a convenção de usar limiares fixos em conjuntos de dados de tamanhos mistos.
Explicação Estatística: Os autores atribuem a escala da incerteza máxima à estatística de valores extremos, fornecendo uma base teórica para o porquê de sistemas maiores exibirem naturalmente pontuações de incerteza mais altas mesmo sendo in-distribution.
Ineficiência do Aprendizado Ativo: O estudo revela uma limitação prática nos ciclos atuais de aprendizado ativo: sinalizar estruturas grandes baseadas em incertezas infladas pelo tamanho é computacionalmente caro e produz retornos decrescentes em comparação ao treinamento em estruturas OOD menores e direcionadas.
Evidência Empírica: Através de experimentos extensos com modelos MACE e ORB em múltiplos sistemas de materiais, os autores fornecem evidências robustas de que a UQ que não considera o tamanho leva a uma detecção incorreta de OOD em simulações de grande escala.

Significância e Alegações

O artigo afirma que o tamanho do sistema introduz um viés significativo na quantificação de incerteza para MLIPs, o que pode fazer com que a detecção de OOD falhe em simulações de materiais em larga escala. Os autores argumentam que a prática comum de comparar pontuações de incerteza de nível de estrutura entre diferentes tamanhos de sistema usando limiares fixos é falha.

A significância destas descobertas reside na necessidade de uma calibração consciente do tamanho ou de novos objetivos de treinamento que considerem átomos discrepantes sem sacrificar a precisão do bulk. Os autores concluem que, sem abordar essa dependência de tamanho, a confiabilidade da descoberta de materiais impulsionada por MLIP em escala está comprometida. Eles propõem que trabalhos futuros devem focar no desenvolvimento de calibradores pós-hoc conscientes do tamanho ou de funções de perda de treinamento que possam efetivamente ajustar ambientes raros de alto erro, em vez de depender dos critérios atuais de incerteza que não consideram o tamanho.

Problema

Metodologia

Resultados Principais

Contribuições Principais

Significância e Alegações

Mais como este