A single design choice determines whether machine learning models of materials make physically impossible predictions

Na busca pela descoberta de novos materiais, os cientistas há muito dependem de um poderoso atalho: usar as regras de simetria para prever como um cristal se comportará. Os cristais não são pilhas aleatórias de átomos; são estruturas altamente ordenadas onde os átomos se repetem em padrões precisos. Devido a essa ordem, as leis da física ditam que certas propriedades devem se comportar de maneiras específicas. Por exemplo, se um cristal parece exatamente o mesmo quando você o vira de cabeça para baixo através de seu centro — uma propriedade conhecida como centrosimetria — então ele não pode gerar eletricidade quando comprimido. Não se trata de o material ser fraco ou a medição ser imprecisa; é uma regra rígida da natureza. Se um cristal possui essa simetria central, a resposta elétrica deve ser exatamente zero.

Durante décadas, pesquisadores usaram simulações computacionais complexas baseadas em mecânica quântica para calcular essas propriedades. Hoje, porém, um método mais rápido está assumindo o controle: o aprendizado de máquina. Esses modelos de inteligência artificial são treinados para prever propriedades de materiais aprendendo com vastos bancos de dados de cristais conhecidos. Eles estão se tornando a principal ferramenta para descobrir novas substâncias para baterias, células solares e eletrônicos. A esperança é que esses modelos possam aprender as regras de simetria assim como um físico humano faria ou, talvez até melhor, encontrando padrões nos dados que os humanos possam perder. Mas essa velocidade traz um risco: se o modelo não obedecer estritamente às leis fundamentais de simetria, ele pode prever que um cristal pode fazer algo que a natureza proíbe, como gerar eletricidade quando fisicamente não pode.

Um estudo recente realizado por pesquisadores da Texas A&M University e outras instituições revela uma falha surpreendente na forma como muitos desses populares modelos de aprendizado de máquina são construídos. A equipe descobriu que o fato de um modelo respeitar essas leis absolutas da física não é determinado pelo quanto de dados ele vê ou por quanto tempo é treinado. Em vez disso, é decidido por uma escolha de design minúscula e única feita antes mesmo do treinamento começar. Essa escolha é se os "recursos" internos do modelo — os blocos matemáticos de construção que ele usa para entender a forma de um cristal — carregam um rótulo específico chamado "paridade". Paridade é uma forma de rastrear como uma forma muda quando é refletida em um espelho ou virada do avesso. Os pesquisadores descobriram que, se um modelo carece desse rótulo, ele é matematicamente incapaz de prever o zero exato exigido pela simetria, não importa o quanto tente. Ele sempre produzirá um número pequeno e não nulo, que representa uma previsão fisicamente impossível.

Para provar isso, os pesquisadores estabeleceram um teste rigoroso usando uma propriedade chamada tensor piezoelétrico, que mede quanta eletricidade um cristal produz quando comprimido. Eles focaram em dois mil cristais diferentes que são conhecidos por serem centrosimétricos, o que significa que possuem um centro de simetria. De acordo com as leis da física, a resposta piezoelétrica para todos esses cristais deve ser exatamente zero. A equipe pegou vários dos modelos de aprendizado de máquina mais avançados usados na área e criou duas versões de cada. Uma versão foi construída com os rótos de paridade incluídos, enquanto a outra foi construída sem eles, sendo idêntica em todos os outros aspectos. Eles então treinaram ambas as versões nos mesmos dados e pediram que previssem a resposta piezoelétrica para os dois mil cristais centrosimétricos.

Os resultados foram dramáticos e imediatos. Os modelos com os rótulos de paridade previram um valor de zero para cada um dos cristais, até os limites da precisão do computador. Eles identificaram corretamente que esses materiais não poderiam produzir eletricidade. Em forte contraste, os modelos sem os rótulos de paridade falharam espetacularmente. Eles previram uma resposta elétrica não nula para 90 a 96 por cento dos cristais. Essas previsões não eram erros minúsculos; eram frequentemente tão grandes quanto as respostas elétricas reais encontradas em materiais que podem gerar eletricidade. A diferença entre os dois grupos não era uma questão de algumas casas decimais; era uma lacuna de seis ordens de magnitude, o que significa que os modelos "errados" eram um milhão de vezes mais propensos a prever um evento fisicamente impossível do que os modelos "certos".

Os pesquisadores testaram então se o treinamento poderia corrigir o problema. Eles alimentaram os modelos "errados" com dados extras, especificamente mostrando-lhes exemplos de cristais centrosimétricos com o rótulo zero correto, esperando que os modelos aprendessem a respeitar a regra. Não funcionou. Mesmo após ver milhares de exemplos onde a resposta era zero, os modelos continuaram a prever valores não nulos. Eles conseguiam chegar mais perto de zero, mas nunca podiam atingir o zero exato exigido pelas leis da física. O estudo também mostrou que simplesmente tirar a média dos resultados de um modelo e de sua imagem espelhada não resolvia a questão, porque a estrutura subjacente do modelo era cega à regra de simetria.

Essa descoberta tem implicações profundas para o campo da ciência dos materiais. Sugere que a confiabilidade de um modelo de aprendizado de máquina não se trata apenas de sua precisão em testes padrão, mas de sua capacidade estrutural de representar a realidade física. Os pesquisadores auditaram dezoito arquiteturas diferentes de aprendizado de máquina atualmente em uso e descobriram que exatamente metade delas carece dos necessários rótulos de paridade. Isso significa que uma parte significativa das ferramentas que os cientistas estão usando para descobrir novos materiais é fundamentalmente incapaz de fazer a previsão correta para uma grande classe de cristais. O problema não é que esses modelos sejam ruins em aprender; é que seu design os impede de aprender essa verdade específica.

O estudo também destacou uma tendência crescente no campo, onde cientistas pegam um modelo pré-treinado, que já aprendeu a estrutura geral dos átomos, e anexam uma nova "cabeça" para prever uma propriedade específica. Os pesquisadores mostraram que, se o modelo original foi construído sem rótulos de paridade, o novo preditor de propriedades herdará essa falha. Não importa o quão cuidadosamente a nova parte seja projetada; se a fundação carece do rótulo de paridade, toda a estrutura falhará em respeitar as leis da física. Isso significa que a decisão de incluir ou excluir esse rótulo é tomada a montante, frequentemente pelos criadores do modelo base, e isso dita silenciosamente a validade de cada previsão feita por qualquer pessoa que use esse modelo posteriormente.

Em última análise, o artigo argumenta que, para o aprendizado de máquina ser verdadeiramente confiável na ciência, ele deve ser construído com as leis da física integradas em sua estrutura, não apenas aprendidas a partir de dados. Os pesquisadores propõem uma verificação simples: antes de confiar em um modelo para prever uma propriedade que deveria ser zero devido à simetria, pode-se testá-lo em segundos aplicando uma reflexão de espelho a uma estrutura de cristal aleatória. Se o modelo prever um valor não nulo, ele carece do necessário rótulo de paridade e não pode ser confiado para essa tarefa. Isso não é uma sugestão de melhoria, mas um requisito para a validade física. O estudo conclui que a presença ou ausência deste único rótulo determina se um modelo é uma ferramenta de descoberta ou uma fonte de previsões impossíveis, e que este é um detalhe que deve ser relatado e verificado para cada modelo usado na busca por novos materiais.