🔬 materials science

Probing out-of-distribution generalization in machine learning for materials

Este estudo revela que as avaliações heurísticas comuns em aprendizado de máquina para ciência dos materiais frequentemente superestimam a generalização e os benefícios do escalonamento neural porque testam primariamente a interpolação dentro do domínio de treinamento em vez da verdadeira extrapolação fora da distribuição, onde o aumento de dados ou do tamanho do modelo gera retornos decrescentes ou adversos.

Autores originais: Kangming Li, Andre Niyongabo Rubungo, Xiangyun Lei, Daniel Persaud, Kamal Choudhary, Brian DeCost, Adji Bousso Dieng, Jason Hattrick-Simpers

Publicado 2026-08-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kangming Li, Andre Niyongabo Rubungo, Xiangyun Lei, Daniel Persaud, Kamal Choudhary, Brian DeCost, Adji Bousso Dieng, Jason Hattrick-Simpers

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na busca por descobrir novos materiais, os cientistas têm recorrido cada vez mais à inteligência artificial para acelerar o processo. Imagine uma vasta biblioteca contendo milhões de receitas para diferentes substâncias, cada uma com propriedades únicas como resistência, condutividade ou quanta energia é necessária para formá-la. Tradicionalmente, encontrar um novo material significava testar uma receita após a outra em um laboratório, um esforço lento e caro. O aprendizado de máquina oferece um atalho: ao estudar a biblioteca existente, um computador pode aprender as regras da química e prever as propriedades de materiais que ele nunca viu antes. O objetivo final é construir modelos que sejam verdadeiramente gerais, o que significa que eles possam fazer previsões precisas sobre tipos completamente novos de matéria, não apenas sobre aqueles que se parecem com o que já estudaram. Essa capacidade de lidar com o desconhecido é crucial para resolver desafios globais, desde a criação de baterias melhores até o design de painéis solares mais eficientes. No entanto, resta uma questão pairando sobre o quão bem essas ferramentas digitais realmente funcionam quando confrontadas com o verdadeiramente unfamiliar.

Uma equipe de pesquisadores partiu para testar os limites desses modelos de aprendizado de máquina no campo da ciência dos materiais. Eles queriam saber se os modelos estavam genuinamente aprendendo as leis profundas da natureza ou se estavam simplesmente memorizando padrões que, por acaso, pareciam novas descobertas. Para fazer isso, projetaram um experimento massivo envolvendo mais de 700 desafios diferentes. Em cada desafio, eles treinaram um modelo de computador em uma grande coleção de materiais conhecidos e depois pediram que ele previsse as propriedades de um grupo específico de materiais que estavam completamente ausentes de seus dados de treinamento. Esses grupos foram definidos por regras específicas, como "todos os materiais contendo um certo elemento" ou "todos os materiais com uma forma cristalina específica". Os pesquisadores testaram uma grande variedade de modelos, variando de algoritmos simples e estabelecidos a redes neurais complexas e modernas que imitam o céreão humano.

Os resultados foram surpreendentes. Na grande maioria desses 700 desafios, os modelos tiveram um desempenho excepcional, mesmo quando os materiais de teste continham elementos ou estruturas que eles nunca haviam encontrado durante o treinamento. Modelos simples, que utilizam regras básicas de tomada de decisão, frequentemente tiveram um desempenho tão bom quanto os sistemas de aprendizado profundo mais sofisticados. Esse alto nível de sucesso sugeriu que os modelos não estavam tendo dificuldades para generalizar para uma nova química tanto quanto se pensava anteriormente. No entanto, os pesquisadores investigaram mais profundamente para entender por que isso estava acontecendo. Eles descobriram que a definição de "novo" nesses testes era frequentemente enganosa. Embora os materiais de teste fossem tecnicamente diferentes em termos de seus ingredientes químicos, eles frequentemente ocupavam o mesmo bairro geral no espaço matemático que os modelos usam para entender os materiais. Em outras palavras, os modelos não estavam verdadeiramente aventurando-se no desconhecido; eles estavam simplesmente preenchendo as lacunas entre o que já sabiam.

Para provar isso, a equipe mapeou o cenário matemático onde esses materiais vivem. Eles descobriram que, para as tarefas em que os modelos tiveram sucesso, os novos materiais estavam, na verdade, cercados pelos dados de treinamento, permitindo que os modelos fizessem suposições seguras baseadas em exemplos próximos. Mas quando olharam para as poucas tarefas em que os modelos falharam, descobriram que os materiais de teste estavam verdadeiramente isolados, longe de qualquer dado que os modelos tivessem visto. Essa distinção revelou uma falha crítica na forma como o campo mede o sucesso. Muitos dos testes que foram celebrados como prova da capacidade de um modelo de lidar com o desconhecido eram, na verdade, testes de sua capacidade de interpolar, ou seja, adivinhar o meio termo entre pontos conhecidos. Os modelos não estavam demonstrando uma habilidade mágica de extrapolar para os confins do espaço químico; eles estavam apenas conectando os pontos em uma região que já entendiam.

O estudo também desafiou uma ideia popular na inteligência artificial conhecida como escala (scaling). A crença predominante é que, se você simplesmente tornar o conjunto de dados de treinamento maior ou permitir que o modelo treine por mais tempo, sua capacidade de generalização sempre melhorará. Os pesquisadores testaram isso alimentando os modelos com cada vez mais dados. Para as tarefas fáceis, onde os novos materiais estavam próximos dos antigos, o desempenho de fato melhorou com mais dados. Mas para as tarefas verdadeiramente difíceis, onde os materiais estavam muito fora da zona de treinamento, adicionar mais dados ou tempo de treinamento não ajudou. Em alguns casos, na verdade tornou os modelos piores, fazendo com que sofressem de overfitting (sobreajuste) aos dados conhecidos e perdessem sua capacidade de adivinhar corretamente sobre o desconhecido. Isso sugere que a promessa de escalar para resolver todos os problemas de generalização é exagerada quando se trata de materiais verdadeiramente novos.

Os pesquisadores concluíram que o campo precisa ser mais cuidadoso sobre como define e testa a generalização. Os métodos atuais, que dependem de regras simples para separar os dados de treinamento dos dados de teste, frequentemente criam ilusões de sucesso. Eles mostram que os modelos são bons no que são bons, mas não provam necessariamente que esses modelos podem lidar com os desafios desconhecidos e verdadeiramente difíceis que impulsionarão as futuras descobertas científicas. O estudo não diz que o aprendizado de máquina está falhando; em vez disso, sugere que temos feito as perguntas erradas. Ao reconhecer que muitos de nossos testes "difíceis" são, na verdade, bastante fáceis para os modelos, os cientistas podem agora focar no design de desafios verdadeiramente complexos. Essa mudança ajudará a identificar as lacunas reais em nosso entendimento e a guiar o desenvolvimento de modelos que possam verdadeiramente navegar pelos territórios inexplorados da ciência dos materiais.

Resumo Técnico: Sondando a Generalização Fora da Distribuição em Aprendizado de Máquina para Materiais

Definição do Problema

O aprendizado de máquina científico (ML) visa desenvolver modelos generalizáveis com ampla aplicabilidade, particularmente na ciência dos materiais, onde modelos fundamentais de aprendizado profundo são aclamados por alcançar uma generalização fora da distribuição (OOD - out-of-distribution) sem precedentes. No entanto, a avaliação dessa generalizabilidade frequentemente se baseia em heurísticas (por exemplo, excluir elementos específicos ou simetrias estruturais dos dados de treinamento) que podem introduzir vieses significativos. Essas avaliações baseadas em heurísticas frequentemente confundem interpolação (prever dentro do domínio de treinamento) com verdadeira extrapolação (prever fora do domínio de treinamento). Consequentemente, as conclusões sobre a superioridade de arquiteturas de última geração e os benefícios do escalonamento neural (aumento do tamanho do modelo, do tamanho do conjunto de dados ou do computacional) podem ser exageradas se os conjuntos de teste OOD não estiverem genuinamente fora da distribuição de treinamento.

Metodologia

Os autores conduziram uma avaliação sistemática de mais de 700 tarefas OOD em três grandes bases de dados de materiais: Joint Automated Repository for Various Integrated Simulations (JARVIS), Materials Project (MP) e Open Quantum Materials Database (OQMD).

Configuração de Avaliação:

Critérios OOD: Seis critérios específicos foram usados para definir os conjuntos de teste OOD: (1) materiais contendo um elemento específico X, (2) materiais contendo qualquer elemento no período X, (3) materiais contendo qualquer elemento no grupo X, (4) materiais do grupo espacial X, (5) materiais do grupo de ponto X, e (6) materiais do sistema cristalino X. Tarefas com menos de 200 amostras de teste foram excluídas.
Modelos: Um conjunto representativo de modelos de ML foi avaliado, cobrindo diversas arquiteturas e representações de entrada:
- Ensembles de árvores: Random Forest (RF) e XGBoost (XGB) usando descritores de Matminer (características composicionais e estruturais).
- Redes Neurais: Expansão de Multipolo Gaussiano (GMP) sobre a densidade eletrônica.
- Redes Neurais de Grafos: Atomistic Line Graph Neural Network (ALIGNN).
- Grandes Modelos de Linguagem: LLM-Prop usando descrições de texto de cristais.
Métricas: O desempenho foi medido através do Erro Médio Absoluto (MAE) e o coeficiente de determinação ( $R^2$ ).

Técnicas Analíticas:

Análise SHAP: Para distinguir entre fontes composicionais e estruturais de viés em tarefas de baixo desempenho, um modelo secundário foi treinado para corrigir os erros de previsão do modelo primário. Valores de SHapley Additive exPlanations (SHAP) foram usados para quantificar a contribuição das características composicionais vs. estruturais para essas correções.
Análise do Espaço de Representação: A Aproximação e Projeção de Variedade Uniforme (Uniform Manifold Approximation and Projection - UMAP) foi usada para projetar representações de materiais de alta dimensão (embeddings para aprendizado profundo, descritores para modelos de árvore) em 2D. A estimativa de densidade de kernel foi aplicada aos dados de treinamento para classificar pontos de teste como dentro da distribuição representacional (ID - In-Distribution) (alta densidade) ou fora da distribuição representacional (OOD) (baixa densidade).
Leis de Escalonamento: Curvas de aprendizado foram geradas variando o tempo de treinamento (épocas) e o tamanho do conjunto de treinamento para observar seu impacto no desempenho OOD, comparando especificamente tarefas representacionalmente ID vs. representacionalmente OOD.

Resultados Principais

1. Generalização Robusta na Maior Parte das Tarefas OOD Heurísticas
Ao contrário da suposição de que tarefas OOD são inerentemente difíceis, a maioria das tarefas (incluindo exclusão de um elemento, exclusão de um período e exclusão de um grupo) apresentou alto desempenho ( $R^2 > 0,95$ ) em todos os modelos, incluindo árvores impulsionadas simples (XGB).

Tarefas baseadas em química: 85% das tarefas de exclusão de um elemento para ALIGNN e 68% para XGB alcançaram $R^2 > 0,95$ . O baixo desempenho foi observado principalmente para não-metais (H, F, O), devido a vieses sistemáticos (ex: superestimação de energias de formação) em vez de uma falha completa em prever tendências.
Tarefas baseadas em estrutura: O desempenho foi ainda maior, com 88% das tarefas de exclusão de grupo espacial alcançando $R^2 > 0,98$ . Mesmo quando utilizando agrupamentos do tipo "protótipo" para garantir dissimilaridade estrutural, os modelos de aprendizado profundo mantiveram alta precisão.

2. A Distinção entre Interpolação e Extrapolação
A análise do espaço de representação revelou que a maioria das tarefas OOD heurísticas "desafiadoras" contém, na verdade, dados de teste que residem na região de alta densidade da distribuição de treinamento (representacionalmente ID).

Por exemplo, em tarefas de exclusão de um elemento para Mg, 76% das estruturas de teste eram representacionalmente ID.
Por outro lado, tarefas com baixo desempenho (ex: exclusão de O) continham uma alta proporção de dados representacionalmente OOD (87% dos dados de teste tinham estimativas de densidade próximas de zero e $R^2$ próximo de zero).
A "capacidade emergente" de prever materiais com 5+ elementos foi identificada como majoritariamente interpolação, já que 92% desses dados de teste caíram dentro da representação do domínio de treinamento.

3. Comportamentos de Escalonamento Divergentes
O estudo descobriu que as leis de escalamento neural (melhorar o desempenho aumentando dados ou computação) não se aplicam universalmente à generalização OOD:

Tarefas representacionalmente ID: Aumentar o tamanho do conjunto de treinamento ou o tempo de treinamento consistentemente melhorou o desempenho, aderindo às leis de escalamento padrão.
Tarefas representacionalmente OOD: Aumentar o tamanho do conjunto de treinamento ou o tempo de treinamento frequentemente levou a melhorias marginais ou até mesmo à degradação do desempenho. Por exemplo, na tarefa de exclusão de H, aumentar o tamanho do conjunto de treinamento de $10^4$ para $10^6$ estruturas causou um aumento de cinco vezes no MAE OOD devido a vieses de superestimação reforçados por mais dados de treinamento.

4. Nuances de Desempenho de Modelos

Ensembles de Árvores vs. Aprendizado Profundo: Modelos de árvore simples (XGB, RF) frequentemente performaram tão bem quanto ou melhor que modelos complexos de aprendizado profundo (ALIGNN, GMP) em tarefas OOD baseadas em química, particularmente para elementos difíceis como H, F e O.
Limitações de LLMs: O LLM-Prop, apesar do bom desempenho in-distribution, teve um desempenho ruim na maioria das tarefas de exclusão de um elemento, potencialmente devido à falta de viés indutivo em relação à similaridade elemental (tratando elementos como tokens de texto discretos em vez de entidades quimicamente relacionadas).

Significância e Alegações

O artigo argumenta que a avaliação atual da generalizabilidade de ML na ciência dos materiais é falha porque muitos testes OOD definidos por heurística não são genuinamente difíceis; eles avaliam primariamente capacidades de interpolação.

Reavaliando a Generalizabilidade: Os autores afirmam que as capacidades de generalização "emergentes" atribuídas a grandes modelos de fundação podem ser exageradas, pois os conjuntos de teste utilizados frequentemente caem dentro da representação do domínio de treinamento.
Equívocos de Escalonamento: O estudo desafia a suposição de que escalar modelos e conjuntos de dados resolverá automaticamente a generalização OOD. Para tarefas verdadeiramente desafiadoras (representacionalmente OOD), o escalonamento pode ser ineficaz ou até prejudicial.
Chamado para Benchmarking Rigoroso: Os autores defendem uma mudança na forma como as tarefas OOD são definidas e avaliadas. Eles sugerem que os futuros benchmarks devem distinguir entre OOD estatístico (distribuição de atributos diferente) e OOD representacional (fora do manufoldo de treinamento) para testar verdadeiramente as capacidades de extrapolação e evitar a superestimação dos benefícios do escalonamento neural.

Em resumo, o artigo postula que, embora os modelos de ML exibam uma transferibilidade notável entre grupos químicos e estruturais, isso ocorre frequentemente porque os dados "não vistos" não são verdadeiramente não vistos no espaço de representação do modelo. A verdadeira extrapolação permanece um desafio significativo onde as leis de escalamento podem não se sustentar, exigindo cenários de teste mais rigorosos para guiar o desenvolvimento de modelos de ML científicos verdadeiramente generalizáveis.

Resumo Técnico: Sondando a Generalização Fora da Distribuição em Aprendizado de Máquina para Materiais

Definição do Problema

Metodologia

Resultados Principais

Significância e Alegações

Mais como este