SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction

Resumo Técnico: SynCoTrain

Declaração do Problema
A descoberta de novos materiais é dificultada pela incapacidade de prever de forma confiável a sintetizabilidade. Métricas de estabilidade termodinâmica (ex: energia de formação, distância do convex hull) oferecem insights parciais, mas falham em considerar fatores cinéticos, restrições tecnológicas e condições específicas de síntese que determinam se um material pode realmente ser realizado. Um gargalo crítico na aplicação de aprendizado de máquina a este problema é a escassez de dados negativos; tentativas de síntese fracassadas raramente são publicadas ou incluídas em bases de dados públicas. Consequentemente, abordagens padrão de aprendizado supervisionado enfrentam dificuldades devido à falta de exemplos explícitos de "não sintetizáveis". Além disso, a dependência de um único modelo introduz vieses arquiteturais inerentes que podem comprometer a generalização, particularmente ao prever propriedades para dados fora da distribuição (out-of-distribution).

Metodologia
Os autores propõem o SynCoTrain, um framework de aprendizado de máquina semisupervisionado projetado para prever a sintetizabilidade de cristais de óxido. O framework integra Aprendizado Positivo e Não Rotulado (PU - Positive and Unlabeled) com uma estratégia de co-treinamento para abordar a ausência de rótulos negativos e mitigar o viés do modelo.

• Framework de Co-Treinamento: O SynCoTrain emprega duas Redes Neurais Convolucionais de Grafos (GCNNs) distintas como classificadores complementares:

  • ALIGNN (Atomistic Line Graph Neural Network): Codifica ligações atômicas e ângulos de ligação, refletindo uma "perspectiva do químico".
  • SchNet: Utiliza filtros de convolução contínua para codificar estruturas atômicas, refletindo uma "perspectiva do físico".
  • O framework executa duas séries de iterações paralelas. Em cada série, os classificadores alternam funções: um classificador é treinado no conjunto positivo atual e em um subconjunto amostrado de dados não rotulados (tratados como negativos), então prevê os rótulos para o restante dos dados não rotulados. Previsões de alta confiança são usadas para expandir a classe positiva para a próxima iteração, onde o outro classificador é treinado. Essa troca iterativa de conhecimento permite que os modelos aprendam a partir de diferentes visões dos dados.

• Implementação do Aprendizado PU: Dentro de cada iteração, os aprendizes base utilizam uma abordagem de bagging (60 execuções) baseada no método de Mordelet e Vert. Em cada execução, um subconjunto aleatório de dados não rotulados serve como a classe negativa. O escore de sintetizabilidade para cada ponto de dado é a média das probabilidades através dessas 60 execuções.

  • Limiares (Thresholds): Um limiar de 0,75 é usado para expandir confiavelmente a classe positiva durante as iterações de co-treinamento. Um limiar de 0,5 é aplicado aos escores médios finais para gerar rótulos binários.

• Preditor Final: Assim que o processo de co-treinamento é concluído (identificado como ideal na iteração 2), os rótulos gerados são usados para treinar um preditor de sintetizabilidade final. Os autores selecionaram o SchNet para esta etapa final, empregando técnicas de regularização para evitar o sobreajuste (overfitting) à distribuição dos dados do Materials Project. Essas técnicas incluem:

  • Injeção de ruído nos rótulos (inversão de 5% dos rótulos).
  • Aumento de dados via perturbação de ruído Gaussiano nas posições atômicas.
  • Funções de perda ponderadas (razão de 0,45:0,55).
  • Camadas de dropout e Cosine Annealing with Warm Restarts para o agendamento da taxa de aprendizado.

Principais Resultados

• Métricas de Desempenho: O modelo alcançou uma faixa de recall de 95–97% em conjuntos de teste internos e de exclusão (leave-out). Na iteração ideal (iteração 2), o modelo previu aproximadamente 21% dos dados teóricos não rotulados como sintetizáveis.
• Correlação de Estabilidade: O modelo capturou com sucesso a relação entre estabilidade e sintetizabilidade sem treinamento explícito em rótulos de estabilidade. Cristais instáveis (energia > 1 eV acima do convex hull) foram 2,5 vezes menos propensos a serem classificados como sintetizáveis. No entanto, o modelo também identificou corretamente que a estabilidade sozinha é insuficiente, já que apenas ~21% dos cristais com energia < 1 eV acima do hull foram classificados como sintetizáveis.
• Generalização: O preditor final foi avaliado em bases de dados externas não utilizadas no treinamento:
  • OQMD: Mostrou uma proporção maior de cristais sintetizáveis em comparação com o conjunto de teste do Materials Project.
  • WBM (Amostragem aleatória): Mostrou previsões ambíguas (escores em torno de 0,5), refletindo a natureza artificial dos dados.
  • iMatGen (Generativo): Mostrou os menores escores de sintetizabilidade, consistente com a geração de estruturas irreais.
• Validação da Verdade Fundamental (Ground Truth): Usando uma tarefa de previsão de estabilidade onde os rótulos de verdade fundamental eram conhecidos, os autores demonstraram que os valores de recall derivados de seus testes dinâmicos e de exclusão aproximaram-se do Recall da Verdade Fundamental, validando a confiabilidade de suas métricas de avaliação.

Significância e Alegações
O artigo afirma que o SynCoTrain oferece uma solução escalável para o desafio da previsão de sintetizabilidade ao utilizar o co-treinamento para reduzir o viés do modelo e lidar com a falta de dados negativos. Ao focar em cristais de óxido — uma família bem caracterizada com extensos dados experimentais — os autores demonstram que o co-treinamento pode alcançar alto recall enquanto equilibra a variabilidade do conjunto de dados e a eficiência computacional.

Os autores posicionam a ferramenta como um recurso para as etapas iniciais da descoberta de materiais de alto rendimento (high-throughput). Em vez de alegar prever perfeitamente a sintetizabilidade, eles argumentam que a utilidade primária do modelo reside em filtrar estruturas improváveis de resultar em materiais reais. Ao potencialmente eliminar até mesmo metade dos candidatos não sintetizáveis, o framework visa economizar recursos significativos em simulações e tentativas de síntese experimental. O trabalho destaca o potencial de combinar classificadores fortes existentes através do co-treinamento para extrair mais valor dos dados de materiais disponíveis, em vez de desenvolver novas arquiteturas do zero.