SHIELD reduces information leakage in data splits through joint structural optimization

Na corrida para usar a inteligência artificial na descoberta científica, pesquisadores estão tentando ensinar computadores a prever as propriedades de materiais, medicamentos e reações químicas que nunca foram vistos antes. O objetivo não é apenas memorizar o que já foi medido, mas aprender as regras subjacentes para que o computador possa adivinhar corretamente sobre o desconhecido. Para testar se um computador realmente aprendeu essas regras, os cientistas dividem seus dados em dois montes: um para treinar o computador e outro para testá-lo. Se o monte de teste contiver itens que são muito semelhantes ao monte de treinamento, o computador pode contar com o reconhecimento de um padrão familiar em vez de resolver o problema. Isso é como um aluno fazendo uma prova onde as perguntas são apenas reformulações leves do dever de casa; ele obtém uma pontuação perfeita, mas não aprendeu de fato a matéria. Durante décadas, a forma padrão de dividir dados tem sido misturar tudo aleatoriamente, o que frequentemente deixa esses pares perigosos e excessivamente semelhantes em lados opostos da divisão, criando uma falsa sensação de segurança sobre o quão bem os modelos funcionarão no mundo real.

Uma equipe de pesquisadores da Hamad Bin Khalifa University desenvolveu um novo método chamado SHIELD para corrigir este problema. Em vez de embaralhar os dados aleatoriamente ou usar uma única regra para separá-los, o SHIELD atua como um organizador sofisticado que observa os dados de três ângulos diferentes ao mesmo tempo. Ele considera como os itens são agrupados em famílias, quão próximos eles se situam uns dos outros em uma rede complexa de características e como suas distribuições gerais se comparam. O sistema então encontra uma maneira de cortar os dados que respeite todas essas relações simultaneamente, garantindo que o conjunto de teste seja genuinamente diferente do conjunto de treinamento. Os pesquisadores testaram essa abordagem em oito conjuntos de dados científicos diferentes, variando desde o estudo de ligas metálicas usadas na impressão 3D até o comportamento de minúsculas moléculas na química quântica. Eles descobriram que o SHIELD criou consistentemente condições de teste muito mais rigorosas e realistas do que os métodos existentes, revelando que muitos modelos que pareciam bem-sucedidos sob testes aleatórios na verdade falharam quando confrontados com dados verdadeiramente novos.

O cerne do problema reside em como os dados científicos são estruturados. Em campos como biologia ou ciência dos materiais, os pontos de dados raramente são independentes. Uma nova molécula de medicamento pode ser uma variação leve de uma antiga, ou uma liga metálica pode pertir de uma família específica de materiais que compartilham uma história comum. Quando um modelo de computador é treinado em uma versão de uma molécula e testado em uma versão quase idêntica, ele não precisa entender de química; ele só precisa reconhecer a semelhança. Isso é conhecido como vazamento de informação (information leakage), e leva a previsões excessivamente otimistas. Os pesquisadores mostraram que os métodos padrão, que frequentemente dependem de agrupamentos simples ou seleção aleatória, frequentemente falham em quebrar essas conexões ocultas. Por exemplo, em um conjunto de dados envolvendo a fusão em leito de pó a laser — um processo usado para construir peças metálicas camada por camada — a divisão aleatória dos dados deixou os conjuntos de treinamento e teste tão misturados que o computador poderia facilmente adivinhar o resultado com base na máquina utilizada ou no tipo de liga, em vez da física real do processo.

Para resolver isso, o framework SHIELD foi projetado para lidar com três tipos específicos de relações que causam vazamento. Primeiro, ele observa a contenção hierárquica, que mantém grupos relacionados, como uma família de ligas ou um conjunto de variantes de proteínas, juntos no mesmo monte para que não vazem para o outro. Segundo, ele examina o manifold de características (feature manifold), que é uma forma de mapear quão próximos diferentes pontos de dados estão uns dos outros com base em suas propriedades, garantindo que vizinhos neste mapa não sejam separados. Terceiro, ele gerencia a distribuição, garantindo que a dispersão geral dos dados no conjunto de teste seja ou uma correspondência controlada a um cenário futuro conhecido ou uma mudança deliberada para simular um cenário completamente desconhecido. A inovação é que o SHIELD não aplica essas regras uma após a outra, o que poderia anular o trabalho da etapa anterior. Em vez disso, ele otimiza todas as três ao mesmo tempo, encontrando um equilíbrio onde os dados são divididos de uma forma que satisfaça a necessidade de separação sem quebrar a estrutura natural da ciência.

A equipe validou este método através de uma ampla gama de disciplinas científicas. No estudo de ligas formadoras de vidro, descobriram que, embora alguns métodos existentes pudessem separar os dados de forma eficaz, eles frequentemente quebravam o equilíbrio das classes, levando a resultados enganosos. O SHIELD conseguiu manter as classes equilibradas enquanto criava um ambiente de teste difícil. No campo da química quântica, onde o objetivo é prever os estados de energia de pequenas moléculas orgânicas, o novo método separou com sucesso os conjuntos de treinamento e teste de uma forma que forçou os modelos de computador a realmente extrapolar. Quando os pesquisadores testaram modelos de aprendizado de máquina padrão nesses novos splits, os resultados foram reveladores. Modelos que anteriormente mostravam alta precisão com divisões aleatórias viram seu desempenho cair significativamente, às vezes falhando completamente. Essa queda não era um sinal de que os modelos estavam quebrados, mas sim que os testes anteriores tinham sido fáceis demais. As novas divisões expuseram a incapacidade dos modelos de lidar com dados que estavam genuinamente fora de sua experiência de treinamento.

Uma das descobertas mais impressionantes veio do conjunto de dados de manufatura aditiva, que envolvia 1.579 construções de peças metálicas feitas de seis ligas diferentes em 45 modelos de impressoras diferentes. Quando os pesquisadores usaram o SHIELD para isolar famílias inteiras de ligas dos dados de treinamento, os modelos de computador tiveram dificuldades imensas. Um modelo de rede neural, que havia apresentado bom desempenho em outras divisões, colapsou, produzindo previsões amplamente imprecisas. Isso aconteceu porque o modelo nunca tinha visto aquele tipo específico de liga antes e não podia confiar no simples reconhecimento de padrões. Em contraste, quando os pesquisadores isolaram um modelo de impressora específico, os modelos tiveram um desempenho muito melhor. Essa assimetria forneceu uma visão crucial: a família de ligas representava uma barreira física fundamental que o modelo não conseguia atravessar, enquanto a identidade da impressora era uma variável menos significativa. O framework SHIELD foi capaz de distinguir entre esses dois tipos de desafios, ajudando os cientistas a entender quais aspectos de seus dados eram verdadeiramente difíceis de prever.

Os pesquisadores também demonstraram que seu método pode lidar com conjuntos de dados massivos usando uma técnica chamada coarsening (encruamento/agrupamento). Para coleções muito grandes de dados, calcular as relações entre cada ponto individual é computacionalmente impossível. O SHIELD resolve isso agrupando itens relacionados em "super-nós" maiores com base em sua hierarquia antes de realizar a divisão. Isso reduziu o tamanho do problema por um fator de mais de 1.600 em um de seus testes, mas a qualidade da divisão permaneceu tão rigorosa quanto se tivessem processado cada ponto de dado individualmente. Essa escalabilidade significa que o método pode ser aplicado aos maiores conjuntos de dados científicos sem perder sua capacidade de detectar formas sutis de vazamento. A equipe também introduziu uma nova maneira de medir a dificuldade de uma divisão, chamada Discovery Normalized Squared Error. Esta métrica observa o quanto o erro cresce ao passar dos dados de treinamento para os de teste, fornecendo uma imagem mais clara de como um modelo se sairá ao encontrar o desconhecido.

O estudo conclui que a maneira como os dados são divididos não é apenas um detalhe técnico, mas uma parte fundamental da questão científica que está sendo feita. Se a divisão permitir o vazamento de informações, o benchmark está medindo a coisa errada. Ao otimizar conjuntamente as relações estruturais nos dados, o SHIELD fornece uma avaliação mais honesta da capacidade de um modelo de descobrir novos conhecimentos. Os pesquisadores enfatizam que isso não é uma solução mágica que resolve todos os problemas, mas uma ferramenta que força os cientistas a serem mais rigorosos sobre o que estão testando. Os resultados sugerem que muitos modelos atualmente celebrados na literatura científica podem estar sofrendo de overfitting aos detalhes peculiares de seus dados de treinamento, em vez de aprender as leis da natureza. Ao usar um método que respeita a verdadeira estrutura dos dados científicos, os pesquisadores podem construir modelos que estejam verdadeiramente prontos para os desafios da descoberta, garantindo que, quando um computador prevê um novo material ou um novo medicamento, isso seja baseado em um entendimento real, e não em um palpite de sorte.