Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

O concreto é o material de construção mais amplamente utilizado na Terra, mas a sua produção é uma grande fonte de emissões globais de carbono. Para torná-lo mais ecológico, os engenheiros frequentemente misturam materiais suplementares como cinzas volantes, sílica de fumo ou até mesmo resíduos agrícolas, como cinzas de casca de arroz. Esses aditivos substituem parte do cimento, reduzindo a pegada de carbono e, muitas vezes, melhorando a capacidade do concreto de resistir a ataques químicos. Um dos ataques mais prejudiciais às estruturas de concreto é o ataque por sulfato, que ocorre quando íons de sulfato do solo, águas subterrâneas ou água do mar penetram no material. Esses íons reagem com o cimento, formando cristais que se expandem e racham o concreto por dentro, fazendo-o eventualmente esfarelar. Prever quanto tempo uma mistura específica de concreto durará nessas condições adversas é vital para a segurança e a sustentabilidade, mas os métodos de teste tradicionais são lentos, às vezes levando anos para apresentar resultados.

Nos últimos anos, cientistas recorreram ao aprendizado de máquina para acelerar essas previsões. Ao alimentar algoritmos de computador com dados de centenas de experimentos passados, os pesquisadores esperam criar modelos que possam estimar instantaneamente quão forte será uma nova mistura de concreto após a exposição a sulfatos. Esses modelos têm sido celebrados por sua alta precisidade, muitas vezes alegando prever resultados com precisão quase perfeita. No entanto, uma nova investigação sugere que essa celebrada precisão pode ser uma ilusão. O estudo revela que os modelos não estão realmente aprendendo a química complexa do concreto; em vez disso, eles estão simplesmente memorizando os laboratórios específicos que produziram os dados. Quando testados em situações verdadeiramente novas, esses modelos falham completamente, levantando sérias questões sobre como avaliamos a confiabilidade da inteligência artificial na engenharia.

Os pesquisadores por trás deste estudo estabeleceram o objetivo de examinar um conjunto de dados compilado de três artigos científicos distintos e revisados por pares. Esses artigos continham medições de resistência à compressão — a força necessária para esmagar uma amostra — para misturas de argamassa contendo vários materiais suplementares. Os dados cobriam diferentes tipos de aditivos, níveis variados de substituição e exposição a soluções de sulfato ao longo de períodos que variaram de alguns dias a mais de um ano. No total, a equipe reuniu 94 observações distintas. Eles treinaram um modelo padrão de aprendizado de máquina com esses dados combinados, usando uma técnica chamada divisão aleatória (random splitting), que é o padrão da indústria. Neste método, o computador embaralha todos os pontos de dados e reserva aleatoriamente 20 por cento para testar o modelo, enquanto os 80 por cento restantes são usados para o treinamento. Como os dados vieram de diferentes estudos, esse embaralhamento aleatório garantiu que tanto os conjuntos de treinamento quanto os de teste contivessem amostras de todas as três fontes originais.

Quando os pesquisadores avaliaram o modelo usando este método aleatório padrão, os resultados foram espetaculares. O modelo alcançou uma pontuação indicando que poderia explicar quase 97 por cento da variação nos dados. Este nível de desempenho é exatamente o que a literatura científica relata, e sugere que o modelo dominou a relação entre os ingredientes do concreto e sua durabilidade. O modelo parecia ter aprendido que certos aditivos, como a sílica de fumo, geralmente levam a um concreto mais forte, enquanto outros podem enfraquecê-lo. Parecia ter decodificado com sucesso as regras que regem o comportamento do concreto sob ataque químico.

No entanto, os pesquisadores suspeitavam que essa pontuação alta era enganosa. Eles sabiam que cada um dos três estudos de origem utilizou seu próprio conjunto único de condições: diferentes tipos de cimento, diferentes procedimentos de mistura, diferentes ambientes de cura e, crucialmente, diferentes concentrações de soluções de sulfato. No mundo real, um modelo treinado em um conjunto de condições deve ser capaz de prever o resultado para um conjunto de condições completamente novo. Para testar isso, os pesquisadores alteraram seu método de validação. Em vez de embaralhar aleatoriamente os pontos de dados individuais, decidiram excluir estudos inteiros. Eles treinaram o modelo em dois dos estudos e então pediram que ele previsse os resultados do terceiro estudo, o qual ele nunca tinha visto antes. Eles repetiram esse processo três vezes, deixando de fora um estudo diferente a cada vez.

Os resultados deste teste mais rigoroso foram um colapso total. Quando o modelo tentou prever a resistência do concreto de um estudo para o qual não havia sido treinado, seu desempenho despencou. Em vez de uma pontuação alta, o modelo produziu pontuações negativas, uma indicação matemática de que estava performando pior do que simplesmente adivinhar a resistência média dos dados de treinamento. Em um caso específico, o modelo estava tentando prever um concreto que tinha uma resistência medida entre 6 e 21 megapascais, mas cometeu erros de até 42 megapascais. Isso significa que o modelo estava prevendo valores que eram mais do que o dobro da resistência real do material, ou até mesmo prevendo resistência negativa, o que é fispreamente impossível. O modelo não havia aprendido a física do concreto; ele aprendeu a reconhecer a "impressão digital" do laboratório específico que gerou os dados.

A investigação aprofundou-se para entender por que isso aconteceu. Os pesquisadores decomporam a variação total nos dados e descobriram que 96 por cento das diferenças na resistência vinham das diferenças entre os próprios estudos, e não das diferenças nos materiais dentro de um único estudo. Um estudo usou um tipo específico de cimento e uma baixa concentração de sulfato, resultando em um concreto muito fraco. Outro estudo usou um cimento diferente e uma concentração mais alta, resultando em um concreto muito forte. Como o modelo via esses padrões distintos repetidamente, ele aprendeu a associar a combinação específica de ingredientes em um estudo com o nível de resistência geral daquele estudo. Ele estava essencialmente aprendendo a dizer: "Se estes dados parecem vir do Estudo A, a resistência será baixa", em vez de "Se este concreto tem sílica de fumo, ele será forte".

Essa confusão foi agravada pelo fato de que os aditivos específicos testados eram frequentemente exclusivos de um único estudo. Dez dos onze tipos de materiais suplementares apareciam em apenas um dos três artigos. Consequentemente, o modelo não conseguia distinguir se uma mudança na resistência era causada pelo material ou pelo estudo de origem. Mesmo para o único material que apareceu em dois estudos, a resistência média diferia significamente entre eles porque as condições subjacentes, como o tipo de sal de sulfato usado, eram diferentes. A alta precisão do modelo no teste aleatório era um artefato da estrutura dos dados, não um reflexo de poder preditivo genuíno. Era um miragem estatística criada pela forma como os dados foram agrupados e testados.

As descobertas têm implicações profundas para a aplicação do aprendizado de máquina na ciência dos materiais. O estudo demonstra que, quando os dados são compilados de múltiplas fontes, o método padrão de dividir aleatoriamente os dados em conjuntos de treinamento e teste é insuficiente. Ele permite que um modelo dependa de padrões específicos da fonte em vez de aprender a ciência subjacente. Para saber verdadeiramente se um modelo é útil, ele deve ser testado em dados de fontes inteiramente novas, um método conhecido como validação de exclusão de uma fonte (leave-one-source-out validation). Além disso, os pesquisadores devem relatar quanto da variação em seus dados vem das diferenças entre os estudos versus as diferenças dentro deles. Se a vasta maioria da variação for devida aos próprios estudos, como ocorreu neste caso, então uma pontuação de precisão alta não nos diz nada sobre a capacidade do modelo de prever a durabilidade no mundo real.

Em última análise, esta pesquisa serve como uma correção necessária para um campo que tem se movido rápido demais. Ela não sugere que o aprendizado de máquina não possa ajudar engenheiros a projetar um concreto melhor, mas insiste que devemos ser honestos sobre o que nossos modelos estão realmente fazendo. Um modelo que parece perfeito no papel, mas falha quando confrontado com um novo laboratório, não é uma ferramenta de descoberta; é um reflexo das limitações dos dados. Para que o campo avance, a comunidade deve adotar padrões de teste mais rigorosos que exijam que os modelos provem que podem generalizar além dos experimentos específicos nos quais foram treinados. Só assim poderemos confiar nessas ferramentas digitais para ajudar a construir um futuro mais sustentável e duradouro.