Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

Le béton est le matériau de construction le plus largement utilisé sur Terre, pourtant sa production est une source majeure d'émissions mondiales de carbone. Pour le rendre plus écologique, les ingénieurs mélangent souvent des matériaux complémentaires comme les cendres volantes, la fumée de silice ou même des déchets agricoles tels que la cendre de balle de riz. Ces additifs remplacent une partie du ciment, réduisant ainsi l'empreinte carbone tout en améliorant souvent la capacité du béton à résister aux attaques chimiques. L'une des menaces les plus dévastatrices pour les structures en béton est l'attaque par les sulfates, qui se produit lorsque des ions sulfate provenant du sol, des eaux souterraines ou de l'eau de mer s'infiltrent dans le matériau. Ces ions réagissent avec le ciment, formant des cristaux qui se dilatent et fissurent le béton de l'intérieur, finissant par le faire s'effriter. Prédire la durée de vie d'un mélange de béton spécifique dans des conditions aussi rudes est vital pour la sécurité et la durabilité, mais les méthodes de test traditionnelles sont lentes, prenant parfois des années pour donner des résultats.

Ces dernières années, les scientifiques se sont tournés vers l'apprentissage automatique pour accélérer ces prédictions. En alimentant les algorithmes informatiques avec des données issues de centaines d'expériences passées, les chercheurs espèrent créer des modèles capables d'estimer instantanément la résistance d'un nouveau mélange de béton après exposition aux sulfates. Ces modèles ont été célébrés pour leur grande précision, affirmant souvent prédire les résultats avec une exactitude quasi parfaite. Cependant, une nouvelle enquête suggère que cette précision célébrée pourrait être une illusion. L'étude révèle que les modèles n'apprennent pas réellement la chimie complexe du béton ; ils se contentent de mémoriser les laboratoires spécifiques qui ont produit les données. Lorsqu'ils sont testés sur de véritables nouvelles situations, ces modèles échouent complètement, soulevant de sérieuses questions sur la manière dont nous évaluons la fiabilité de l'intelligence artificielle en ingénierie.

Les chercheurs derrière cette étude ont entrepris d'examiner un ensemble de données compilé à partir de trois articles scientifiques distincts, examinés par des pairs. Ces articles contenaient des mesures de résistance à la compression — la force requise pour écraser un échantillon — pour des mélanges de mortier contenant divers matériaux complémentaires. Les données couvraient différents types d'additifs, des niveaux de remplacement variables et une exposition à des solutions de sulfate sur des périodes allant de quelques jours à plus d'un an. Au total, l'équipe a rassemblé 94 observations distinctes. Ils ont entraîné un modèle d'apprentissage automatique standard sur ces données combinées, en utilisant une technique appelée division aléatoire (random splitting), qui est la norme de l'industrie. Dans cette méthode, l'ordinateur mélange tous les points de données et en met de côté 20 pour cent au hasard pour tester le modèle, tandis que les 80 pour cent restants sont utilisés pour l'entraînement. Comme les données provenaient d'études différentes, ce mélange aléatoire garantissait que les ensembles d'entraînement et de test contenaient des échantillons des trois sources originales.

Lorsque les chercheurs ont évalué le modèle à l'aide de cette méthode aléatoire standard, les résultats ont été spectaculaires. Le modèle a obtenu un score indiquant qu'il pouvait expliquer près de 97 pour cent de la variation des données. Ce niveau de performance est exactement ce que la littérature scientifique rapporte, et cela suggère que le modèle a maîtrisé la relation entre les ingrédients du béton et leur durabilité. Le modèle semblait avoir appris que certains additifs, comme la fumée de silice, mènent généralement à un béton plus résistant, tandis que d'autres pourraient l'affaiblir. Il semblait avoir décodé avec succès les règles régissant le comportement du béton sous une attaque chimique.

Cependant, les chercheurs soupçonnaient que ce score élevé était trompeur. Ils savaient que chacune des trois études sources avait utilisé son propre ensemble de conditions uniques : différents types de ciment, différentes procédures de mélange, différents environnements de cure et, surtout, différentes concentrations de solutions de sulfate. Dans le monde réel, un modèle entraîné sur un ensemble de conditions devrait être capable de prédire le résultat pour un tout nouvel ensemble de conditions. Pour tester cela, les chercheurs ont changé leur méthode de validation. Au lieu de mélanger aléatoirement les points de données individuels, ils ont décidé de retirer des études entières. Ils ont entraîné le modèle sur deux des études, puis lui ont demandé de prédire les résultats de la troisième étude, qu'il n'avait jamais vue auparavant. Ils ont répété ce processus trois fois, en laissant de côté une étude différente à chaque fois.

Les résultats de ce test plus strict furent un effondrement total. Lorsque le modèle tentait de prédire la résistance du béton d'une étude pour laquelle il n'avait pas été entraîné, ses performances s'effondraient. Au lieu d'un score élevé, le modèle produisait des scores négatifs, une indication mathématique qu'il performait moins bien qu'en devinant simplement la résistance moyenne des données d'entraînement. Dans un cas spécifique, le modèle tentait de prédire un béton ayant une résistance mesurée comprise entre 6 et 21 mégapascals, mais il commettait des erreurs allant jusqu'à 42 mégapascals. Cela signifie que le modèle prédisait des valeurs plus de deux fois supérieures à la résistance réelle du matériau, ou prédisait même une résistance négative, ce qui est physiquement impossible. Le modèle n'avait pas appris la physique du béton ; il avait appris à reconnaître l'« empreinte digitale » du laboratoire spécifique qui a généré les données.

L'enquête est allée plus loin pour comprendre pourquoi cela s'était produit. Les chercheurs ont décomposé la variation totale des données et ont découvert que 96 pour cent des différences de résistance provenaient des différences entre les études elles-mêmes, et non des différences entre les matériaux au sein d'une seule étude. Une étude utilisait un type spécifique de ciment et une faible concentration de sulfate, résultant en un béton très faible. Une autre utilisait un ciment différent et une concentration plus élevée, résultant en un béton très fort. Parce que le modèle voyait ces motifs distincts de manière répétée, il a appris à associer la combinaison spécifique d'ingrédients d'une étude à le niveau de résistance globale de cette étude. Il apprenait essentiellement à dire : « Si ces données ressemblent à celles de l'Étude A, la résistance sera faible », plutôt que « Si ce béton contient de la fumée de silice, il sera fort ».

Cette confusion a été aggravée par le fait que les additifs spécifiques testés étaient souvent uniques à une seule étude. Dix des onze types de matériaux complémentaires n'apparaissaient que dans un seul des trois articles. Par conséquent, le modèle ne pouvait pas distinguer si un changement de résistance était causé par le matériau ou par l'étude dont il provenait. Même pour le seul matériau apparaissant dans deux études, la résistance moyenne différait considérablement entre elles car les conditions sous-jacentes, telles que le type de sel de sulfate utilisé, étaient différentes. La haute précision du modèle lors du test aléatoire était un artefact de la structure des données, et non le reflet d'un véritable pouvoir prédictif. C'était un mirage statistique créé par la façon dont les données étaient groupées et testées.

Les conclusions ont des implications profondes sur la manière dont l'apprentissage automatique est appliqué à la science des matériaux. L'étude démontre que lorsque les données sont compilées à partir de multiples sources, la méthode standard consistant à diviser aléatoirement les données en ensembles d'entraînement et de test est insuffisante. Elle permet à un modèle de s'appuyer sur des motifs spécifiques à la source plutôt que d'apprendre la science sous-jacente. Pour savoir si un modèle est réellement utile, il doit être testé sur des données provenant de sources entièrement nouvelles, une méthode connue sous le nom de validation par exclusion d'une source (leave-one-source-out validation). De plus, les chercheurs doivent rapporter quelle part de la variation de leurs données provient des différences entre les études par rapport aux différences au sein de celles-ci. Si la vaste majorité de la variation est due aux études elles-mêmes, comme ce fut le cas ici, alors un score de précision élevé ne nous dit rien sur la capacité du modèle à prédire la durabilité dans le monde réel.

Enfin, cette recherche constitue une correction nécessaire pour un domaine qui progresse trop vite. Elle ne suggère pas que l'apprentissage automatique ne peut pas aider les ingénieurs à concevoir un meilleur béton, mais elle insiste sur le fait que nous devons être honnêtes sur ce que nos modèles font réellement. Un modèle qui semble parfait sur papier mais qui échoue face à un nouveau laboratoire n'est pas un outil de découverte ; c'est un reflet des limites des données. Pour que le domaine progresse, la communauté doit adopter des normes de test plus strictes exigeant que les modèles prouvent qu'ils peuvent généraliser au-delà des expériences spécifiques sur lesquelles ils ont été entraînés. Ce n'est qu'alors que nous pourrons faire confiance à ces outils numériques pour aider à construire un avenir plus durable et plus solide.