Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

El hormigón es el material de construcción más utilizado en la Tierra, pero su producción es una de las principales fuentes de emisiones globales de carbono. Para hacerlo más ecológico, los ingenieros suelen mezclar materiales complementarios como cenizas volantes, humo de sílice o incluso desechos agrícolas como la ceniza de la cáscara de arroz. Estos aditivos reemplazan parte del cemento, reduciendo la huella de carbono y, a menudo, mejorando la capacidad del hormigón para resistir ataques químicos. Uno de los ataques más dañinos para las estructuras de hormigón es el ataque por sulfatos, que ocurre cuando los iones de sulfato del suelo, las aguas subterráneas o el agua de mar se filtran en el material. Estos iones reaccionan con el cemento, formando cristales que se expanden y agrietan el hormigón desde el interior, provocando eventualmente que este se desmorone. Predecir cuánto durará una mezcla específica de hormigón en tales condiciones adversas es vital para la seguridad y la sostenibilidad, pero los métodos de prueba tradicionales son lentos y, a veces, tardan años en arrojar resultados.

En años recientes, los científicos han recurrido al aprendizaje automático para acelerar estas predicciones. Al alimentar los algoritmos informáticos con datos de cientos de experimentos pasados, los investigadores esperan crear modelos que puedan estimar instantáneamente qué tan fuerte será una nueva mezcla de hormigón tras la exposición a los sulfatos. Estos modelos han sido celebrados por su alta precisión, alegando a menudo que pueden predecir los resultados con una precisión casi perfecta. Sin embargo, una nueva investigación sugiere que esta celebrada precisión podría ser una ilusión. El estudio revela que los modelos no están aprendiendo realmente la química compleja del hormigón; en su lugar, simplemente están memorizando los laboratorios específicos que produjeron los datos. Cuando se prueban en situaciones verdaderamente nuevas, estos modelos fallan por completo, lo que plantea serias dudas sobre cómo evaluamos la fiabilidad de la inteligencia artificial en la ingeniería.

Los investigadores detrás de este estudio se propusieron examinar un conjunto de datos recopilado de tres artículos científicos distintos revisados por pares. Estos artículos contenían mediciones de la resistencia a la compresión —la fuerza necesaria para aplastar una muestra— de mezclas de mortero que contenían diversos materiales complementarios. Los datos cubrían diferentes tipos de aditivos, niveles variables de reemplazo y la exposición a soluciones de sulfato durante periodos que iban desde unos pocos días hasta más de un año. En total, el equipo reunió 94 observaciones distintas. Entrenaron un modelo de aprendizaje automático estándar utilizando este conjunto de datos combinado, empleando una técnica llamada división aleatoria, que es el estándar de la industria. En este método, la computadora baraja todos los puntos de datos y reserva un 20 por ciento al azar para probar el modelo, mientras que el 80 por ciento restante se utiliza para el entrenamiento. Debido a que los datos provenían de diferentes estudios, este barajado aleatorio aseguró que tanto los conjuntos de entrenamiento como los de prueba contuvieran muestras de las tres fuentes originales.

Cuando los investigadores evaluaron el modelo utilizando este método aleatorio estándar, los resultados fueron espectaculares. El modelo logró una puntuación que indicaba que podía explicar casi el 97 por ciento de la variación en los datos. Este nivel de rendimiento es exactamente lo que reporta la literatura científica, y sugiere que el modelo ha dominado la relación entre los ingredientes del hormigón y su durabilidad. El modelo parecía haber aprendido que ciertos aditivos, como el humo de sílice, generalmente conducen a un hormigón más fuerte, mientras que otros podrían debilitarlo. Parecía haber descodificado con éxito las reglas que gobiernan el comportamiento del hormigón bajo un ataque químico.

Sin embargo, los investigadores sospechaban que esta alta puntuación era engañosa. Sabían que cada uno de los tres estudios de origen había utilizado su propio conjunto único de condiciones: diferentes tipos de cemento, diferentes procedimientos de mezclado, diferentes entornos de curado y, crucialmente, diferentes concentraciones de soluciones de sulfato. En el mundo real, un modelo entrenado con datos de un conjunto de condiciones debería ser capaz de predecir el resultado para un conjunto de condiciones completamente nuevo. Para probar esto, los investigadores cambiaron su método de validación. En lugar de barajar aleatoriamente los puntos de datos individuales, decidieron retener estudios completos. Entrenaron el modelo con dos de los estudios y luego le pidieron que predijera los resultados del tercer estudio, el cual nunca había visto antes. Repitieron este proceso tres veces, dejando fuera un estudio diferente en cada ocasión.

Los resultados de esta prueba más estricta fueron un colapso total. Cuando el modelo intentó predecir la resistencia del hormigón de un estudio en el que no había sido entrenado, su rendimiento se desplomó. En lugar de una puntuación alta, el modelo produjo puntuaciones negativas, una indicación matemática de que estaba funcionando peor que simplemente adivinar el promedio de la resistencia de los datos de entrenamiento. En un caso específico, el modelo intentaba predecir un hormigón que tenía una resistencia medida entre 6 y 21 megapascales, pero cometió errores de hasta 42 megapascales. Esto significa que el modelo estaba prediciendo valores que eran más del doble de la resistencia real del material, o incluso prediciendo una resistencia negativa, lo cual es físicamente imposible. El modelo no había aprendido la física del hormigón; había aprendido a reconocer la "huella digital" del laboratorio específico que generó los datos.

La investigación profundizó para entender por qué sucedió esto. Los investigadores desglosaron la variación total en los datos y descubrieron que el 96 por ciento de las diferencias en la resistencia provenían de las diferencias entre los estudios mismos, no de las diferencias en los materiales dentro de un solo estudio. Un estudio utilizó un tipo específico de cemento y una baja concentración de sulfato, lo que resultó en un hormigón muy débil. Otro estudio utilizó un cemento diferente y una concentración más alta, lo que resultó en un hormigón muy fuerte. Debido a que el modelo veía estos patrones distintos repetidamente, aprendió a asociar la combinación específica de ingredientes de un estudio con el nivel de resistencia general de dicho estudio. Básicamente, estaba aprendiendo a decir: "Si estos datos parecen provenir del Estudio A, la resistencia será baja", en lugar de "Si este hormigón tiene humo de sílice, será fuerte".

Esta confusión se vio agravada por el hecho de que los aditivos específicos probados eran a menudo únicos para un solo estudio. Diez de los once tipos de materiales complementarios aparecían en solo uno de los tres artículos. Por consiguiente, el modelo no podía distinguir si un cambio en la resistencia era causado por el material o por el estudio del que procedía. Incluso para el único material que aparecía en dos estudios, la resistencia promedio difería significamente entre ellos porque las condiciones subyacentes, como el tipo de sal de sulfato utilizada, eran diferentes. La alta precisión del modelo en la prueba aleatoria fue un artefacto de la estructura de los datos, no un reflejo de un poder predictivo genuino. Fue un espejismo estadístico creado por la forma en que los datos fueron agrupados y probados.

Los hallazgos tienen profundas implicaciones para la aplicación del aprendizaje automático en la ciencia de materiales. El estudio demuestra que cuando los datos se recopilan de múltiples fuentes, el método estándar de dividir aleatoriamente los datos en conjuntos de entrenamiento y de prueba es insuficiente. Permite que un modelo dependa de patrones específicos de la fuente en lugar de aprender la ciencia subyacente. Para saber realmente si un modelo es útil, debe ser probado con datos de fuentes completamente nuevas, un método conocido como validación de dejar fuera una fuente (leave-one-source-out validation). Además, los investigadores deben informar qué tanta de la variación en sus datos proviene de las diferencias entre estudios frente a las diferencias dentro de ellos. Si la gran mayoría de la variación se debe a los estudios mismos, como ocurrió en este caso, entonces una puntuación de precisión alta no nos dice nada sobre la capacidad del modelo para predecir la durabilidad en el mundo real.

En última instancia, esta investigación sirve como una necesaria corrección para un campo que se ha estado moviendo demasiado rápido. No sugiere que el aprendizaje automático no pueda ayudar a los ingenieros a diseñar un mejor hormigón, sino que insiste en que debemos ser honestos sobre lo que nuestros modelos están haciendo realmente. Un modelo que parece perfecto en el papel pero falla cuando se enfrenta a un nuevo laboratorio no es una herramienta para el descubrimiento; es un reflejo de las limitaciones de los datos. Para que el campo avance, la comunidad debe adoptar estándares de prueba más estrictos que exijan que los modelos demuestren que pueden generalizar más allá de los experimentos específicos en los que fueron entrenados. Solo así podremos confiar en estas herramientas digitales para ayudar a construir un futuro más sostenible y duradero.