Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

Il calcestruzzo è il materiale edilizio più utilizzato sulla Terra, eppure la sua produzione è una delle principali fonti di emissioni globali di carbonio. Per renderlo più ecologico, gli ingegneri spesso mescolano materiali supplementari come ceneri volanti, fumo di silice o persino scarti agricoli come la cenere di lolla di riso. Questi additivi sostituiscono parte del cemento, riducendo l'impronta di carbonio e spesso migliorando la capacità del calcestruzzo di resistere agli attacchi chimici. Una delle minacce più dannose per le strutture in calcestruzzo è l'attacco solfatico, che si verifica quando gli ioni solfato provenienti dal suolo, dalle acque sotterranee o dall'acqua di mare penetrano nel materiale. Questi ioni reagiscono con il cemento, formando cristalli che si espandono e crepano il calcestruzzo dall'interno, facendolo infine sbriciolare. Prevedere quanto durerà una specifica miscela di calcestruzzo in tali condizioni avverse è vitale per la sicurezza e la sostenibilità, ma i metodi di test tradizionali sono lenti, richiedendo talvolta anni per fornire risultati.

Negli ultimi anni, gli scienziati si sono rivolti al machine learning per accelerare queste previsioni. Alimentando gli algoriti informatici con dati provenienti da centinaia di esperimenti passati, i ricercatori sperano di creare modelli in grado di stimare istantaneamente quanto sarà resistente una nuova miscela di calcestruzzo dopo l'esposizione ai solfati. Questi modelli sono stati celebrati per la loro alta precisione, rivendicando spesso di prevedere i risultati con una precisione quasi perfetta. Tuttavia, un nuovo studio suggerisce che questa celebrata accuratezza potrebbe essere un'illusione. La ricerca rivela che i modelli non stanno in realtà imparando la complessa chimica del calcestruzzo; stanno semplicemente memorizzando i laboratori specifici che hanno prodotto i dati. Quando testati su situazioni veramente nuove, questi modelli falliscono completamente, sollevando seri dubbi su come valutare l'affidabilità dell'intelligenza artificiale nell'ingegneria.

I ricercatori dietro questo studio hanno esaminato un dataset compilato da tre separati articoli scientifici sottoposti a revisione paritaria. Questi articoli contenevano misurazioni della resistenza alla compressione — la forza necessaria per schiacciare un campione — per miscele di malta contenenti vari materiali supplementari. I dati coprivano diversi tipi di additivi, livelli variabili di sostituzione ed esposizione a soluzioni di solfato per periodi che andavano da pochi giorni a oltre un anno. In totale, il team ha raccolto 94 osservazioni distinte. Hanno addestrato un modello standard di machine learning su questo dato combinato, utilizzando una tecnica chiamata suddivisione casuale (random splitting), che è lo standard del settore. In questo metodo, il computer rimescola tutti i punti dati e mette da parte un 20 percento casuale per testare il modello, mentre il restante 80 percento viene utilizzato per l'addestramento. Poiché i dati provenivano da studi diversi, questa rimescolata casuale ha garantito che sia i set di addestramento che quelli di test contenessero campioni di tutte e tre le fonti originali.

Quando i ricercatori hanno valutato il modello utilizzando questo metodo casuale standard, i risultati sono stati spettacolari. Il modello ha raggiunto un punteggio che indicava la capacità di spiegare quasi il 97 percento della variazione dei dati. Questo livello di prestazione è esattamente ciò che la letteratura scientifica riporta, e suggerisce che il modello abbia padroneggiato la relazione tra gli ingredienti del calcestruzzo e la loro durabilità. Il modello sembrava aver appreso che certi additivi, come la fumo di silice, portano generalmente a un calcestruzzo più resistente, mentre altri potrebbero indebolirlo. Sembrava aver decodificato con successo le regole che governano il comportamento del calcestruzzo sotto attacco chimico.

Tuttavia, i ricercatori sospettavano che questo punteggio elevato fosse fuorviante. Sapevano che ciascuno dei tre studi di origine aveva utilizzato il proprio set unico di condizioni: diversi tipi di cemento, diverse procedure di miscelazione, diversi ambienti di stagionatura e, soprattutto, diverse concentrazioni di soluzioni di solfato. Nel mondo reale, un modello addestrato su un set di condizioni dovrebbe essere in grado di prevedere l'esito per un set di condizioni completamente nuovo. Per testare questo, i ricercatori hanno cambiato il loro metodo di validazione. Invece di rimescolare casualmente i singoli punti dati, hanno deciso di escludere interi studi. Hanno addestrato il modello su due degli studi e poi hanno chiesto al modello di prevedere i risultati del terzo studio, che non aveva mai visto prima. Hanno ripetuto questo processo tre volte, escludendo ogni volta uno studio diverso.

I risultati di questo test più rigoroso sono stati un completo collasso. Quando il modello cercava di prevedere la resistenza del calcestruzzo da uno studio per cui non era stato addestrato, le sue prestazioni sono crollate. Invece di un punteggio alto, il modello ha prodotto punteggi negativi, un'indicazione matematica del fatto che stava performando peggio di una semplice stima della resistenza media dei dati di addestramento. In un caso specifico, il modello cercava di prevedere un calcestruzzo che aveva una resistenza misurata tra 6 e 21 megapascal, ma ha commesso errori grandi fino a 42 megapascal. Ciò significa che il modello stava predicendo valori che erano più del doppio della resistenza effettiva del materiale, o addirittura predendo una resistenza negativa, il che è fisicamente impossibile. Il modello non aveva imparato la fisica del calcestruzzo; aveva imparato a riconoscere la "impronta digitale" del laboratorio specifico che ha generato i dati.

L'indagine è andata più a fondo per capire perché ciò fosse accaduto. I ricercatori hanno scomposto la variazione totale nei dati e hanno scoperto che il 96 percento delle differenze di resistenza derivava dalle differenze tra gli studi stessi, non dalle differenze nei materiali all'interno di un singolo studio. Uno studio utilizzava un tipo specifico di cemento e una bassa concentrazione di solfato, risultando in un calcestruzzo molto debole. Un altro studio utilizzava un cemento diverso e una concentrazione più alta, risultando in un calcestruzzo molto forte. Poiché il modello vedeva questi schemi distinti ripetutamente, ha imparato ad associare la specifica combinazione di ingredienti in uno studio con il livello di resistenza complessivo di quello studio. In sostanza, stava imparando a dire: "Se questi dati sembrano provenire dallo Studio A, la resistenza sarà bassa", invece di "Se questo calcestruzzo contiene fumo di silice, sarà forte".

Questa confusione è stata aggravata dal fatto che gli additivi specifici testati erano spesso unici per un singolo studio. Dieci degli undici tipi di materiali supplementari apparivano in un solo dei tre articoli. Di conseguenza, il modello non poteva distinguere se un cambiamento nella resistenza fosse causato dal materiale o dallo studio di appartenenza. Anche per il materiale che appariva in due studi, la resistenza media differiva significamente tra loro perché le condizioni sottostanti, come il tipo di sale solfato utilizzato, erano diverse. L'alta accuratezza del modello nel test casuale era un artefatto della struttura dei dati, non un riflesso di una reale capacità predittiva. Era un miraggio statistico creato dal modo in cui i dati erano raggruppati e testati.

Le conclusioni hanno profonde implicazioni per il modo in cui il machine learning viene applicato alla scienza dei materiali. Lo studio dimostra che, quando i dati sono raccolti da più fonti, il metodo standard di suddivisione casuale dei dati in set di addestramento e di test è insufficiente. Permette a un modello di fare affidamento su schemi specifici della fonte piuttosto che apprendere la scienza sottostante. Per sapere veramente se un modello è utile, deve essere testato su dati provenienti da fonti interamente nuove, un metodo noto come validazione "leave-one-source-out". Inoltre, i ricercatori devono riferire quanta parte della variazione nei loro dati derivi dalle differenze tra gli studi rispetto alle differenze all'interno di essi. Se la stragrande maggioranza della variazione è dovuta agli studi stessi, come in questo caso, allora un punteggio di accuratezza elevato non ci dice nulla sulla capacità del modello di prevedere la durabilità nel mondo reale.

In definitiva, questa ricerca funge da necessaria correzione per un campo che si è mosso troppo velocemente. Non suggerisce che il machine learning non possa aiutare gli ingegneri a progettare un calcestruzzo migliore, ma insiste sul fatto che dobbiamo essere onesti su ciò che i nostri modelli stanno realmente facendo. Un modello che sembra perfetto sulla carta ma che fallisce di fronte a un nuovo laboratorio non è uno strumento di scoperta; è un riflesso dei limiti dei dati. Affinché il campo possa progredire, la comunità deve adottare standard di test più rigorosi che richiedano ai modelli di dimostrare di poter generalizzare oltre gli esperimenti specifici su cui sono stati addestrati. Solo allora potremo fidarci di questi strumenti digitali per aiutare a costruire un futuro più sostenibile e duraturo.