Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

Immagina di cercare di costruire un grattacielo su un lembo di terreno che non hai mai visto prima. Non puoi semplicemente tirare a indovinare; devi sapere quanto è forte il suolo, o l'intera struttura potrebbe affondare o scivolare. Questo è il lavoro degli ingegneri geotecnici, che studiano la "resistenza al taglio non drenata" del suolo — fondamentalmente, quanta forza può sopportare la terra prima di cedere quando l'acqua rimane intrappolata all'interno. È un po' come cercare di capire quanto peso può reggere una spugna bagnata prima di schiacciarsi completamente. Il problema è che ottenere queste informazioni è un processo disordinato. A volte non è possibile testare il suolo direttamente perché è troppo profondo o troppo costoso, quindi gli ingegneri devono tirare a indovinare basandosi su altri indizi, come la viscosità del suolo o come un cono lo penetra. Ma queste supposizioni sono spesso piene di buchi, letteralmente e figurativamente. I dati mancano, i numeri variano enormemente da un punto all'altro e i vecchi metodi di stima sono spesso troppo incerti per essere sicuri.

Questo articolo è come una squadra di detective che cerca di risolvere il caso dei dati mancanti del suolo. Hanno preso un enorme archivio globale di "persone scomparse" per il suolo argilloso chiamato database CLAY/10/7490. Questo file contiene informazioni provenienti da 30 paesi diversi, ma è un disastro: solo circa il 34% delle informazioni è effettivamente presente. Il resto è vuoto, come un puzzle di cui sono stati strappati la maggior parte dei pezzi. I ricercatori volevano vedere se avrebbero potuto usare trucchi informatici avanzati per riempire quei vuoti e poi usare quei puzzle completati per prevedere la resistenza del suolo in modo più accurato che mai prima d'ora. Hanno testato tre diversi modi per indovinare i pezzi mancanti e hanno costruito due nuovi tipi di "super-previsori" per vedere quale combinazione funzionasse meglio.

La grande caccia ai pezzi mancanti

Il team ha iniziato esaminando il loro enorme database, che conteneva 7.490 righe di dati sull'argilla. Ma ecco l'inghippo: la maggior parte delle righe era incompleta. Alcune colonne, come i "limiti di Atterberg" (che misurano quanto l'argilla sia viscosa e plastica), mancavano solo circa il 40% delle volte. Ma le colonne relative alle misurazioni "CPTU" (che derivano dall'inserimento di un cono nel terreno) mancavano per oltre il 90% delle volte! Era come cercare di risolvere un crimine dove il testimone aveva dimenticato il 90% di ciò che aveva visto.

Per prima cosa, hanno provato un metodo semplice e tradizionale chiamato modello Multivariate Normal (MN). Pensa a questo come a un insegnante che sa che gli studenti bravi in matematica sono solitamente bravi anche in scienze. Se a uno studente manca un voto in scienze, l'insegnante lo ipotizza basandosi sul suo voto in matematica. I ricercatori hanno usato questa logica per riempire i dati mancanti del suolo. Hanno scoperto che, sebbene questo metodo mantenesse corretta la "forma" generale dei dati, non rendeva effettivamente le previsioni finali molto migliori da solo. Era come riempire il puzzle con pezzi che sembravano giusti, ma che non si incastravano perfettamente nell'immagine.

Successivamente, hanno provato due metodi più sofisticati: MICE e Miss Forest (MF).

• MICE è come un gruppo di detective che si alternano per indovinare le informazioni mancanti. Un detective ipotizza un valore basandosi sugli indizi, poi il detective successivo usa quella ipotesi per fare la propria, e continuano a scambiarsi il turno finché non concordano tutti e due.
• Miss Forest è come una squadra di detective dell'IA super intelligenti che usano una "foresta" di alberi decisionali per capire i pezzi mancanti. Cercano schemi complessi che la matematica semplice potrebbe ignorare.

Quando hanno confrontato questi metodi, hanno scoperto che MICE era il migliore nel mantenere i dati simili al suolo originale del mondo reale. Non creava valori anomali strani o schemi falsi ed era il più fedele alla distribuzione statistica originale. Miss Forest era discreto, ma a volte diventava un po' troppo creativo con le sue ipotesi. Il semplice metodo MN era il meno accurato nel preservare la vera natura dei dati, producendo spesso risultati "eccessivamente concentrati" rispetto alla disordinata realtà originale.

I Super-Previsori

Una volta ottenuti i loro database "completati", i ricercatori hanno costruito due nuovi tipi di modelli di previsione per vedere se potevano indovinare la resistenza del suolo meglio dei metodi tradizionali.

1. Il PXGB (Probabilistic Extreme Gradient Boosting): Immagina una squadra di 100 esperti che votano sulla risposta. Se un esperto sbaglia, gli altri lo correggono. Questo modello è ottimo per gestire dati disordinati, ma è comunque solo una standard macchina da "voto".
2. L'MHA-PNN (Multi-Head Attention Probabilistic Neural Network): Questo è il protagonista. Pensa a questo modello come a un detective con un superpotere: l'Attenzione. Proprio come puoi concentrarti su un dettaglio specifico in una stanza affollata ignorando il rumore, questo modello ha delle "teste" che possono concentrarsi sugli indizi più importanti nei dati del suolo e ignorare quelli inutili. Non si limita a guardare i dati; comprende le relazioni tra i diversi indizi.

La Grande Rivelazione

I risultati erano chiari. Quando i ricercatori hanno testato questi modelli, il modello MHA-PNN ha dominato la competizione, ma la scelta di come riempire i dati mancanti contava in un modo specifico.

• Accuratezza: Il modello MHA-PNN ha commesso errori circa del 72% più piccoli rispetto al modello PXGB quando utilizzava i dati completati nel modo migliore.
• Fiducia: Non si limitava a indovinare il numero; forniva un intervallo di valori probabili (incertezza). Le ipotesi del modello MHA-PNN erano molto più strette e affidabili. Il suo "intervallo di confidenza" (l'intervallo delle possibili risposte) era circa il 96% più stretto rispetto a quello del modello PXGB, il che significa che era molto più sicuro della sua risposta senza sbagliare.
• Il Problema dei "Dati Mancanti": Hanno anche scoperto una cosa importante: se hai solo pochi indizi (meno di quattro pezzi di dati), anche il miglior modello fatica. È come cercare di indovinare la trama di un film guardando solo una scena. Ma una volta che avevano abbastanza indizi, il modello MHA-PNN brillava.

Ecco il colpo di scena: sebbene MICE fosse il vincitore chiaro nel preservare la forma statistica dei dati (rendendo il puzzle completato il più simile possibile alla realtà), non era il partner perfetto per la previsione finale. Sorprendentemente, il modello MHA-PNN raggiungeva la sua migliore prestazione assoluta quando accoppiato con il metodo di imputazione MN. I ricercatori hanno scoperto che MN offriva il miglior compromesso per questo specifico modello avanzato. Anche se MN non preservava la distribuzione dei dati in modo perfetto come MICE, forniva la base più accurata su cui l'MHA-PNN potesse costruire le sue previsioni. Quindi, la "migliore" combinazione non riguardava la scelta del singolo miglior imputatore o del singolo miglior modello, ma il trovare l'accoppiamento specifico in cui il modello avanzato di "super-attenzione" potesse fare il suo miglior lavoro.

Perché questo è importante

Questo studio suggerisce che possiamo costruire modelli molto più sicuri e affidabili per prevedere la resistenza del suolo, anche quando i nostri dati sono incompleti e disordinati. Utilizzando queste tecniche avanzate di "attenzione" e trovando il giusto partner per il riempimento dei dati, gli ingegneri potrebbero essere in grado di prendere decisioni migliori per la costruzione di fondamenta, tunnel e pendii senza dover testare ogni singolo centimetro di terreno. Tuttavia, gli autori avvertono che questo non è un bacchetta magica che sostituisce i test nel mondo reale. È uno strumento potente per ottenere una buona prima ipotesi, specialmente quando i dati sono scarsi, ma per i progetti più critici, è comunque necessario controllare il terreno personalmente.

In breve, l'articolo dimostra che insegnando ai computer a prestare attenzione agli indizi giusti e riempiendo intelligentemente i vuoti — anche se il metodo di riempimento non è statisticamente perfetto da solo — possiamo trasformare un puzzle disordinato e incompleto in un'immagine chiara del terreno sotto i nostri piedi.