Applications of Artificial Intelligence in Civil Engineering: Multimodal Data Fusion and Uncertainty Quantification

Sintesi Tecnica: Applicazioni dell'Intelligenza Artificiale nell'Ingegneria Civile: Fusione di Dati Multimodali e Quantificazione dell'Incertezza

Problematica
Le moderne strutture di ingegneria civile, come ponti e tunnel, operano in condizioni ambientali e operative sempre più complesse. I metodi di monitoraggio tradizionali basati su dati da singolo sensore (ad esempio, accelerometri o estensimetri) sono spesso insufficienti per catturare il comportamento multidimensionale di sistemi su larga scala. Sebbene i progressi nelle tecnologie di rilevamento — come le immagini UAV, il LiDAR e il radar a penetrazione del terreno — consentano la raccolta di dati multimodali eterogenei e ad alta dimensionalità, l'integrazione di queste fonti diverse presenta sfide significative a causa delle differenze nelle caratteristiche temporali, spaziali e semantiche. Inoltre, l'integrazione dell'Intelligenza Artificiale (IA) per la fusione dei dati introduce incertezze derivanti dal rumore dei sensori, dalla incompletezza dei dati, dai bias del modello e dalle perturbazioni ambientali. Senza la quantificazione di queste incertezze, le previsioni guidate dall'IA rischiano di essere eccessivamente sicure di sé e inaffidabili per il processo decisionale critico in ambito ingegneristico.

Metodologia
Il documento propone un framework di fusione multimodale accoppiato tra deep learning e fisica progettato per integrare fonti di dati eterogenee pur quantificando esplicitamente l'incertezza. La metodologia si compone di tre moduli primari:

1. Pre-elaborazione e Allineamento: I dati multimodali (segnali di accelerometri, letture di inclinometri e immagini UAV) vengono sincronizzati e normalizzati attraverso il campionamento temporale e la registrazione delle coordinate.
2. Estrazione delle Caratteristiche e Fusione: Il framework impiega encoder neurali profondi, specificamente ResNet per i dati visivi e LSTM per i dati dei sensori, per generare caratteristiche specifiche per ogni modalità. Queste caratteristiche vengono fuse tramite uno strato transformer basato sull'attenzione (attention-based).
3. Quantificazione dell'Incertezza (UQ) e Accoppiamento con la Fisica:
   • Approssimazione Bayesiana: Il dropout di Monte Carlo (MC) viene applicato durante l'inferenza per stimare sia l'incertezza epistemica (del modello) che quella aleatoria (dei dati). La media predittiva e la varianza sono calcolate tramite passaggi forward stocastici.
   • Vincoli Guidati dalla Fisica: Uno strato di vincolo impone i principi della meccanica strutturale (condizioni di equilibrio e compatibilità) come termine di regolarizzazione nella funzione di perdita (loss function). Ciò impedisce previsioni non fisiche e migliora la generalizzazione a condizioni di carico non viste.

Il framework è validato utilizzando un caso di studio reale di un ponte in calcestruzzo a campata lunga dotato di 24 accelerometri, 10 inclinometri e mappe delle crepe basate su UAV su un periodo di un anno.

Contributi Chiave
Gli autori identificano quattro contributi principali:

1. Pipeline di Fusione Guidata dalla Fisica: Sviluppo di una pipeline che incorpora vincoli fisici come regolarizzazione per guidare l'apprendimento del modello, andando oltre gli approcci puramente basati sui dati.
2. Modulo di Incertezza Unificato: Introduzione di un modulo di UQ basato su approccio Bayesiano tramite campionamento MC per stimare congiuntamente le incertezze, consentendo un'interpretazione consapevole della confidenza dei risultati della fusione.
3. Validazione Empirica: Validazione completa su un caso di studio di monitoraggio di un ponte, che dimostra una precisione predittiva, affidabilità e interpretabilità superiori rispetto ai metodi a singola modalità e a quelli puramente basati sui dati.
4. Implicazioni Pratiche: Discussione dell'applicabilità del framework alla valutazione della qualità della costruzione, alla previsione di disastri nei tunnel e ai sistemi di digital twin, insieme a un'analisi della scalabilità e delle sfide di implementazione in tempo reale.

Risultati Sperimentali
Il framework proposto è stato confrontato con quattro baseline: CNN a singola modalità (solo UAV), LSTM a singola modalità (solo sensori), fusione multimodale senza UQ e la proposta fusione con UQ e accoppiamento fisico.

• Metriche di Performance: Il metodo proposto ha raggiunto un punteggio F1 di 0,891, un recall di 0,872 e un PR-AUC di 0,914, con un tasso di falsi negativi ridotto a 0,128. Ciò rappresenta un miglioramento del 12,7% nell'accuratezza di rilevamento rispetto al miglior approccio a singola modalità e un guadagno del 4,7% rispetto ai modelli di fusione privi di quantificazione dell'incertezza.
• Robustezza: Il modello ha dimostrato un degrado graduale in scenari di mancanza di modalità. Quando le immagini UAV erano assenti, il punteggio F1 è sceso a 0,823, e con la rimozione del 40% dei canali dei sensori, ha mantenuto un punteggio F1 di 0,864. Fondamentalmente, l'incertezza predittiva aumentava costantemente man mano che i dati diventavano incompleti, permettendo al sistema di riconoscere la riduzione della confidenza.
• Calibrazione: Le stime dell'incertezza hanno mostrato una forte correlazione (r = 0,81) con gli errori di previsione effettivi. L'Errore di Calibrazione Attesa (ECE) è stato di 0,0784, indicando che le probabilità predette erano strettamente allineate con l'accuratezza empirica.
• Efficienza: Nonostante l'overhead computazionale del campionamento Bayesiano, il framework ottimizzato ha mantenuto prestazioni quasi in tempo reale a 0,8 secondi per frame.

Significatività e Rivendicazioni
Il documento sostiene che l'integrazione dell'apprendimento informato dalla fisica e della modellazione dell'incertezza bayesiana rappresenti un nuovo paradigma per lo sviluppo di sistemi di IA affidabili nel monitoraggio delle infrastrutture civili. La significatività di questo lavoro risiede nella sua capacità di:

• Migliorare il Processo Decisionale: Fornendo intervalli di confidenza quantificabili, il framework supporta strategie di ispezione basate sul rischio, dove le decisioni di manutenzione possono essere prioritarizzate in base sia alla gravità del danno che all'affidabilità della previsione.
• Migliorare la Sicurezza: La sostanziale riduzione dei falsi negativi è evidenziata come critica per l'ispezione dei ponti, poiché la mancata rilevazione dei danni comporta rischi maggiori rispetto ai falsi allarmi.
• Garantire la Coerenza Fisica: Lo strato guidato dalla fisica assicura che le previsioni dell'IA aderiscano ai principi meccanici fondamentali, affrontando la natura di "scatola nera" dei modelli puramente basati sui dati e prevenendo l'overfitting su artefatti dei dati.

Gli autori concludono che, sebbene rimangano sfide riguardanti la scalabilità, la gestione della mancanza di modalità e l'ottimizzazione in tempo reale, il framework proposto offre uno strumento pratico e consapevole dell'incertezza che migliora l'affidabilità e il costo-efficacia della gestione delle infrastrutture.