Applications of Artificial Intelligence in Civil Engineering: Multimodal Data Fusion and Uncertainty Quantification

Technische Samenvatting: Toepassingen van Kunstmatige Intelligentie in de Civiele Techniek: Multimodale Datafusie en Onzekerheidskwantificering

Probleemstelling
Moderne civieltechnische constructies, zoals bruggen en tunnels, opereren onder steeds complexere omgevings- en operationele omstandigheden. Traditionele monitoringsmethoden die vertrouwen op enkelvoudige sensordata (bijv. versnellingsmeters of rekstrookjes) zijn vaak onvoldoende om het multidimensionale gedrag van grootschalige systemen te vatten. Hoewel vooruitgang in sensortechnologieën—zoals UAV-beelden, LiDAR en gronddoorborende radar—het verzamelen van diverse, hoogdimensionele multimodale data mogelijk maakt, vormt de integratie van deze heterogene bronnen een aanzienlijke uitdaging vanwege verschillen in temporele, ruimtelijke en semantische kenmerken. Bovendien introduceert de integratie van Kunstmatige Intelligentie (AI) voor datafusie onzekerheden die voortvloeien uit sensorruis, incomplete data, modelbias en omgevingsperturbaties. Zonder kwantificering van deze onzekerheden lopen AI-gestuurde voorspellingen het risico overmoedig en onbetrouwbaar te zijn voor kritieke technische besluitvorming.

Methodologie
Het artikel stelt een verenigd deep learning–physics gekoppeld multimodaal fusiekader voor, ontworpen om heterogene databronnen te integreren terwijl onzekerheid expliciet wordt gekwantificeerd. De methodologie bestaat uit drie primaire modules:

1. Preprocessing en Uitlijning: Multimodale data (versnellingsmetersignalen, inclinometergegevens en UAV-beelden) worden gesynchroniseerd en genormaliseerd door middel van temporele resampling en coördinatenregistratie.
2. Kenmerkextractie en Fusie: Het kader maakt gebruik van diepe neurale encoders, specifiek ResNet voor visuele data en LSTM voor sensordata, om modalitiespecifieke kenmerken te genereren. Deze kenmerken worden gefuseerd met behulp van een attention-gebaseerde transformerlaag.
3. Onzekerheidskwantificering (UQ) en Physics Koppeling:
   • Bayesiaanse Approximatie: Monte Carlo (MC) dropout wordt toegepast tijdens de inferentie om zowel epistemische (model) als aleatorische (data) onzekerheden te schatten. Het voorspellende gemiddelde en de variantie worden berekend via stochastische forward passes.
   • Physics-Guided Constraints: Een constraint-laag dwingt structurele mechanica-principes af (evenwichts- en compatibiliteitsvoorwaarden) als een regularisatieterm in de verliesfunctie. Dit voorkomt niet-fysische voorspellingen en verbetert de generalisatie naar ongeziene belastingscondities.

Het kader wordt gevalideerd met behulp van een real-world casestudy van een langgespannen betonnen brug uitgerust met 24 versnellingsmeters, 10 inclinometers en UAV-gebaseerde scheurkaarten over een periode van één jaar.

Belangrijkste Bijdragen
De auteurs identificeren vier belangrijke bijdragen:

1. Physics-Guided Fusie Pipeline: Ontwikkeling van een pipeline die fysische restricties incorporeert als regularisatie om model-leren te sturen, waarmee verder wordt gegaan dan puur datagedreven benaderingen.
2. Verenigde Onzekerheidsmodule: Introductie van een Bayesiaanse UQ-module met behulp van MC-sampling om onzekerheden gezamenlijk te schatten, wat een confidence-aware interpretatie van fusie-outputs mogelijk maakt.
3. Empirische Validatie: Uitgebreide validatie op een brugmonitoring-casestudy die superieure voorspellende nauwkeurigheid, betrouwbaarheid en interpreteerbaarheid demonstreert vergeleken met enkelvoudige modaliteit en puur datagedreven methoden.
4. Praktische Implicaties: Discussie over de toepasbaarheid van het kader voor kwaliteitsbeoordeling in de bouw, tunnelrampvoorspelling en digital twin-systemen, samen met een analyse van schaalbaarheid en uitdagingen bij real-time implementatie.

Experimentele Resultaten
Het voorgestelde kader werd vergeleken met vier baselines: single-modality CNN (alleen UAV), single-modality LSTM (alleen sensoren), multimodale fusie zonder UQ, en de voorgestelde fusie met UQ en physics koppeling.

• Prestatie-metrieken: De voorgestelde methode behaalde een F1-score van 0,891, een recall van 0,872 en een PR-AUC van 0,914, waarbij het aantal fout-negatieven werd verminderd tot 0,128. Dit vertegenwoordigt een verbetering van 12,7% in detectienauwkeurigheid ten opzien van de beste single-modality aanpak en een winst van 4,7% ten opzien van fusiemodellen zonder onzekerheidskwantificering.
• Robuustheid: Het model vertoonde een geleidelijke degradatie onder scenario's met ontbrekende modaliteiten. Wanneer UAV-beelden ontbraken, daalde de F1-score naar 0,823, en bij het verwijderen van 40% van de sensorkanalen behield het een F1-score van 0,864. Cruciaal is dat de voorspellende onzekerheid consistent toenam naarmate de data incompleter werd, waardoor het systeem de verminderde betrouwbaarheid kon herkennen.
• Kalibratie: De onzekerheidsschattingen vertoonden een sterke correlatie (r = 0,81) met de werkelijke voorspellingsfouten. De Expected Calibration Error (ECE) was 0,0784, wat aangeeft dat voorspelde waarschijnlijkheden nauw overeenkwamen met de empirische nauwkeurigheid.
• Efficiëntie: Ondanks de computationele overhead van Bayesiaanse sampling behield het geoptimaliseerde kader een bijna real-time prestatie van 0,8 seconden per frame.

Betekenis en Claims
Het artikel stelt dat de integratie van physics-informed leren en Bayesiaanse onzekerheidsmodellering een nieuw paradigma vormt voor het ontwikkelen van betrouwbare AI-systemen in de monitoring van civiele infrastructuur. De betekenis van dit werk ligt in het vermogen om:

• Besluitvorming te Verbeteren: Door kwantificeerbare betrouwbaarheidsintervallen te bieden, ondersteunt het kader risico-bewuste inspectiestrategieën waarbij onderhoudsbeslissingen kunnen worden geprioriteerd op basis van zowel de ernst van de schade als de betrouwbaarheid van de voorspelling.
• Veiligheid te Vergroten: De substantiële reductie in fout-negatieven wordt benadrukt als cruciaal voor bruginspectie, aangezien gemiste detecties van schade hogere risico's met zich meebrengen dan valse alarmen.
• Fysische Consistentie te Waarborgen: De physics-guided laag zorgt ervoor dat AI-voorspellingen voldoen aan fundamentele mechanische principes, wat de "black box"-aard van puur datagedreven modellen aanpakt en overfitting aan data-artefacten voorkomt.

De auteurs concluderen dat hoewel uitdagingen met betrekking tot schaalbaarheid, het afhandelen van ontbrekende modaliteiten en real-time optimalisatie blijven bestaan, het voorgestelde kader een praktisch, onzekerheid-bewust instrument biedt dat de betrouwbaarheid en kosteneffectiviteit van infrastructuurbeheer verbetert.