Applications of Artificial Intelligence in Civil Engineering: Multimodal Data Fusion and Uncertainty Quantification

Résumé Technique : Applications de l'intelligence artificielle en génie civil : Fusion de données multimodales et quantification de l'incertitude

Énoncé du problème
Les structures modernes du génie civil, telles que les ponts et les tunnels, opèrent dans des conditions environnementales et opérationnelles de plus en plus complexes. Les méthodes de surveillance traditionnelles reposant sur des données provenant d'un capteur unique (par exemple, des accéléromètres ou des jauges de contrainte) sont souvent insuffisantes pour capturer le comportement multidimensionnel des systèmes de grande ampleur. Bien que les progrès des technologies de détection — tels que l'imagerie par drone (UAV), le LiDAR et le radar à pénétration de sol — permettent la collecte de données multimodales diversifiées et de haute dimension, l'intégration de ces sources hétérogènes présente des défis importants en raison des différences de caractéristiques temporelles, spatiales et sémantiques. De plus, l'intégration de l'intelligence artificielle (IA) pour la fusion de données introduit des incertitudes découlant du bruit des capteurs, des données incomplètes, du biais des modèles et des perturbations environnementales. Sans la quantification de ces incertitudes, les prédictions pilotées par l'IA risquent d'être trop confiantes et peu fiables pour la prise de décision critique en ingénierie.

Méthodologie
L'article propose un cadre de fusion multimodale couplé apprentissage profond–physique conçu pour intégrer des sources de données hétérogènes tout en quantifiant explicitement l'incertitude. La méthodologie se compose de trois modules principaux :

1. Prétraitement et alignement : Les données multimodales (signaux d'accéléromètre, lectures d'inclinomètres et imagerie par drone) sont synchronisées et normalisées par rééchantillonnage temporel et enregistrement de coordonnées.
2. Extraction de caractéristiques et fusion : Le cadre utilise des encodeurs de réseaux neuronaux profonds, spécifiquement ResNet pour les données visuelles et LSTM pour les données de capteurs, afin de générer des caractéristiques propres à chaque modalité. Ces caractéristiques sont fusionnées à l'aide d'une couche de transformateur basée sur l'attention.
3. Quantification de l'incertitude (UQ) et couplage physique :
   • Approximation bayésienne : Le "dropout" de Monte Carlo (MC) est appliqué lors de l'inférence pour estimer les incertitudes épistémiques (liées au modèle) et aléatoires (liées aux données). La moyenne et la variance prédictives sont calculées via des passages directs stochastiques.
   • Contraintes guidées par la physique : Une couche de contrainte impose les principes de la mécanique structurelle (conditions d'équilibre et de compatibilité) sous forme de terme de régularisation dans la fonction de perte. Cela empêche les prédictions non physiques et améliore la généralisation face à des conditions de chargement inédites.

Le cadre est validé à l'aide d'une étude de cas réelle d'un pont en béton à longue portée équipé de 24 accéléromètres, 10 inclinomètres et de cartes de fissures par drone sur une période d'un an.

Principales contributions
Les auteurs identifient quatre contributions principales :

1. Pipeline de fusion guidé par la physique : Développement d'un pipeline qui incorpore des contraintes physiques comme régularisation pour guider l'apprentissage du modèle, allant au-delà des approches purement fondées sur les données.
2. Module d'incertitude unifié : Introduction d'un module d'UQ basé sur le principe bayésien utilisant l'échantillonnage MC pour estimer conjointement les incertitudes, permettant une interprétation sensible à la confiance des sorties de fusion.
3. Validation empirique : Validation complète sur une étude de cas de surveillance de pont démontrant une précision prédictive, une fiabilité et une interprétabilité supérieures par rapport aux méthodes à modalité unique et aux méthodes purement fondées sur les données.
4. Implications pratiques : Discussion de l'applicabilité du cadre à l'évaluation de la qualité de la construction, à la prédiction des catastrophes dans les tunnels et aux systèmes de jumeaux numériques, ainsi qu'une analyse de la scalabilité et des défis de déploiement en temps réel.

Résultats expérimentaux
Le cadre proposé a été comparé à quatre modèles de référence : CNN à modalité unique (drone uniquement), LSTM à modalité unique (capteurs uniquement), fusion multimodale sans UQ, et la fusion proposée avec UQ et couplage physique.

• Métriques de performance : La méthode proposée a atteint un score F1 de 0,891, un rappel de 0,872 et un PR-AUC de 0,914, avec un taux de faux négatifs réduit à 0,128. Cela représente une amélioration de 12,7 % de la précision de détection par rapport à la meilleure approche à modalité unique et un gain de 4,7 % par rapport aux modèles de fusion sans quantification de l'incertitude.
• Robustesse : Le modèle a démontré une dégradation progressive en cas de scénarios de modalités manquantes. Lorsque l'imagerie par drone était absente, le score F1 est tombé à 0,823, et avec la suppression de 40 % des canaux de capteurs, il maintenait un score F1 de 0,864. Crucialement, l'incertitude prédictive augmentait de manière cohérente à mesure que les données devenaient incomplètes, permettant au système de reconnaître une confiance réduite.
• Calibration : Les estimations d'incertitude ont montré une forte corrélation (r = 0,81) avec les erreurs de prédiction réelles. L'erreur de calibration attendue (ECE) était de 0,0784, indiquant que les probabilités prédites s'alignaient étroitement sur l'exactitude empirique.
• Efficacité : Malgré la surcharge de calcul de l'échantillonnage bayésien, le cadre optimisé a maintenu des performances proches du temps réel à 0,8 seconde par image.

Signification et affirmations
L'article soutient que l'intégration de l'apprentissage informé par la physique et de la modélisation de l'incertitude bayésienne représente un nouveau paradigme pour le développement de systèmes d'IA dignes de confiance dans la surveillance des infrastructures civiles. La signification de ce travail réside dans sa capacité à :

• Améliorer la prise de décision : En fournissant des intervalles de confiance quantifiables, le cadre soutient des stratégies d'inspection fondées sur le risque où les décisions de maintenance peuvent être priorisées en fonction à la fois de la gravité des dommages et de la fiabilité de la prédiction.
• Accroître la sécurité : La réduction substantielle des faux négatifs est soulignée comme critique pour l'inspection des ponts, car la non-détection de dommages pose des risques plus élevés que les fausses alertes.
• Garantir la cohérence physique : La couche guidée par la physique garantit que les prédictions de l'IA respectent les principes mécaniques fondamentaux, traitant la nature de "boîte noire" des modèles purement fondés sur les données et empêchant le surapprentissage sur des artefacts de données.

Les auteurs concluent que, bien que des défis concernant la scalabilité, la gestion des modalités manquantes et l'optimisation en temps réel subsistent, le cadre proposé offre un outil pratique, conscient de l'incertitude, qui améliore la fiabilité et la rentabilité de la gestion des infrastructures.