Applications of Artificial Intelligence in Civil Engineering: Multimodal Data Fusion and Uncertainty Quantification

Resumen Técnico: Aplicaciones de la Inteligencia Artificial en la Ingeniería Civil: Fusión de Datos Multimodales y Cuantificación de la Incertidumbre

Planteamiento del Problema
Las estructuras de la ingeniería civil moderna, como puentes y túneles, operan bajo condiciones ambientales y operativas cada vez más complejas. Los métodos de monitoreo tradicionales que dependen de datos de un solo sensor (por ejemplo, acelerómetros o extensómetros) suelen ser insuficientes para capturar el comportamiento multidimensional de sistemas a gran escala. Si bien los avances en las tecnologías de detección —como imágenes de UAV, LiDAR y radar de penetración terrestre— permiten la recolección de datos multimodales diversos y de alta dimensión, la integración de estas fuentes heterogéneas presenta desafíos significativos debido a las diferencias en las características temporales, espaciales y semánticas. Además, la integración de la Inteligencia Artificial (IA) para la fusión de datos introduce incertidumbres derivadas del ruido de los sensores, datos incompletos, sesgo del modelo y perturbaciones ambientales. Sin cuantificar estas incertidumbres, las predicciones impulsadas por IA corren el riesgo de ser excesivamente confiadas y poco fiables para la toma de decisiones críticas en ingeniería.

Metodología
El artículo propone un marco de fusión multimodal acoplado de aprendizaje profundo y física diseñado para integrar fuentes de datos heterogéneas mientras cuantifica explícitamente la incertidumbre. La metodología consta de tres módulos primarios:

1. Preprocesamiento y Alineación: Los datos multimodales (señales de acelerómetro, lecturas de inclinómetros e imágenes de UAV) se sincronizan y normalizan mediante el remuestreo temporal y el registro de coordenadas.
2. Extracción y Fusión de Características: El marco emplea codificadores de redes neuronales profundas, específicamente ResNet para datos visuales y LSTM para datos de sensores, para generar características específicas de cada modalidad. Estas características se fusionan utilizando una capa de transformador basada en atención.
3. Cuantificación de la Incertidumbre (UQ) y Acoplamiento con la Física:
   • Aproximación Bayesiana: Se aplica el dropout de Monte Carlo (MC) durante la inferencia para estimar tanto las incertidumbres epistémicas (del modelo) como las aleatorias (de los datos). La media predictiva y la varianza se computan mediante pasadas hacia adelante estocásticas.
   • Restricciones Guiadas por la Física: Una capa de restricción impone principios de mecánica estructural (condiciones de equilibrio y compatibilidad) como un término de regularización en la función de pérdida. Esto evita predicciones no físicas y mejora la generalización ante condiciones de carga no vistas.

El marco se valida utilizando un estudio de caso del mundo real de un puente de concreto de gran luz equipado con 24 acelerómetros, 10 inclinómetros y mapas de grietas basados en UAV durante un período de un año.

Contribuciones Clave
Los autores identifican cuatro contribuciones principales:

1. Pipeline de Fusión Guiado por la Física: Desarrollo de un pipeline que incorpora restricciones físicas como regularización para guiar el aprendizaje del modelo, yendo más allá de los enfoques puramente basados en datos.
2. Módulo de Incertidumbre Unificado: Introducción de un módulo de UQ basado en el método Bayesiano utilizando muestreo MC para estimar conjuntamente las incertidumbres, permitiendo una interpretación consciente de la confianza de los resultados de la fusión.
3. Validación Empírica: Validación exhaustiva en un estudio de caso de monitoreo de puentes que demuestra una precisión predictiva, confiabilidad e interpretabilidad superiores en comparación con los métodos de una sola modalidad y los métodos puramente basados en datos.
4. Implicaciones Prácticas: Discusión de la aplicabilidad del marco en la evaluación de la calidad de la construcción, la predicción de desastres en túneles y sistemas de gemelos digitales, junto con un análisis de la escalabilidad y los desafíos de despliegue en tiempo real.

Resultados Experimentales
El marco propuesto se comparó contra cuatro líneas base: CNN de una sola modalidad (solo UAV), LSTM de una sola modalidad (solo sensores), fusión multimodal sin UQ, y la propuesta de fusión con UQ y acoplamiento físico.

• Métricas de Desempeño: El método propuesto logró un F1 score de 0.891, un recall de 0.872 y un PR-AUC de 0.914, con una tasa de falsos negativos reducida a 0.128. Esto representa una mejora del 12.7% en la precisión de detección sobre el mejor enfoque de una sola modalidad y una ganancia del 4.7% sobre los modelos de fusión sin cuantificación de la incertidumbre.
• Robustez: El modelo demostró una degradación gradual bajo escenarios de falta de modalidad. Cuando las imágenes de UAV faltaban, el F1 score descendió a 0.823, y con el 40% de los canales de sensores eliminados, mantuvo un F1 score de 0.864. Crucialmente, la incertidumbre predictiva aumentó consistentemente a medida que los datos se volvían incompletos, permitiendo al sistema reconocer la reducción de la confianza.
• Calibración: Las estimaciones de incertidumbre mostraron una fuerte correlación (r = 0.81) con los errores de predicción reales. El Error de Calibración Esperado (ECE) fue de 0.0784, lo que indica que las probabilidades predichas se alinearon estrechamente con la precisión empírica.
• Eficiencia: A pesar de la sobrecarga computacional del muestreo Bayesiano, el marco optimizado mantuvo un rendimiento cercano al tiempo real de 0.8 segundos por cuadro.

Significancia y Reivindicaciones
El artículo postula que la integración del aprendizaje informado por la física y el modelado de la incertidumbre Bayesiana representa un nuevo paradigma para desarrollar sistemas de IA confiables en el monitoreo de infraestructura civil. La significancia de este trabajo radica en su capacidad para:

• Mejorar la Toma de Decisiones: Al proporcionar intervalos de confianza cuantificables, el marco soporta estrategias de inspección conscientes del riesgo donde las decisiones de mantenimiento pueden priorizarse basándose tanto en la severidad del daño como en la confiabilidad de la predicción.
• Mejorar la Seguridad: La reducción sustancial de los falsos negativos se destaca como crítica para la inspección de puentes, ya que la omisión de detecciones de daños conlleva riesgos mayores que las falsas alarmas.
• Garantizar la Consistencia Física: La capa guiada por la física asegura que las predicciones de la IA se adhieran a los principios mecánicos fundamentales, abordando la naturaleza de "caja negra" de los modelos puramente basados en datos y previniendo el sobreajuste a artefactos de los datos.

Los autores concluyen que, si bien persisten desafíos respecto a la escalabilidad, el manejo de modalidades faltantes y la optimización en tiempo real, el marco propuesto ofrece una herramienta práctica y consciente de la incertidumbre que mejora la confiabilidad y la rentabilidad de la gestión de la infraestructura.