Resumen Técnico: Equilibrio entre Datos Reales y Sintéticos para la Detección de Grietas en Mampostería basada en CNN

Planteamiento del Problema

La identificación de grietas en estructuras de mampostería es un componente crítico del Monitoreo de la Salud Estructural (SHM, por sus siglas en inglés), que sirve como un indicador temprano de la salud de los edificios para prevenir daños y accidentes. Si bien el Aprendizaje Profundo (DL), específicamente las Redes Neuronales Convolucionales (CNN) y la segmentación semántica, ofrece soluciones escalables para la detección automatizada de grietas, estos modelos dependen fuertemente de conjuntos de datos grandes y diversos. La recopilación de suficientes datos del mundo real para superficies complejas como la mampostería es laboriosa y consume mucho tiempo. Además, los conjuntos de datos disponibles públicamente suelen carecer de la especificidad requerida para un estudio riguroso. Los métodos existentes de generación de datos sintéticos presentan compensaciones: las Redes Generativas Antagónicas (GAN) pueden producir texturas de alta fidelidad pero a menudo carecen de supervisión de expertos en el dominio, lo que conduce a representaciones de grietas poco realistas en relación con las estructuras de fondo, mientras que los enfoques de modelado 3D requieren una experiencia significativa y pueden carecer de refinamiento estético.

Metodología

Los autores proponen un flujo de trabajo para abordar la escasez de datos mediante la generación de imágenes de grietas sintéticas para complementar un conjunto de datos reales limitado. La metodología consta de cuatro etapas:

1. Adquisición de Datos:

   • Datos Reales: Se recopiló un conjunto de datos personalizado de imágenes de grietas en mampostería de edificios en Bolonia y áreas circundantes utilizando teléfonos inteligentes estándar (Oppo Reno 6 Pro, iPhone 12 y 13) bajo condiciones de luz diurna.
   • Datos Sintéticos: Se desarrolló una herramienta personalizada basada en Python con una interfaz gráfica Tkinter para superponer máscaras de grietas semitransparentes sobre imágenes de fondo de mampostería de alta resolución. Esta herramienta permite una colocación espacial controlada, rotación arbitraria y consistencia de escala, preservando la resolución original para la exportación.

2. Preprocesamiento de Datos:

   • Las imágenes originales se recortaron en parches de $224 \times 224$ para estandarizar la resolución.
   • Las máscaras de verdad de campo (ground-truth) se crearon mediante anotación píxel a píxel.
   • Se aplicó aumentación de datos (volteos y rotaciones de $90^\circ$) para expandir el conjunto de entrenamiento.
   • Las imágenes se normalizaron utilizando estadísticas de ImageNet para asegurar la compatibilidad con los backbones preentrenados.

3. Arquitectura del Modelo:

   • El estudio empleó la arquitectura codificador-decodificador U-Net con conexiones de salto (skip connections).
   • Se evaluaron siete arquitecturas de backbone diferentes: U-Net personalizada, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4 y DeepLabV3.
   • La mayoría de los backbones utilizaron pesos preentrenados.

4. Configuración Experimental:

   • El conjunto de datos real se dividió en conjuntos de entrenamiento (60%), validación (20%) y prueba (20%).
   • Los datos sintéticos se introdujeron únicamente en el conjunto de entrenamiento del modelo con mejor desempeño.
   • Se probaron tres funciones de pérdida: F1-Loss, Focal Loss y una combinación de Entropía Cruzada y Dice Loss (CED).
   • El entrenamiento se limitó a 100 épocas con parada temprana (early stopping).

Contribuciones Clave

• Creación de un Conjunto de Datos Personalizado: El equipo recopiló y etiquetó un conjunto de datos específico de imágenes de grietas en mampostería, elegido por la complejidad del material para probar rigurosamente la eficiencia de la DL.
• Herramienta de Generación Sintética: Los autores desarrollaron un método de procesamiento de imágenes sencillo y personalizado que superpone máscaras de grietas sobre texturas de mampostería. A diferencia de las complejas GAN o el renderizado 3D, este enfoque permite la inserción controlada de grietas con parámetros específicos.
• Evaluación de Ratios de Datos: El estudio propone un marco de evaluación para determinar la cantidad mínima de datos reales requerida cuando se aumenta con datos sintéticos para alcanzar o superar el desempeño de una línea base de solo datos reales.

Resultados

Los experimentos se realizaron en dos fases:

1. Selección del Modelo: Utilizando solo datos reales, se compararon varias arquitecturas U-Net. InceptionV4 emergió como el modelo con mejor desempeño, logrando un F1-score del 74.7% y un mIoU de 78.69% (usando F1-Loss). Este modelo sirvió como la línea base para los experimentos posteriores.

2. Equilibrio entre Datos Sintéticos y Reales: El modelo InceptionV4 fue reentrenado con variaciones en la proporción de datos sintéticos respecto a los reales (desde 100% sintéticos hasta 100% reales).

   • 100% Sintéticos: Funcionó deficientemente (31.6% F1, 57.68% mIoU) debido a la brecha de dominio entre el entrenamiento sintético y la prueba real.
   • Escenario 20/80 (20% Sintéticos / 80% Reales): Esta configuración produjo el mayor desempeño, logrando un F1-score del 76.82% y un mIoU de 80.36%.
   • Escenario 80/20 (80% Sintéticos / 20% Reales): Este escenario logró resultados comparables a la línea base de solo datos reales, con un F1-score del 73.48% y un mIoU de 78.17%.

Los resultados indican que entrenar con datos sintéticos combinados con una adición modesta de datos reales (20%) puede superar el entrenamiento con solo datos reales. Por el contrario, un conjunto de datos compuesto por un 80% de datos sintéticos y un 20% de datos reales puede igualar el desempeño de un conjunto de datos de 100% real.

Significado y Afirmaciones

El artículo afirma que el método propuesto demuestra el potencial de los datos sintéticos para reducir significativamente el esfuerzo requerido para la recopilación y el etiquetado de datos, mejorando al mismo tiempo la precisión de la detección de grietas. Al utilizar una herramienta de superposición simple en lugar de modelos generativos complejos, los autores demuestran que una combinación equilibrada de datos reales y sintéticos puede mejorar las métricas de segmentación (F1-score y mIoU) en comparación con el uso exclusivo de datos reales. Específicamente, el estudio destaca que el escenario 20/80 (sintéticos/reales) no solo iguala, sino que supera ligeramente el desempeño de la línea base de solo datos reales, lo que sugiere que los datos sintéticos pueden aumentar eficazmente los conjuntos de datos limitados de mundo real para tareas de detección de grietas en mampostería.