DeltaSeg: Tiered Attention and Deep Delta Learning for Multi-Class Structural Defect Segmentation

1. Planteamiento del Problema

La segmentación automática de defectos estructurales a partir de imágenes de inspección visual enfrenta desafíos significativos que las arquitecturas generales de visión por computadora no resuelven completamente:

• Diversidad de defectos: Los tipos de daño (grietas, exfoliación, corrosión, eflorescencia, vegetación) varían enormemente en escala, relación de aspecto y textura. Las grietas son finas y elongadas, mientras que la exfoliación es irregular y grande.
• Desequilibrio de clases extremo: Los píxeles de fondo dominan las imágenes, mientras que ciertas clases de defectos ocupan menos del 1% del área total.
• Delimitación de fronteras precisa: El valor práctico de un mapa de defectos depende de la localización exacta de los límites, no solo de la detección de presencia.
• Generalización: Los modelos deben funcionar en diferentes estructuras (edificios, puentes, alcantarillas) y plataformas de imagen (drones, cámaras manuales) sin reentrenamiento.

2. Metodología: Arquitectura DeltaSeg

DeltaSeg es una arquitectura codificador-decodificador en forma de U que introduce una estrategia de atención escalonada (tiered attention) y un nuevo mecanismo de Atención Delta Profunda (DDA).

Componentes Clave:

1. Codificador (Encoder):

   • Utiliza convoluciones separables por profundidad (DSC) para mantener la eficiencia computacional.
   • Emplea Atención Squeeze-and-Excitation (SE) en cada bloque para recalibrar las respuestas de los canales, identificando qué características (texturas, bordes) son relevantes.
   • En las etapas finales (4 y 5), reemplaza el pooling con convoluciones dilatadas para expandir el campo receptivo sin perder resolución espacial, crucial para capturar contextos multi-escala.

2. Cuello de Botella (Bottleneck):

   • Incorpora Atrous Spatial Pyramid Pooling (ASPP) para capturar contexto a múltiples escalas.
   • Aplica Atención de Coordenadas (Coordinate Attention - CA) después del ASPP. A diferencia de la atención SE, la CA preserva la información posicional descomponiendo la atención global en direcciones horizontal y vertical, lo cual es vital para estructuras elongadas.

3. Conexiones Salteadas (Skip Connections) - Innovación Principal:

   • Introduce el módulo Deep Delta Attention (DDA) para cerrar la brecha semántica entre el codificador y el decodificador.
   • El DDA opera mediante dos vías paralelas:
     • Deep Delta Learning (DDL): Aprende un operador delta para suprimir "características molestas" (ruído de fondo dominante) mediante un vector de dirección y una magnitud de supresión aprendida.
     • Puerta de Atención (Attention Gating): Utiliza las señales del decodificador para generar una máscara de atención espacial que resalta solo las regiones relevantes para la reconstrucción.
   • Ambas vías se fusionan para refinar las características antes de pasarlas al decodificador.

4. Decodificador (Decoder):

   • Reconstruye la resolución espacial utilizando bloques DoubleConv con Atención de Coordenadas (CA) en lugar de SE, ya que la reconstrucción espacial requiere conciencia posicional.
   • Utiliza supervisión profunda con cabezales auxiliares en múltiples etapas del decodificador para fortalecer el flujo de gradientes y asegurar características semánticamente significativas en todas las escalas.

5. Función de Pérdida:

   • Combina pérdida de entropía cruzada ponderada por clase, pérdida Dice (para manejar el desequilibrio) y pérdida Focal (para enfocarse en píxeles de frontera difíciles).

3. Contribuciones Principales

1. Estrategia de Atención Escalonada: Asigna mecanismos de atención específicos según la necesidad de la etapa de la red (SE para codificación de canales, CA para reconstrucción espacial y DDA para puentes).
2. Módulo Deep Delta Attention (DDA): Un mecanismo novedoso en las conexiones salteadas que combina la supresión de características no deseadas (aprendida) con el enmascaramiento espacial condicionado por el decodificador.
3. Codificador Eficiente: Uso de convoluciones separables con etapas híbridas (pooling y dilatación) para equilibrar eficiencia y campo receptivo.
4. Evaluación Exhaustiva: Validación rigurosa en dos conjuntos de datos distintos con diferentes geometrías y condiciones de imagen.

4. Resultados Experimentales

El modelo se evaluó en dos conjuntos de datos:

• S2DS: 7 clases de defectos en superficies de concreto (edificios).
• CSDD: 9 clases de defectos en alcantarillas (geometría cilíndrica).

Rendimiento:

• DeltaSeg superó consistentemente a 12 arquitecturas competidoras, incluyendo U-Net, SA-UNet, UNet3+, SegFormer, Swin-UNet y modelos ligeros como Mobile-UNETR.
• En S2DS: Logró un mIoU de defectos del 70.46% y un F1-score del 83.99%, superando al segundo mejor (SA-UNet) y mostrando una capacidad superior para segmentar clases raras como vegetación y puntos de control.
• En CSDD: Alcanzó un mIoU de defectos del 76.75% y un F1-score del 87.61%, demostrando una generalización robusta en geometrías complejas de alcantarillas.
• Eficiencia: Con solo 7.14 millones de parámetros, DeltaSeg es significativamente más ligero que U-Net (31M) y UNet3+ (25M), manteniendo la mayor precisión.

Estudio de Ablación:

• Se demostró que el módulo DDA es el principal contribuyente al rendimiento. La transición de un modelo base a uno con DDA completo mejoró el mIoU en más de 7 puntos porcentuales en S2DS, confirmando que la supresión de ruido y el enmascaramiento espacial son críticos.

5. Significado e Impacto

El trabajo de DeltaSeg es significativo porque aborda específicamente las limitaciones de los modelos de segmentación generalistas aplicados a la infraestructura civil.

• Generalización: Demuestra que una arquitectura bien diseñada puede adaptarse a diferentes tipos de estructuras (fachadas planas vs. tubos cilíndricos) sin necesidad de reentrenamiento masivo.
• Precisión en Bordes: La combinación de DDA y Atención de Coordenadas permite una delimitación de fronteras mucho más precisa, esencial para cuantificar el daño estructural.
• Viabilidad de Despliegue: Al ser un modelo ligero pero altamente preciso, es un candidato ideal para su implementación en dispositivos de borde (drones, robots) para inspecciones en tiempo real.

En conclusión, DeltaSeg establece un nuevo estado del arte en la segmentación de defectos estructurales al demostrar que la colocación estratégica de diferentes mecanismos de atención y el refinamiento inteligente de las conexiones salteadas son clave para superar el desequilibrio de clases y la variabilidad de los defectos.