DeltaSeg: Tiered Attention and Deep Delta Learning for Multi-Class Structural Defect Segmentation

1. Problema e Motivação

A segmentação automática de defeitos estruturais a partir de imagens de inspeção visual enfrenta desafios significativos que as arquiteturas de propósito geral não resolvem adequadamente:

• Diversidade de Danos: Os defeitos variam drasticamente em escala, proporção e textura (ex.: fissuras finas e alongadas vs. áreas grandes de esfarelamento ou corrosão espalhada).
• Desequilíbrio de Classes Extremo: Os pixels de fundo dominam as imagens, enquanto certas classes de defeitos ocupam menos de 1% da área, tornando a detecção de bordas precisas difícil.
• Generalização: É necessário que os modelos funcionem em diferentes tipos de estruturas (edifícios, pontes, bueiros) e plataformas de imagem (drones, câmeras manuais) sem retreinamento.
• Limitações de Arquiteturas Existentes: Modelos baseados em Transformers (como SegFormer) podem ser computacionalmente pesados para conjuntos de dados pequenos e específicos, enquanto modelos leves frequentemente sacrificam a precisão nas bordas finas e detalhadas.

2. Metodologia: Arquitetura DeltaSeg

O DeltaSeg é uma arquitetura baseada no paradigma encoder-decoder (semelhante ao U-Net), mas com três inovações principais no design de atenção e conexões de salto:

A. Codificador (Encoder) com Convoluções Separáveis por Profundidade (DSC)

• Utiliza Convoluções Separáveis por Profundidade (DSC) para reduzir drasticamente o número de parâmetros e a complexidade computacional.
• Atenção SE (Squeeze-and-Excitation): Aplicada em todas as etapas do encoder. O foco aqui é a calibração de canais, identificando quais características (bordas, texturas) são relevantes para a tarefa, sem desperdiçar recursos em localização espacial (que é tratada pelo decodificador).
• Estratégia Híbrida: As primeiras etapas usam pooling máximo para redução de resolução, enquanto as etapas finais (4 e 5) substituem o pooling por convoluções dilatadas (dilation rates de 2 e 4). Isso expande o campo receptivo para capturar contexto multiescala sem perder resolução espacial fina, essencial para bordas.

B. Gargalo (Bottleneck) e Decodificador (Decoder)

• ASPP (Atrous Spatial Pyramid Pooling): No gargalo, o módulo ASPP captura contexto multiescala combinando convoluções com diferentes taxas de dilatação e pooling global.
• Atenção Coordenada (Coordinate Attention - CA): Diferente da atenção SE que ignora a estrutura espacial, a CA preserva informações de posição decompondo a atenção global em componentes horizontais e verticais.
  • É aplicada no gargalo (após o ASPP) e em todas as etapas do decodificador.
  • Isso permite que o decodificador tenha "consciência posicional" para reconstruir bordas precisas e localizar defeitos alongados.

C. Conexões de Salto com Deep Delta Attention (DDA)

Esta é a contribuição mais inovadora do trabalho. Em vez de simplesmente concatenar as características do encoder com as do decodificador (o que cria uma lacuna semântica), o módulo DDA refina essas conexões através de um esquema de dois caminhos paralelos:

1. Deep Delta Learning (DDL): Um operador aprendido que suprime "características de incômodo" (nuisance features), como texturas de fundo dominantes. Ele aprende uma direção no espaço de canais que representa ruído e a subtrai das características.
2. Portão de Atenção Espacial (Attention Gating): Utiliza os sinais do decodificador (que contêm contexto semântico de alto nível) para criar um mapa de atenção espacial. Isso decide onde no encoder as características são relevantes para a reconstrução atual.

• Fusão: As saídas desses dois caminhos são concatenadas e projetadas de volta, fornecendo ao decodificador apenas características refinadas e semanticamente alinhadas.

D. Supervisão Profunda

O modelo utiliza quatro cabeças de predição (uma principal e três auxiliares) em diferentes estágios do decodificador. Isso força o fluxo de gradiente a ser forte em todas as camadas intermediárias, encorajando a aprendizagem de características semanticamente significativas em cada nível de resolução.

3. Contribuições Principais

1. Estratégia de Atenção Tiered (Escalonada): Atribuição inteligente de mecanismos de atenção específicos a cada parte da rede (SE no encoder para seleção de canais, CA no decodificador para localização espacial, e DDA nas conexões de salto).
2. Módulo Deep Delta Attention (DDA): Uma nova abordagem para conexões de salto que combina supressão de ruído aprendida (DDL) com portões condicionados ao decodificador, preenchendo a lacuna semântica entre codificador e decodificador.
3. Eficiência e Desempenho: Um encoder baseado em DSC que equilibra eficiência computacional com a expansão do campo receptivo, alcançando alta precisão com um número de parâmetros relativamente baixo (7,14M).
4. Validação Rigorosa: Avaliação em dois conjuntos de dados distintos (S2DS e CSDD) cobrindo diferentes geometrias estruturais e condições de imagem.

4. Resultados Experimentais

O DeltaSeg foi avaliado em dois conjuntos de dados:

• S2DS (Edifícios/Concreto): 7 classes de defeitos.
• CSDD (Bueiros/Saneamento): 9 classes de defeitos (geometria cilíndrica complexa).

Desempenho:

• S2DS: DeltaSeg alcançou um mIoU (Interseção sobre União) de defeitos de 70,46% e F1-score de 83,99%, superando consistentemente 12 arquiteturas concorrentes, incluindo U-Net, SA-UNet, UNet3+, SegFormer e Swin-UNet.
• CSDD: Alcançou um mIoU de 70,46% (nota: o texto original indica 76,75% no resumo da seção 6.2, confirmando superioridade). O desempenho foi particularmente superior em defeitos geométricos complexos, como intrusão de raízes e deformações.
• Comparação: O modelo superou arquiteturas baseadas em Transformers (que tiveram desempenho ruim em classes raras como vegetação) e modelos leves que falharam em bordas finas.
• Estudo de Ablação: A remoção do módulo DDA ou da Atenção Coordenada resultou em quedas significativas de desempenho, confirmando que a combinação de ambos é crucial. O módulo DDA sozinho já superou a maioria dos concorrentes.

5. Significado e Conclusão

O DeltaSeg demonstra que a colocação estratégica de mecanismos de atenção (em vez de usar um único mecanismo em toda a rede) é fundamental para a segmentação de defeitos estruturais.

• Generalização: O modelo provou ser robusto ao lidar com diferentes tipos de estruturas (fachadas planas vs. bueiros cilíndricos) e condições de imagem.
• Eficiência: Com apenas 7,14 milhões de parâmetros, o DeltaSeg é significativamente mais leve que o U-Net padrão (31M) e o UNet3+ (25M), mas oferece maior precisão.
• Aplicabilidade: A capacidade de preservar bordas finas e lidar com desequilíbrio de classes torna esta arquitetura ideal para inspeção automatizada de infraestrutura civil, permitindo avaliações de danos quantitativas e precisas.

O trabalho sugere futuras direções para incorporar informações temporais (vídeos sequenciais) e segmentação em nuvens de pontos 3D, além da implantação em dispositivos de borda para inspeção em tempo real.