Resumo Técnico: Equilibrando Dados Reais e Sintéticos para a Detecção de Fissuras em Alvenaria baseada em CNN

Definição do Problema

A identificação de fissuras em estruturas de alvenaria é um componente crítico do Monitoramento da Integridade Estrutural (SHM - Structural Health Monitoring), servindo como um indicador precoce da saúde de edifícios para prevenir danos e acidentes. Embora o Aprendizado Profundo (Deep Learning - DL), especificamente Redes Neurais Convolucionais (CNNs) e segmentação semântica, ofereça soluções escaláveis para a detecção automatizada de fissuras, esses modelos dependem fortemente de conjuntos de dados amplos e diversificados. Coletar dados do mundo real suficientes para superfícies complexas como a alvenaria é demorado e exige muito trabalho. Além disso, os conjuntos de dados disponíveis publicamente muitas vezes carecem da especificidade necessária para estudos rigorosos. Os métodos existentes de geração de dados sintéticos apresentam compromissos: as Redes Adversárias Generativas (GANs) podem produzir texturas de alta fidelidade, mas frequentemente carecem de supervisão de especialistas do domínio, levando a representações de fissuras irreais em relação às estruturas de fundo, enquanto abordagens de modelagem 3D exigem perícia significativa e podem carecer de refinamento estético.

Metodologia

Os autores propõem um pipeline para enfrentar a escassez de dados através da geração de imagens de fissuras sintéticas para complementar um conjunto limitado de dados reais. A metodologia consiste em quatro estágios:

1. Aquisição de Dados:

   • Dados Reais: Um conjunto de dados personalizado de imagens de fissuras em alvenaria foi coletado de edifícios em Bolonha e arredores usando smartphones padrão (Oppo Reno 6 Pro, iPhone 12 & 13) sob condições de luz do dia.
   • Dados Sintéticos: Uma ferramenta personalizada baseada em Python com uma interface gráfica Tkinter foi desenvolvida para sobrepor máscaras de fissura semitransparentes em imagens de fundo de alvenaria de alta resolução. Esta ferramenta permite o posicionamento espacial controlado, rotação arbitrária e consistência de escala, preservando a resolução original para exportação.

2. Pré-processamento de Dados:

   • As imagens brutas foram recortadas em patches de $224 \times 224$ para padronizar a resolução.
   • As máscaras de verdade fundamental (ground-truth) foram criadas via anotação pixel a pixel.
   • Aumentos de dados (data augmentation), como inversões (flips) e rotações de $90^\circ$, foram aplicados para expandir o conjunto de treinamento.
   • As imagens foram normalizadas usando estatísticas do ImageNet para garantir compatibilidade com backbones pré-treinados.

3. Arquitetura do Modelo:

   • O estudo empregou a arquitetura encoder-decoder U-Net com conexões de salto (skip connections).
   • Sete diferentes arquiteturas de backbone foram avaliadas: U-Net Customizada, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4 e DeepLabV3.
   • A maioria dos backbones utilizou pesos pré-treinados.

4. Configuração Experimental:

   • O conjunto de dados real foi dividido em conjuntos de treinamento (60%), validação (20%) e teste (20%).
   • Os dados sintéticos foram introduzidos apenas no conjunto de treinamento do melhor modelo de desempenho.
   • Três funções de perda foram testadas: F1-Loss, Focal Loss e uma combinação de Cross-Entropy e Dice Loss (CED).
   • O treinamento foi limitado a 100 épocas com interrupção precoce (early stopping).

Principais Contribuições

• Criação de Conjunto de Dados Personalizado: A equipe coletou e rotulou um conjunto de dados específico de imagens de fissuras em alvenaria, escolhido pela complexidade do material para testar rigorosamente a eficiência da DL.
• Ferramenta de Geração Sintética: Os autores desenvolveram um método de processamento de imagem simplificado e personalizado que sobrepõe máscaras de fissura em texturas de alvenaria. Ao contrário de GANs complexas ou renderização 3D, esta abordagem permite a inserção controlada de fissuras com parâmetros específicos.
• Avaliação de Razões de Dados: O estudo propõe um framework de avaliação para determinar a quantidade mínima de dados reais necessária quando aumentada com dados sintéticos para atingir ou exceder o desempenho de uma linha de base composta apenas por dados reais.

Resultados

Os experimentos foram conduzidos em duas fases:

1. Seleção de Modelo: Utilizando apenas dados reais, várias arquiteturas U-Net foram comparadas. A InceptionV4 emergiu como o melhor modelo, alcançando um F1-score de 74,7% e 78,69% de mIoU (usando F1-Loss). Este modelo serviu como a linha de base para os experimentos subsequentes.

2. Equilíbrio entre Dados Sintéticos e Reais: O modelo InceptionV4 foi retreinado com variações de proporção de dados sintéticos para reais (de 100% sintético a 100% real).

   • 100% Sintético: Desempenhou-se mal (31,6% F1, 57,68% mIoU) devido ao hiato de domínio entre o treinamento sintético e o teste real.
   • Cenário 20/80 (20% Sintético / 80% Real): Esta configuração rendeu o maior desempenho, alcançando um F1-score de 76,82% e 80,36% de mIoU.
   • Cenário 80/20 (80% Sintético / 20% Real): Este cenário alcançou resultados comparáveis à linha de base de apenas dados reais, com um F1-score de 73,48% e 78,17% de mIoU.

Os resultados indicam que o treinamento em dados sintéticos combinados com uma adição modesta de dados reais (20%) pode superar o treinamento apenas com dados reais. Por outro lado, um conjunto de dados composto por 80% de dados sintéticos e 20% de dados reais pode igualar o desempenho de um conjunto de 100% de dados reais.

Significância e Alegações

O artigo afirma que o método proposto demonstra o potencial dos dados sintéticos para reduzir significativamente o esforço necessário para coleta e rotulagem de dados, ao mesmo tempo em que melhora a precisão da detecção de fissuras. Ao utilizar uma ferramenta de sobreposição simples em vez de modelos generativos complexos, os autores mostram que uma combinação equilibrada de dados reais e sintéticos pode melhorar as métricas de segmentação (F1-score e mIoU) em comparação com o uso exclusivo de dados reais. Especificamente, o estudo destaca que o cenário 20/80 (sintético/real) não apenas iguala, mas supera ligeiramente o desempenho da linha de base de apenas dados reais, sugerindo que os dados sintéticos podem aumentar efetivamente conjuntos de dados limitados de mundo real para tarefas de detecção de fissuras em alvenaria.