Riepilogo Tecnico: Bilanciare Dati Reali e Sintetici per il Rilevamento di Crepe in Muratura basato su CNN

Definizione del Problema

L'identificazione delle crepe nelle strutture in muratura è una componente critica del Monitoraggio della Salute Strutturale (SHM), fungendo da indicatore precoce dello stato di salute degli edifici per prevenire danni e incidenti. Sebbene il Deep Learning (DL), specificamente le Reti Neurali Convoluzionali (CNN) e la segmentazione semantica, offra soluzioni scalabili per il rilevamento automatizzato delle crepe, questi modelli dipendono fortemente da dataset ampi e diversificati. La raccolta di dati reali sufficienti per superfici complesse come la muratura è dispendiosa in termini di tempo e di lavoro manuale. Inoltre, i dataset disponibili pubblicamente spesso mancano della specificità necessaria per studi rigorosi. I metodi esistenti di generazione di dati sintetici presentano dei compromessi: le Reti Generative Avversarie (GAN) possono produrre texture ad alta fedeltà ma spesso mancano della supervisione di esperti di dominio, portando a rappresentazioni delle crepe irrealistiche rispetto alle strutture di sfondo, mentre gli approcci di modellazione 3D richiedono una competenza significativa e possono mancare di raffinatezza estetica.

Metodologia

Gli autori propongono una pipeline per affrontare la scarsità di dati generando immagini di crepe sintetiche per integrare un dataset reale limitato. La metodologia si compone di quattro fasi:

1. Acquisizione dei Dati:

   • Dati Reali: Un dataset personalizzato di immagini di crepe in muratura è stato raccolto da edifici a Bologna e nelle zone limitrofe utilizzando smartphone standard (Oppo Reno 6 Pro, iPhone 12 & 13) in condizioni di luce diurna.
   • Dati Sintetici: È stato sviluppato uno strumento personalizzato basato su Python con un'interfaccia grafica Tkinter per sovrapporre maschere di crepe semi-trasparenti su immagini di sfondo di muratura ad alta risoluzione. Questo strumento consente un posizionamento spaziale controllato, rotazione arbitraria e coerenza di scala, preservando la risoluzione originale per l'esportazione.

2. Pre-elaborazione dei Dati:

   • Le immagini grezze sono state ritagliate in patch di $224 \times 224$ per standardizzare la risoluzione.
   • Le maschere di verità fondamentale (ground-truth) sono state create tramite annotazione pixel per pixel.
   • L'aumento dei dati (flip e rotazioni di $90^\circ$) è stato applicato per espandere il set di addestramento.
   • Le immagini sono state normalizzate utilizzando le statistiche di ImageNet per garantire la compatibilità con i backbone pre-addestrati.

3. Architettura del Modello:

   • Lo studio ha impiegato l'architettura encoder-decoder U-Net con connessioni skip (skip connections).
   • Sono state valutate sette diverse architetture di backbone: Custom U-Net, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4 e DeepLabV3.
   • La maggior parte dei backbone ha utilizzato pesi pre-addestrati.

4. Configurazione Sperimentale:

   • Il dataset reale è stato suddiviso in set di addestramento (60%), validazione (20%) e test (20%).
   • I dati sintetici sono stati introdotti solo nel set di addestramento del modello con le migliori prestazioni.
   • Sono state testate tre funzioni di perdita: F1-Loss, Focal Loss e una combinazione di Cross-Entropy e Dice Loss (CED).
   • L'addestramento è stato limitato a 100 epoche con early stopping.

Contributi Chiave

• Creazione di un Dataset Personalizzato: Il team ha raccolto e etichettato un dataset specifico di immagini di crepe in muratura, scelto per la complessità del materiale al fine di testare rigorosamente l'efficienza del DL.
• Strumento di Generazione Sintetica: Gli autori hanno sviluppato un metodo di elaborazione delle immagini semplice e personalizzato che sovrappone maschere di crepe sulle texture di muratura. A differenza delle complesse GAN o della resa 3D, questo approccio permette l'inserimento controllato di crepe con parametri specifici.
• Valutazione dei Rapporti di Dati: Lo studio propone un framework di valutazione per determinare la quantità minima di dati reali necessaria quando aumentata con dati sintetici per raggiungere o superare le prestazioni di un baseline basato solo su dati reali.

Risultati

Gli esperimenti sono stati condotti in due fasi:

1. Selezione del Modello: Utilizzando solo dati reali, sono state confrontate varie architetture U-Net. InceptionV4 è emerso come il modello con le migliori prestazioni, raggiungendo un F1-score del 74,7% e un mIoU del 78,69% (utilizzando F1-Loss). Questo modello è servito come baseline per gli esperimenti successivi.

2. Bilanciamento tra Dati Sintetici e Reali: Il modello InceptionV4 è stato riaddestrato con vari rapporti di dati sintetici rispetto ai dati reali (dal 100% sintetico al 100% reale).

   • 100% Sintetico: Ha ottenuto prestazioni scarse (31,6% F1, 57,68% mIoU) a causa del divario di dominio tra l'addestramento sintetico e il test reale.
   • Scenario 20/80 (20% Sintetico / 80% Reale): Questa configurazione ha prodotto le prestazioni più elevate, raggiungendo un F1-score del 76,82% e un mIoU del 80,36%.
   • Scenario 80/20 (80% Sintetico / 20% Reale): Questo scenario ha ottenuto risultati comparabili al baseline di soli dati reali, con un F1-score del 73,48% e un mIoU del 78,17%.

I risultati indicano che l'addestramento su dati sintetici combinati con un modesto aggiunta di dati reali (20%) può superare l'addestramento basato esclusivamente su dati reali. Al contrario, un dataset composto dall'80% di dati sintetici e dal 20% di dati reali può eguagliare le prestazioni di un dataset composto al 100% da dati reali.

Significato e Rivendicazioni

Il documento afferma che il metodo proposto dimostra il potenziale dei dati sintetici di ridurre significativamente lo sforzo richiesto per la raccolta e l'etichettatura dei dati, migliorando al contempo l'accuratezza del rilevamento delle crepe. Utilizzando uno strumento di sovrapposizione semplice invece di complessi modelli generativi, gli autori dimostrano che una combinazione bilanciata di dati reali e sintetici può migliorare le metriche di segmentazione (F1-score e mIoU) rispetto all'uso esclusivo di dati reali. Nello specifico, lo studio evidenzia come lo scenario 20/80 (sintetico/reale) non solo eguagli, ma superi leggermente le prestazioni del baseline basato solo su dati reali, suggerendo che i dati sintetici possono integrare efficacemente i limitati dataset reali per i compiti di rilevamento delle crepe in muratura.