Technische Samenvatting: Balans tussen Realistische en Synthetische Data voor CNN-gebaseerde Detectie van Scheuren in Metselwerk

Probleemstelling

De identificatie van scheuren in metselwerkstructuren is een cruciaal onderdeel van Structurele Gezondheidsmonitoring (SHM), wat dient als een vroege indicator voor de gezondheid van gebouwen om schade en ongelukken te voorkomen. Hoewel Deep Learning (DL), specifiek Convolutionele Neurale Netwerken (CNN's) en semantische segmentatie, schaalbare oplossingen biedt voor automatische scheurdetectie, vertrouwen deze modellen zwaar op grote, diverse datasets. Het verzamelen van voldoende realistische data voor complexe oppervlakken zoals metselwerk is tijdrovend en arbeidsintensief. Bovendien missen publiekelijk beschikbare datasets vaak de specificiteit die vereist is voor rigoureuze studies. Bestaande methoden voor het genereren van synthetische data presenteren trade-offs: Generative Adversarial Networks (GANs) kunnen texturen met een hoge getrouwheid produceren, maar missen vaak supervisie door domeinexperts, wat leidt tot onrealistische representaties van scheuren ten opzichte van de achtergrondstructuren, terwijl 3D-modelleringstechnieken aanzienlijke expertise vereisen en mogelijk een gebrek aan esthetische verfijning vertonen.

Methodologie

De auteurs stellen een pijplijn voor om gegevensschaarste aan te pakken door synthetische scheurafbeeldingen te genereren om een beperkte realistische dataset aan te vullen. De methodologie bestaat uit vier stadia:

1. Data-acquisitie:

   • Realistische Data: Een aangepaste dataset van metselwerk-scheurafbeeldingen werd verzameld van gebouwen in Bologna en omliggende gebieden met behulp van standaard smartphones (Oppo Reno 6 Pro, iPhone 12 & 13) onder daglichtomstandigheden.
   • Synthetische Data: Er is een aangepaste Python-gebaseerde tool met een Tkinter GUI ontwikkeld om semi-transparante scheurmaskers over hoogwaardige metselwerk-achtergrondafbeeldingen te leggen. Deze tool maakt gecontroleerde ruimtelijke plaatsing, willekeurige rotatie en schaalconsistentie mogelijk, waarbij de oorspronkelijke resolutie voor export behouden blijft.

2. Data-preprocessing:

   • Ruwe afbeeldingen werden in $224 \times 224$ patches geknipt om de resolutie te standaardiseren.
   • Ground-truth maskers werden gemaakt via pixel-gewijze annotatie.
   • Data-augmentatie (flips en $90^\circ$ rotaties) werd toegepast om de trainingsset uit te breiden.
   • Afbeeldingen werden genormaliseerd met behulp van ImageNet-statistieken om compatibiliteit met pre-trained backbones te garanderen.

3. Modelarchitectuur:

   • De studie maakte gebruik van de U-Net encoder-decoder architectuur met skip-verbindingen.
   • Zeven verschillende backbone-architecturen werden geëvalueerd: Custom U-Net, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4 en DeepLabV3.
   • De meeste backbones maakten gebruik van pre-trained gewichten.

4. Experimentele Opzet:

   • De realistische dataset werd gesplitst in trainings (60%), validatie (20%) en testsets (20%).
   • Synthetische data werd alleen geïntroduceerd in de trainingsset van het best presterende model.
   • Drie loss-functies werden getest: F1-Loss, Focal Loss, en een combinatie van Cross-Entropy en Dice Loss (CED).
   • De training werd beperkt tot 100 epochs met early stopping.

Belangrijkste Bijdragen

• Creatie van een Aangepaste Dataset: Het team heeft een specifieke dataset van metselwerk-scheurafbeeldingen verzameld en gelabeld, gekozen vanwege de complexiteit van het materiaal om de efficiëntie van DL rigoureus te testen.
• Synthetische Generatietool: De auteurs hebben een vereenvoudigde, aangepaste beeldverwerkingmethode ontwikkeld die scheurmaskers over metselwerktexturen legt. In tegenstelling tot complexe GANs of 3D-rendering, maakt deze benadering gecontroleerde insertie van scheuren met specifieke parameters mogelijk.
• Evaluatie van Dataverhoudingen: De studie stelt een evaluatiekader voor om de minimale hoeveelheid realistische data te bepalen die nodig is wanneer deze wordt aangevuld met synthetische data om de prestaties van een realistische data-only baseline te evenaren of te overtreffen.

Resultaten

De experimenten werden uitgevoerd in twee fasen:

1. Modelselectie: Gebruikmakend van alleen realistische data werden verschillende U-Net architecturen vergeleken. InceptionV4 bleek het best presterende model, met een F1-score van 74,7% en een mean IoU van 78,69% (gebruikmakend van F1-Loss). Dit model diende als baseline voor de daaropvolgende experimenten.

2. Balans tussen Synthetische en Realistische Data: Het InceptionV4-model werd opnieuw getraind met variërende ratio's van synthetische versus realistische data (van 100% synthetisch tot 100% realistisch).

   • 100% Synthetisch: Presteerde slecht (31,6% F1, 57,68% mIoU) vanwege de domeinkloof tussen synthetische training en realistische tests.
   • 20/80 Scenario (20% Synthetisch / 80% Realistisch): Deze configuratie leverde de hoogste prestaties op, met een F1-score van 76,82% en een mean IoU van 80,36%.
   • 80/20 Scenario (80% Synthetisch / 20% Realistisch): Dit scenario behaalde resultaten die vergelijkbaar zijn met de realistische data-only baseline, met een F1-score van 73,48% en een mean IoU van 78,17%.

De resultaten wijzen uit dat trainen op synthetische data gecombineerd met een bescheiden toevoeging van realistische data (20%) de prestaties kan verbeteren van trainen op enkel realistische data. Omgekeerd kan een dataset bestaande uit 80% synthetische en 20% realistische data de prestaties van een 100% realistische dataset evenaren.

Betekenis en Claims

Het artikel claimt dat de voorgestelde methode het potentieel aantoont van synthetische data om de inspanning die nodig is voor dataverzameling en -labeling aanzienlijk te verminderen, terwijl de nauwkeurigheid van scheurdetectie wordt verbeterd. Door gebruik te maken van een eenvoudige overlay-tool in plaats van complexe generatieve modellen, laten de auteurs zien dat een gebalanceerde combinatie van realistische en synthetische data de segmentatiemetrieken (F1-score en mIoU) kan verbeteren ten opzichte van het exclusief gebruiken van realistische data. Specifiek benadrukt de studie dat het 20/80 scenario (synthetisch/realistisch) niet alleen de realistische data-only baseline evenaart, maar deze zelfs licht overtreft, wat suggereert dat synthetische data effectief kan dienen als augmentatie voor beperkte realistische datasets voor taken met de detectie van scheuren in metselwerk.