💻 computer science

Balancing Real and Synthetic Data for CNN-based Masonry Crack Detection

Cet article démontre que la combinaison d'images synthétiques de fissures de maçonnerie avec une quantité modeste de données réelles (spécifiquement un ratio de 80 % de synthétique et 20 % de réel) améliore considérablement les performances des modèles de détection de fissures basés sur les CNN, atteignant des scores F1 et des mIoU plus élevés qu'un entraînement sur des données réelles seules.

Auteurs originaux : Mattia Forlesi, Alfonso Esposito, Ivan Zyrianoff, Alessandro Marzani, Marco Di Felice

Publié 2026-06-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mattia Forlesi, Alfonso Esposito, Ivan Zyrianoff, Alessandro Marzani, Marco Di Felice

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment repérer les fissures dans de vieux murs en briques. C'est un travail crucial car les fissures sont comme les « fièvres » d'un bâtiment ; les repérer tôt empêche le bâtiment de tomber malade ou, pire encore, de s'effondrer.

Habituellement, pour apprendre à un robot (plus précisément à un type d'IA appelé Réseau de Neurones Convolutifs, ou CNN), vous devez lui montrer des milliers de photos de vraies fissures. Mais voici le problème : trouver et photographier suffisamment de vraies fissures, c'est comme essayer de trouver une aiguille spécifique dans une botte de foin. Cela prend beaucoup de temps, coûte cher, et les photos que vous trouvez en ligne pourraient ne pas être assez bonnes pour que le robot apprenne correctement.

La Solution : Un « Photoshop » pour les fissures
Les chercheurs de cet article ont trouvé un contournement astucieux. Au lieu de simplement chasser de vraies fissures, ils ont construit un outil numérique qui agit comme un « fabricant d'autocollants ». Ils ont pris des photos de murs en briques normaux et sains et y ont « collé » numériquement des fissures au rendu réaliste. Cela a créé une immense bibliothèque d'images de fissures synthétiques (fausses mais réalistes).

L'Expérience : Mélanger le Réel et le Faux
L'équipe voulait voir si elle pouvait entraîner le robot en utilisant principalement ces fissures « autocollants » et seulement quelques-unes de réelles. Ils ont organisé un concours de cuisine avec six recettes différentes (scénarios d'entraînement) :

Recette A : 100 % de fissures réelles (la méthode traditionnelle).
Recette B : 100 % de fissures synthétiques.
Recettes C à F : Divers mélanges de Réel et de Synthétique (par exemple, 50/50, 20/80).

Ils ont utilisé un modèle d'IA spécifique nommé InceptionV4 (considérez cela comme le « cerveau » du robot) pour faire goûter ces recettes.

Les Résultats Surprenants
Voici ce qu'ils ont découvert, ce qui s'est avéré assez contre-intuitif :

Le désastre du « Tout Faux » : Lorsqu'ils ont essayé d'enseigner au robot uniquement avec des fissures synthétiques, il a échoué lamentablement. C'était comme apprendre à quelqu'un à conduire uniquement sur un jeu vidéo ; lorsqu'il se retrouvait sur une vraie route, il ne savait plus quoi faire. Le robot ne parvenait pas à faire la différence entre les fissures artificielles et les textures réelles du mur.
Le « Point d'Équilibre » : La magie a opéré lorsqu'ils ont mélangé les données. Le meilleur résultat est venu d'une recette de 80 % de fissures synthétiques et seulement 20 % de fissures réelles.
- Ce mélange a en fait obtenu de meilleurs résultats que l'entraînement avec 100 % de données réelles.
- Il a atteint un score de 76 % (F1-score) et de 80 % (Mean IoU), battant l'équipe « 100 % Réel » qui a obtenu environ 74 %.

Pourquoi cela importe
Pensez à l'apprentissage de la peinture. Si vous ne regardez que des chefs-d'œuvre (données réelles), vous apprenez beaucoup, mais c'est coûteux et difficile à obtenir. Si vous ne pratiquez que sur un écran d'ordinateur (données synthétiques), vous apprenez la théorie mais manquez de sensation. L'article montre que si vous passez la majeure partie de votre temps à pratiquer sur l'ordinateur (synthétique) et qu'un tout petit peu de temps à regarder les vrais chefs-d'œuvre (20 % de réel), vous finissez par être un meilleur peintre que si vous n'aviez regardé que les vrais.

L'Essentiel à Retenir
L'article conclut que vous n'avez pas besoin de passer des années à collecter des milliers de photos réelles pour construire un excellent système de détection de fissures. En utilisant un outil simple pour générer des fissures factices et en mélangeant une petite quantité de données réelles, vous pouvez construire un système qui est aussi bon, voire meilleur, pour trouver des fissures dans les murs de maçonnerie. Cela permet de gagner du temps et des efforts tout en maintenant la sécurité des bâtiments.

Résumé Technique : Équilibrer les données réelles et synthétiques pour la détection de fissures dans la maçonnerie basée sur les CNN

Énoncé du problème

L'identification des fissures dans les structures de maçonnerie est une composante critique de la surveillance de l'état de santé structurelle (SHM), servant d'indicateur précoce de la santé des bâtiments pour prévenir les dommages et les accidents. Bien que l'apprentissage profond (DL), spécifiquement les réseaux de neurones convolutifs (CNN) et la segmentation sémantique, offre des solutions évolutives pour la détection automatisée des fissures, ces modèles dépendent fortement de jeux de données larges et diversifiés. La collecte de données réelles suffisantes pour des surfaces complexes comme la maçonnerie est chronophage et exigeante en main-d'œuvre. De plus, les jeux de données disponibles publiquement manquent souvent de la spécificité requise pour une étude rigoureuse. Les méthodes existantes de génération de données synthétiques présentent des compromis : les réseaux antagonistes génératifs (GAN) peuvent produire des textures de haute fidélité mais manquent souvent de supervision par des experts du domaine, menant à des représentations de fissures irréalistes par rapport aux structures de fond, tandis que les approches de modélisation 3D nécessitent une expertise significative et peuvent manquer de raffinement esthétique.

Méthodologie

Les auteurs proposent un pipeline pour remédier à la rareté des données en générant des images de fissures synthétiques pour compléter un ensemble limité de données réelles. La méthodologie se compose de quatre étapes :

Acquisition des données :
- Données Réelles : Un jeu de données personnalisé d'images de fissures de maçonnerie a été collecté sur des bâtiments à Bologne et dans les environs en utilisant des smartphones standards (Oppo Reno 6 Pro, iPhone 12 & 13) sous des conditions de lumière du jour.
- Données Synthétiques : Un outil personnalisé basé sur Python avec une interface graphique Tkinter a été développé pour superposer des masques de fissures semi-transparents sur des images de fond de maçonnerie à haute résolution. Cet outil permet un placement spatial contrôlé, une rotation arbitraire et une cohérence d'échelle, préservant la résolution originale pour l'exportation.
Prétraitement des données :
- Les images brutes ont été découpées en patchs de $224 \times 224$ pour standardiser la résolution.
- Les masques de vérité terrain ont été créés via une annotation pixel par pixel.
- L'augmentation de données (renversements et rotations de $90^\circ$ ) a été appliquée pour élargir le jeu d'entraînement.
- Les images ont été normalisées en utilisant les statistiques d'ImageNet pour assurer la compatibilité avec les architectures de base pré-entraînées.
Architecture du modèle :
- L'étude a employé l'architecture encodeur-décodeur U-Net avec des connexions de saut (skip connections).
- Sept architectures de base différentes ont été évaluées : U-Net personnalisé, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4 et DeepLabV3.
- La plupart des architectures utilisaient des poids pré-entraînés.
Configuration expérimentale :
- Le jeu de données réel a été divisé en ensembles d'entraînement (60 %), de validation (20 %) et de test (20 %).
- Les données synthétiques ont été introduites uniquement dans l'ensemble d'entraînement du meilleur modèle performant.
- Trois fonctions de perte ont été testées : F1-Loss, Focal Loss, et une combinaison de Cross-Entropy et de Dice Loss (CED).
- L'entraînement a été limité à 100 époques avec un arrêt précoce (early stopping).

Principales contributions

Création d'un jeu de données personnalisé : L'équipe a collecté et étiqueté un jeu de données spécifique d'images de fissures de maçonnerie, choisi pour la complexité du matériau afin de tester rigoureusement l'efficacité du DL.
Outil de génération synthétique : Les auteurs ont développé une méthode de traitement d'image simplifiée et personnalisée qui superpose des masques de fissures sur des textures de maçonnerie. Contrairement aux modèles GAN ou au rendu 3D complexes, cette approche permet l'insertion contrôlée de fissures avec des paramètres spécifiques.
Évaluation des ratios de données : L'étude propose un cadre d'évaluation pour déterminer la quantité minimale de données réelles requise lorsqu'elles sont augmentées de données synthétiques pour atteindre ou dépasser la performance d'une référence basée uniquement sur des données réelles.

Résultats

Les expériences ont été menées en deux phases :

Sélection du modèle : En utilisant uniquement des données réelles, diverses architectures U-Net ont été comparées. InceptionV4 est apparue comme le modèle le plus performant, atteignant un score F1 de 74,7 % et un mIoU de 78,69 % (en utilisant la F1-Loss). Ce modèle a servi de référence pour les expériences suivantes.
Équilibre entre données synthétiques et réelles : Le modèle InceptionV4 a été réentraîné avec des ratios variables de données synthétiques par rapport aux données réelles (de 100 % de synthétiques à 100 % de réelles).
- 100 % Synthétique : Performance médiocre (31,6 % F1, 57,68 % mIoU) en raison du fossé de domaine entre l'entraînement synthétique et le test réel.
- Scénario 20/80 (20 % Synthétique / 80 % Réel) : Cette configuration a produit la performance la plus élevée, atteignant un score F1 de 76,82 % et un mIoU de 80,36 %.
- Scénario 80/20 (80 % Synthétique / 20 % Réel) : Ce scénario a obtenu des résultats comparables à la référence de données réelles uniquement, avec un score F1 de 73,48 % et un mIoU de 78,17 %.

Les résultats indiquent que l'entraînement sur des données synthétiques combinées à un ajout modeste de données réelles (20 %) peut surpasser l'entraînement sur des données réelles seules. Inversement, un ensemble de données composé de 80 % de synthétiques et 20 % de réelles peut égaler la performance d'un ensemble de données 100 % réelles.

Signification et affirmations

L'article affirme que la méthode proposée démontre le potentiel des données synthétiques pour réduire considérablement l'effort de collecte et d'étiquetage des données tout en améliant la précision de la détection des fissures. En utilisant un outil de superposition simple plutôt que des modèles génératifs complexes, les auteurs montrent qu'une combinaison équilibrée de données réelles et synthétiques peut améliorer les métriques de segmentation (score F1 et mIoU) par rapport à l'utilisation exclusive de données réelles. Plus précisément, l'étude souligne que le scénario 20/80 (synthétique/réel) non seulement égale, mais dépasse légèrement la performance de la référence de données réelles uniquement, suggérant que les données synthétiques peuvent efficacement augmenter les jeux de données réels limités pour les tâches de détection de fissures de maçonnerie.