💻 computer science

Boxes2Pixels: Learning Defect Segmentation from Noisy SAM Masks

Le papier propose Boxes2Pixels, un cadre d'apprentissage robuste au bruit qui transforme les masques pseudo-générés par SAM en annotations fiables pour la segmentation de défauts industriels, en traitant SAM comme un enseignant imparfait et en utilisant une correction automatique en ligne pour améliorer significativement la détection des anomalies avec moins de paramètres.

Auteurs originaux : Camile Lendering, Erkut Akdag, Egor Bondarev

Publié 2026-04-15

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Camile Lendering, Erkut Akdag, Egor Bondarev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏭 Le Problème : Inspecter des éoliennes sans trop de détails

Imaginez que vous devez inspecter des milliers d'ailes d'éoliennes pour trouver des fissures ou de la saleté. C'est vital pour la sécurité, mais c'est aussi un travail de fou.

Pour entraîner un ordinateur à faire ce travail, il faut lui montrer des milliers d'exemples. Le problème ?

Les étiquettes parfaites (pixel par pixel) coûtent une fortune : Demander à un humain de colorier chaque pixel d'une fissure sur chaque photo prendrait des années.
Les boîtes sont trop vagues : On peut facilement dire à l'ordinateur : "Il y a un défaut ici" en dessinant un simple rectangle (une boîte) autour de la zone. C'est rapide et pas cher. Mais un rectangle ne dit pas où exactement commence et finit la fissure.

🤖 La Solution "Magique" (mais imparfaite) : SAM

Les chercheurs ont eu une idée : utiliser un super-intelligence artificielle récente appelée SAM (Segment Anything Model).

L'idée : On donne à SAM le rectangle, et il devine automatiquement la forme exacte de la fissure.
Le hic : SAM est comme un artiste très doué mais un peu paranoïaque et distrait.
- Parfois, il voit des ombres ou des textures de surface comme des fissures (fausses alarmes).
- Parfois, il ignore les petites fissures fines qu'il voit à l'intérieur du rectangle (il les rate).

Si on entraîne un ordinateur directement avec les dessins de SAM, il va apprendre ses erreurs. Il deviendra aussi paranoïaque et distrait que SAM.

🚀 La Solution "Boxes2Pixels" : L'élève qui corrige le maître

C'est là que l'équipe de l'université de Eindhoven propose Boxes2Pixels. Imaginez une relation entre un Professeur (SAM) et un Élève (le modèle final).

1. Le Professeur est un peu "bruyant"

Le Professeur (SAM) donne ses réponses (les masques) à l'Élève. Mais on sait qu'il fait des erreurs systématiques. Au lieu de dire "Le Professeur a toujours raison", l'Élève apprend à dire : "Attends, je suis très sûr de moi sur ce point, je vais ignorer ce que le Professeur a dit ici."

2. L'Élève a deux cerveaux (Architecture Hiérarchique)

Pour ne pas se perdre, l'Élève est construit avec deux parties qui travaillent ensemble :

Le Cerveau Global (DINOv2) : C'est un expert qui a lu des millions de livres. Il comprend la "sémantique" (ce qu'est un objet, une ombre, une texture). Il est très stable et ne panique pas face aux détails bizarres. Il aide l'élève à ne pas confondre une ombre avec une fissure.
Le Cerveau Local (CNN) : C'est un inspecteur de terrain avec une loupe. Il regarde les détails fins, les petites lignes et les textures. Il s'assure que les fissures fines ne sont pas effacées par le Cerveau Global.

Ces deux cerveaux fusionnent leurs idées pour donner une réponse précise.

3. L'arme secrète : La "Correction en Direct"

C'est la partie la plus intelligente. Pendant l'apprentissage, si l'Élève voit une zone que le Professeur a marquée "propre" (pas de défaut), mais que l'Élève est extrêmement sûr (à 99%) qu'il y a une fissure, il a le droit de se corriger lui-même !

Analogie : Imaginez un professeur qui dit "Ce mot est bien écrit". L'élève regarde, voit une faute évidente, et dit : "Non, Professeur, je suis sûr qu'il y a une faute ici, je vais le corriger."
Cela permet de récupérer les défauts que le Professeur (SAM) a manqués, sans pour autant inventer des défauts là où il n'y en a pas.

🏆 Les Résultats : Pourquoi c'est génial ?

Sur un vrai jeu de données d'éoliennes :

Moins d'erreurs : L'élève trouve beaucoup plus de fissures réelles que les méthodes classiques (qui suivent aveuglément les boîtes ou SAM).
Plus de sécurité : Il rattrape les défauts manqués (ce qui est crucial pour éviter les accidents).
Économie d'énergie : L'élève est beaucoup plus léger et rapide que le Professeur. Il utilise 80 % de paramètres en moins, ce qui signifie qu'on peut l'installer sur des ordinateurs moins puissants et le faire tourner en temps réel.

🎯 En résumé

Boxes2Pixels, c'est comme donner un manuel d'instructions imparfait (les boîtes et les dessins de SAM) à un stagiaire très intelligent. Au lieu de le laisser copier bêtement les erreurs du manuel, on lui apprend à :

Utiliser son bon sens (le cerveau global).
Regarder de très près (le cerveau local).
Oser contredire le manuel quand il est absolument certain d'avoir raison (la correction automatique).

Le résultat ? Un système de surveillance industriel qui est à la fois plus précis, plus sûr et moins cher à déployer.

1. Problématique et Contexte

L'inspection visuelle des infrastructures critiques (comme les pales d'éoliennes) est essentielle pour la maintenance prédictive. Cependant, le déploiement de systèmes automatisés est freiné par la rareté des annotations pixel par pixel de haute qualité, qui sont coûteuses et nécessitent une expertise métier.

Solution actuelle : L'utilisation de boîtes englobantes (bounding boxes) comme supervision faible, souvent converties en masques pseudo-étiquetés via des modèles de fondation comme SAM (Segment Anything Model).
Limitation majeure : Sur des surfaces industrielles complexes, les masques générés par SAM sont systématiquement bruyants. Ils ont tendance à :
- Halluciner des structures d'arrière-plan (ombres, textures) comme des défauts (faux positifs).
- Manquer des défauts fins, peu contrastés ou dispersés à l'intérieur des boîtes (faux négatifs).
Objectif : Développer un cadre d'apprentissage capable de transformer ces annotations de boîtes bruyantes en une segmentation de défauts précise et robuste, sans nécessiter SAM lors de l'inférence.

2. Méthodologie : Le Framework Boxes2Pixels

Les auteurs proposent Boxes2Pixels, un cadre de distillation axé sur les données qui traite SAM non pas comme une source de vérité terrain, mais comme un enseignant bruyant.

A. Architecture de l'Élève (Student Network)

L'architecture est hiérarchique et conçue pour combiner la stabilité sémantique et le détail spatial :

Branche Sémantique Globale : Utilise les caractéristiques de DINOv2 (ViT-S/14) qui sont gelées (frozen). Seuls les biais et les paramètres de normalisation sont optimisés via une adaptation de type BitFit. Cela assure une stabilité sémantique et réduit le surapprentissage aux artefacts du bruit.
Branche de Détail Local : Un réseau CNN léger extrait des caractéristiques spatiales fines directement à partir de l'image RGB pour capturer les structures haute fréquence (fissures fines) que les transformers peuvent lisser.
Fusion : Les caractéristiques des deux branches sont fusionnées via un bloc "Feature Mixer" avant d'être envoyées à deux têtes de prédiction.

B. Têtes de Prédiction et Objectifs d'Entraînement

Le modèle possède deux têtes distinctes pour découpler la localisation de la classification :

Tête Binaire (Localisation) : Prédit la présence d'un défaut (avant-plan) vs l'arrière-plan. Elle est entraînée avec une perte Dice Asymétrique qui pénalise moins les faux positifs pour favoriser le rappel (recall), crucial pour ne pas manquer de défauts.
Tête Sémantique Fine (Classification) : Prédit les classes spécifiques (ex: dommage, saleté). Elle utilise une perte d'entropie croisée pondérée.

C. Mécanisme d'Auto-Correction en Ligne (One-Sided Self-Correction)

C'est l'innovation clé pour gérer le bruit systématique :

Principe : Le modèle permet à l'élève de corriger les étiquettes de l'enseignant (SAM) uniquement lorsque l'élève est très confiant dans la prédiction d'un défaut, alors que le masque pseudo-étiqueté indique un arrière-plan.
Logique : Si $y_{pseudo} = 0$ (arrière-plan) mais que la probabilité du modèle pour une classe de défaut est supérieure à un seuil $\tau$ (ex: 0.9), l'étiquette est corrigée en ligne.
Avantage : Cela permet de récupérer les défauts manqués par SAM ou absents des boîtes d'annotation, sans dériver sémantiquement (drift) en acceptant n'importe quelle prédiction.

3. Contributions Clés

Pipeline de distillation centré sur les données : Une méthode pour apprendre une segmentation pixel par pixel à partir de boîtes d'annotation en utilisant des pseudo-étiquettes de modèles de fondation bruyantes.
Architecture Élève Hiérarchique : Combinaison de DINOv2 gelé (pour la stabilité) et d'un CNN léger (pour le détail), couplée à une perte de correction asymétrique pour résister au bruit systématique.
Validation Rigoureuse : Évaluation sur un jeu de données d'inspection d'éoliennes annoté manuellement au niveau pixel, démontrant une robustesse supérieure par rapport aux architectures standards (U-Net, SegFormer) entraînées dans les mêmes conditions faibles.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données d'inspection d'éoliennes (environ 13 000 images) avec des annotations de boîtes uniquement pour l'entraînement.

Performance Globale : Boxes2Pixels dépasse tous les baselines (U-Net, DeepLabV3, SegFormer) entraînés avec la même supervision faible.
- Amélioration du mIoU des anomalies (défauts uniquement) de +6,97 % par rapport au meilleur baseline (SegFormer).
- Amélioration du IoU binaire de +9,71 %.
Impact de l'Auto-Correction : L'activation de la correction en ligne augmente considérablement le rappel binaire (Recall) de +18,56 %, prouvant sa capacité à récupérer les défauts manqués par l'enseignant.
Efficacité et Efficience :
- Le modèle utilise 80 % de paramètres en moins (5,6 M de paramètres entraînables contre 20-27 M pour les baselines) grâce au gel de DINOv2 et à l'adaptation BitFit.
- Il atteint un débit temps réel de 161,4 FPS sur une carte NVIDIA H100, avec une latence inférieure à 6,2 ms.

5. Signification et Impact

Ce travail démontre que dans les environnements industriels où les annotations sont rares et les modèles de fondation imparfaits, la manière dont on utilise les pseudo-étiquettes pendant l'entraînement est plus critique que la qualité de leur génération.

Pratique : La méthode permet un déploiement industriel viable grâce à sa faible empreinte computationnelle et sa capacité à fonctionner sans annotations pixel par pixel coûteuses.
Théorique : Elle propose une nouvelle approche de l'apprentissage avec bruit de labels, en se concentrant sur la correction contrôlée des faux négatifs plutôt que sur le simple rejet des données bruyantes.

En résumé, Boxes2Pixels transforme une supervision faible et bruyante (boîtes + SAM) en un outil de segmentation de défauts précis, robuste et économe en ressources, répondant directement aux besoins de l'inspection industrielle à grande échelle.