💻 computer science

Advancing Metallic Surface Defect Detection via Anomaly-Guided Pretraining on a Large Industrial Dataset

Ce papier présente AGSSP (Anomaly-Guided Self-Supervised Pretraining), un nouveau cadre en deux étapes exploitant un nouvel ensemble de données industrielles de 120 000 images et des a priori d'anomalies pour surmonter les écarts de domaine et l'auto-supervision inefficace, améliorant ainsi considérablement les performances de détection des défauts de surface métallique par rapport à l'entraînement préalable basé sur ImageNet traditionnel.

Auteurs originaux : Chuni Liu, Hongjie Li, Jiaqi Du, Yangyang Hou, Qian Sun, Lei Jin, Ke Xu

Publié 2026-05-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chuni Liu, Hongjie Li, Jiaqi Du, Yangyang Hou, Qian Sun, Lei Jin, Ke Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un gardien de sécurité pour repérer de minuscules rayures sur une surface métallique brillante et complexe. C'est un travail difficile car le métal présente de nombreuses bosses, tourbillons et reflets naturels qui ressemblent beaucoup à des rayures.

Le Problème : Une Formation dans la "Mauvaise École"
Habituellement, pour entraîner un ordinateur à effectuer cette tâche, nous utilisons une méthode appelée "pré-entraînement". Imaginez cela comme envoyer l'ordinateur dans une école générale avant qu'il ne commence son travail spécifique.

L'Ancienne Méthode : La plupart des ordinateurs sont entraînés sur une immense bibliothèque de photos du quotidien (comme des chats, des voitures et des paysages). C'est comme envoyer votre gardien de sécurité dans une école pour gardiens de parc. Ils apprennent à repérer des arbres et des animaux, mais lorsqu'ils arrivent à l'usine métallique, ils sont perdus. L'"école" (ImageNet) ne leur a pas appris à quoi ressemble une rayure sur de l'acier.
L'Alternative Échouée : Certains chercheurs ont essayé d'entraîner l'ordinateur uniquement sur des photos d'usine sans étiquettes. Mais c'est comme dire au gardien : "Regardez simplement ces tôles et déduisez ce qui ne va pas." Sans un enseignant pointant les rayures, l'ordinateur se laisse distraire par les textures brillantes et le bruit, échouant à apprendre ce qu'est un vrai défaut.

La Solution : Le "Guide d'Anomalie"
Les auteurs de cet article ont créé une nouvelle méthode d'entraînement appelée AGSSP (Pré-entraînement Auto-supervisé Guidé par les Anomalies). Ils ont réalisé que l'ordinateur a besoin d'une "fiche triche" spécifique pour savoir où regarder.

Voici comment fonctionne leur camp d'entraînement en deux étapes :

Étape 1 : L'Enseignant "Carte Thermique" (Pré-entraînement du Squelette)
D'abord, ils ont utilisé un outil intelligent (appelé KeAD) pour scanner des milliers de photos de métal non étiquetées. Cet outil n'a pas besoin qu'un humain étiquette chaque rayure. Au lieu de cela, il utilise une astuce "few-shot" (quelques exemples) : vous lui montrez quelques exemples de ce à quoi ressemble une rayure, et il utilise ses connaissances du langage et des images pour deviner où se trouvent d'autres rayures.

La Métaphore : Imaginez un enseignant dessinant une carte thermique brillante et diffuse sur les photos de métal. Les taches rouges montrent où l'ordinateur pourrait trouver un défaut.
L'Entraînement : Ils ont ensuite entraîné le "cerveau" de l'ordinateur (le squelette) à concentrer son attention sur ces taches rouges brillantes. Même si la carte thermique n'est pas parfaite, elle apprend à l'ordinateur à arrêter d'ignorer les endroits étranges et à commencer à y prêter attention.

Étape 2 : L'Entraîneur "Cadre" (Pré-entraînement du Détecteur)
Une fois que le cerveau est entraîné à regarder aux bons endroits, ils doivent apprendre à l'ordinateur à dessiner un cadre autour du défaut.

La Métaphore : En utilisant les mêmes cartes thermiques de l'Étape 1, ils ont automatiquement dessiné des cadres de délimitation autour des zones suspectes. Ils ont dit à l'ordinateur : "Traitez ces cadres comme s'il s'agissait de vrais défauts."
L'Entraînement : L'ordinateur a pratiqué le fait de dessiner des cadres autour de ces "pseudo-défauts". Cela garantit que lorsqu'il commencera enfin le vrai travail, il saura déjà comment encadrer un défaut, pas seulement le chercher.

Les Résultats : Un Gardien Surpuissant
Les auteurs ont testé cela sur un vaste ensemble de données de 120 000 images industrielles (le plus grand de son genre qu'ils aient pu trouver).

Le Résultat : Lorsqu'ils ont testé leurs nouveaux "diplômés" sur de vrais ensembles de données de défauts métalliques, ils ont écrasé la concurrence.
Les Chiffres : Comparés aux anciens modèles de "gardiens de parc" (entraînés sur ImageNet), leurs nouveaux modèles ont amélioré la précision de 10 % à 11 % au maximum. Dans les scénarios les plus difficiles (où il y a très peu d'exemples pour apprendre), l'amélioration a été encore plus spectaculaire, doublant parfois le taux de réussite.
Polyvalence : Cette méthode a bien fonctionné sur différents types de métaux (tuyaux en acier, billettes de fonderie) et même sur des surfaces non métalliques comme le tissu, prouvant que la stratégie de "carte thermique" est une clé universelle pour trouver des défauts.

En Bref
Au lieu de deviner à quoi ressemble un défaut ou d'entraîner sur le mauvais type de données, cet article fournit à l'ordinateur un guide intelligent et automatisé (la carte d'anomalie) qui met en évidence les points problématiques. En apprenant à l'ordinateur à se concentrer d'abord sur ces points, puis à les encadrer, ils ont créé un détecteur de défauts beaucoup plus précis et fiable. Ils ont également rendu toutes leurs données et leur code publics afin que d'autres puissent utiliser cette "fiche triche" pour construire de meilleurs inspecteurs industriels.

Résumé Technique : Avancer la Détection des Défauts de Surfaces Métalliques via un Préentraînement Guidé par l'Anomalie

1. Énoncé du Problème

La détection des défauts de surfaces métalliques est cruciale pour le contrôle qualité industriel, mais elle fait face à des défis sévères dus à la rareté des données et à une grande variabilité. Dans des scénarios réels, tels que la production de tuyaux en acier, les défauts constituent souvent moins de 0,1 % des images quotidiennes, entraînant un déséquilibre de classes extrême et une collecte de données coûteuse.

Les solutions existantes font face à un « dilemme critique » :

Préentraînement sur Images Naturelles : Les modèles préentraînés sur de grands ensembles de données naturels (par exemple, ImageNet, COCO) souffrent d'un écart de domaine significatif lorsqu'ils sont appliqués à des images industrielles.
Apprentissage Auto-supervisé (SSL) Naïf : Les méthodes SSL standard (apprentissage contrastif ou reconstruction) appliquées à des données industrielles du domaine échouent souvent. Les objectifs d'apprentissage existants peinent à distinguer les motifs de défauts subtils et à faible contraste du bruit de fond complexe, des textures et de l'éclairage variable. Par conséquent, l'agrandissement simple des ensembles de données du domaine sans guidance spécifique produit des résultats sous-optimaux, surpassant parfois les bases ImageNet.
Initialisation du Détecteur : La plupart des approches SSL ne préentraînent que l'épine dorsale (backbone) du modèle, laissant la tête de détection (cou et tête) initialisée aléatoirement. Ce désalignement dégrade les performances, en particulier dans les scénarios à rareté de données.

2. Méthodologie : Préentraînement Auto-supervisé Guidé par l'Anomalie (AGSSP)

Les auteurs proposent AGSSP, un paradigme de préentraînement en deux étapes novateur qui guide explicitement l'apprentissage de représentations en utilisant des a priori d'anomalie. Le cadre fonctionne sur un ensemble de données industriel non étiqueté à grande échelle (120 000 images, 61 catégories) et se compose de trois composants principaux :

A. Détection d'Anomalie Améliorée par la Connaissance (KeAD)

Pour générer les signaux de supervision nécessaires (cartes d'anomalie) sans étiquettes manuelles, les auteurs ont développé KeAD, une méthode non supervisée basée sur le modèle WinCLIP à quelques exemples et multimodal.

Ingénierie des Prompts : Contrairement aux prompts génériques (par exemple, « Endommagé »), KeAD utilise des descriptions textuelles détaillées et spécifiques aux défauts, générées via GPT-4o et affinées par des connaissances expertes (par exemple, « Une photo de {objet} avec un défaut de type {type de défaut}, il apparaît comme {caractéristiques du défaut} »).
Amélioration Visuelle : Pour améliorer la localisation spatiale, la méthode intègre Clip Surgery (attention V-V), qui remplace les composants Query et Key par des composants Value dans le mécanisme d'attention. Cela capture l'information spatiale locale plus efficacement que l'approche par fenêtre glissante de WinCLIP.
Sortie : KeAD génère des cartes thermiques d'anomalie au niveau des pixels (modes zero-shot et few-shot) indiquant les régions potentielles de défauts.

B. Étape 1 : Préentraînement de l'Épine Dorso Guidé par la Carte d'Anomalie (AGBP)

Cette étape distille les connaissances des cartes d'anomalie générées dans l'épine dorsale du modèle.

Perte de Distillation : Les cartes de caractéristiques de haut niveau de l'épine dorsale sont alignées avec les cartes d'anomalie en utilisant une perte L2 (pour les architectures ViT) ou une perte de distance cosinus (pour les architectures hétérogènes comme ResNet).
Stratégie : Les caractéristiques de bas niveau sont conservées à partir des modèles préentraînés standard sur ImageNet (car elles capturent des motifs universels), tandis que les caractéristiques de haut niveau sont guidées par les cartes d'anomalie pour se concentrer sur les régions saillantes des défauts.
Intégration : Cette perte de distillation ( $L_{distill}$ ) est combinée aux tâches de préentraînement existantes (par exemple, classification, MoCov3, SimMIM) via une somme pondérée ( $L_{total} = L_{distill} + \lambda L_{task}$ ).

C. Étape 2 : Préentraînement du Détecteur Guidé par la Boîte d'Anomalie (AGDP)

Cette étape adresse le désalignement de la tête de détection en la préentraînant à l'aide de pseudo-étiquettes dérivées des cartes d'anomalie.

Génération de Pseudo-Boîtes : Les images avec des scores d'anomalie élevés sont identifiées. Une stratégie de seuillage dynamique (adaptée par catégorie d'objet) convertit les cartes d'anomalie en masques binaires. Les composantes connectées sont extraites, et les 10 premières boîtes englobantes avec les scores d'anomalie les plus élevés sont conservées comme pseudo-étiquettes de défaut.
Entraînement : Le détecteur (cou et tête) est entraîné sur ces pseudo-boîtes tandis que l'épine dorsale reste figée. Cela permet au modèle d'apprendre le concept d'« objets anormaux » et aligne les composants de détection avec la tâche en aval.

3. Contributions Clés

Cadre AGSSP : Un paradigme de préentraînement en deux étapes qui utilise des cartes d'anomalie pour aligner holistiquement à la fois la représentation de l'épine dorsale et l'alignement de la tâche de détection, améliorant considérablement les performances dans des contextes à rareté de données.
Méthode KeAD : Une technique de détection d'anomalie améliorée par la connaissance qui exploite des descriptions détaillées des défauts et une attention V-V pour générer des cartes d'anomalie de haute qualité pour un préentraînement guidé, atteignant de solides performances en few-shot.
Ensemble de Données à Grande Échelle : La collecte et la publication d'un ensemble de données industriel non étiqueté à grande échelle contenant 120 000 images réparties sur 61 catégories, ainsi que deux petits ensembles de données de défauts de surfaces métalliques étiquetés au niveau des pixels (Casting Billet et Steel Pipe) pour validation.
Validation Complète : Des expériences extensives démontrant que AGSSP surpasse les bases ImageNet et COCO sur plusieurs épine dorsales (CSPDarknet, ResNet, Swin-Base) et détecteurs (YOLOv8, Faster R-CNN, DINO).

4. Résultats Expérimentaux

Les auteurs ont évalué AGSSP sur quatre ensembles de données de défauts de surfaces métalliques (Casting Billet, Steel Pipe, GC10-Mini, GC10-DET) et un ensemble de données non métallique (Fabric Defects).

Gains de Performance : AGSSP a amélioré de manière constante les métriques de détection. Par rapport aux modèles basés sur ImageNet, il a atteint une amélioration allant jusqu'à 10 % du mAP@0.5 et 11,4 % du mAP@0.5:0.95.
Apprentissage Few-Shot : Dans le scénario extrême few-shot (Casting Billet-Mini50, 50 échantillons d'entraînement), AGSSP a produit un gain massif de +41,0 % du mAP@0.5 et +24,5 % du mAP@0.5:0.95 par rapport à la base SimMIM.
Généralisation Transversale : Sur l'ensemble de données non métallique Fabric Defects, AGSSP a amélioré les performances de +3,2 % (mAP@0.5) et +5,2 % (mAP@0.5:0.95), démontrant une généralisabilité robuste.
Études d'Ablation :
- KeAD : Les descriptions détaillées des défauts et l'attention V-V ont considérablement amélioré la précision de la détection d'anomalies (par exemple, 93,5 % d'AUC image-level sur Steel Pipe).
- Stratégie de Préentraînement : Le préentraînement de l'épine dorsale et du détecteur (AGSSP) a constamment surpassé le préentraînement de l'épine dorsale seule (AGBP) ou les méthodes SSL standard.
- Efficacité : La méthode maintient des capacités d'inférence en temps réel (par exemple, YOLOv8s avec AGSSP atteint 94,5 FPS) tout en égalant ou dépassant la précision de modèles plus grands comme YOLOv12s.

5. Signification et Revendications

L'article revendique que AGSSP résout l'écart de domaine et le désalignement des objectifs inhérents aux stratégies de préentraînement actuelles pour la détection de défauts industriels. En guidant explicitement le modèle à se concentrer sur les régions anormales grâce à une approche unifiée et guidée par l'anomalie, la méthode permet l'apprentissage de représentations robustes et pertinentes pour le domaine sans nécessiter d'annotations coûteuses de boîtes englobantes pendant la phase de préentraînement.

Les auteurs soulignent que, bien que le SSL standard du domaine échoue souvent en raison de l'incapacité à distinguer les défauts subtils du bruit, leur approche guidée par l'anomalie dirige avec succès l'attention du modèle vers les caractéristiques saillantes des défauts. Le cadre est présenté comme agnostique à l'architecture et capable d'être intégré avec des architectures spécialisées existantes, offrant une solution évolutive pour le contrôle qualité industriel où les données sont rares et déséquilibrées.

Disponibilité : Tout le code, les modèles préentraînés et les ensembles de données sont disponibles publiquement sur la page du projet fournie dans l'article.