Résumé technique : Sélection par distillation de mémoire pour la détection d'anomalies robuste au bruit

Énoncé du problème

Dans la fabrication industrielle, les systèmes de détection d'anomalies (AD) basés sur la vision sont essentiels pour le contrôle qualité. Ces systèmes sont généralement entraînés en supposant que l'ensemble de données d'entraînement est composé exclusivement d'échantillons normaux (sans défauts). Cependant, dans des scénarios réels, la création d'ensembles d'entraînement parfaitement propres est coûteuse et souvent peu pratique ; le filtrage manuel néglige inévitablement une fraction non négligeable d'échantillons anormaux, entraînant une contamination des données.

Les méthodes existantes pour la détection d'anomalies dans des conditions bruyantes souffrent d'une dégradation significative des performances à mesure que le ratio de bruit augmente. Les approches actuelles reposent généralement sur des hypothèses fortes, telles que :

1. Des propriétés statistiques spécifiques des données d'entraînement (par exemple, des priors unimodaux).
2. Une connaissance préalable du ratio d'anomalies dans l'ensemble d'entraînement.
3. Une connaissance de la plage de scores pour les échantillons anormaux.

Ces dépendances nécessitent un réglage spécifique aux hyperparamètres de l'ensemble de données et échouent souvent lorsque les niveaux de bruit s'écartent des plages attendues. De plus, de nombreuses méthodes existantes manquent de la capacité d'effectuer une localisation fine des défauts au niveau des pixels sous une contamination sévère.

Méthodologie : Sélection par distillation de mémoire (MeDS)

Les auteurs proposent la Sélection par distillation de mémoire (MeDS), un cadre d'entraînement conçu pour maintenir des performances robustes à travers divers ratios de bruit, tant pour la détection au niveau de l'image que pour la localisation au niveau des pixels, sans nécessiter de réglage d'hyperparamètres spécifique au ratio de bruit. La méthode se déroule en trois phases séquentielles :

1. Construction de mémoire par bootstrap (Filtrage grossier)

La première phase construit un ensemble de banques de mémoire partielles par sous-échantillonnage aléatoire des caractéristiques au niveau des patches extraites des données d'entraînement.

• Mécanisme : Au lieu d'utiliser une seule banque de mémoire complète, MeDS crée $B$ mémoires partielles ($M_b$), chacune contenant un sous-ensemble aléatoire de caractéristiques avec un ratio de sous-échantillonnage $\rho$ (par exemple, 0,1).
• Base théorique : Les auteurs démontrent théoriquement que le sous-échantillonnage sparse agit comme un filtre passe-bas. Sous des ratios de sous-échantillonnage appropriés, l'écart de distance attendu entre les caractéristiques normales et anormales est maximisé. La moyenne d'ensemble de ces mémoires sparse réduit la variance et isole les motifs nominaux, atténuant efficacement les échantillons contaminés à un niveau grossier.
• Sortie : Un score d'anomalie d'ensemble $s_M(x)$ qui fournit une séparation robuste et grossière entre les patches normales et anormales.

2. Distillation des scores de mémoire (Initialisation)

La deuxième phase aborde la limitation selon laquelle les scores de mémoire reposent uniquement sur des caractéristiques figées et préentraînées, qui peuvent ne pas capturer suffisamment les motifs d'anomalies spécifiques au domaine.

• Mécanisme : Un réseau étudiant (réseau de score de reconstruction) est entraîné par distillation dans l'espace des scores. L'étudiant apprend à minimiser la distance L2 entre ses propres scores de reconstruction ($s_\theta$) et les scores de mémoire d'ensemble ($s_M$).
• Avantage : Ce processus exploite le phénomène d'apprentissage précoce des réseaux de neurones, où les réseaux s'adaptent aux motifs dominants (données normales) avant de mémoriser les rares (bruit). La distillation initialise le réseau étudiant avec un modèle qui a déjà appris à séparer les motifs normaux des motifs anormaux, débruitant efficacement les scores de mémoire.

3. Affinage par sélection progressive (Raffinement)

La troisième phase résout le compromis entre l'arrêt précoce (qui préserve la robustesse mais limite la précision au niveau des pixels) et l'entraînement prolongé (qui risque le surapprentissage au bruit).

• Mécanisme : Le réseau étudiant est affiné sur un sous-ensemble auto-sélectionné des données d'entraînement ($S_t$).
• Critère de sélection : À chaque époque, les échantillons sont sélectionnés selon un critère $\eta_t(x)$ qui interpole entre les scores distillés initiaux et les scores de reconstruction actuels. Un seuil $\tau_t$, dérivé de la médiane et de la déviation absolue médiane (MAD) des scores, est utilisé pour filtrer les échantillons à score élevé (probablement anormaux).
• Assouplissement progressif : Le seuil de sélection est progressivement assoupli au cours des itérations d'entraînement, permettant au modèle d'intégrer davantage d'échantillons normaux à mesure que ses propres estimations de scores deviennent plus fiables. Cela crée une boucle de rétroaction positive, permettant un entraînement prolongé pour une localisation fine sans surapprentissage au bruit restant.

Contributions clés

1. Algorithme résistant à la contamination : L'introduction de MeDS, qui exploite la parcimonie des ensembles de mémoire bootstrap comme filtre passe-bas pour isoler les motifs nominaux, suivie d'un raffinement par distillation et sélection itérative autonome.
2. Validation empirique complète : Des expériences extensives sur trois benchmarks industriels (MVTecAD, VisA, Real-IAD) sous divers ratios de bruit, incluant des études d'ablation disséquant le rôle de chaque composant et des analyses de sensibilité aux hyperparamètres.
3. Insights théoriques et pratiques : Une preuve théorique démontrant comment le sous-échantillonnage de mémoire à faible ratio produit un point de départ à haut rappel sous forte contamination, ainsi qu'une démonstration de l'utilité de MeDS pour la correction active des étiquettes (identification et suppression efficace des échantillons contaminés avec un effort humain minimal).

Résultats expérimentaux

MeDS a été évalué sur MVTecAD, VisA et Real-IAD avec des ratios de bruit allant de 0 % à 40 %.

• Robustesse : Contrairement aux lignes de base (par exemple, SoftPatch, InReaCh, FUN-AD) qui montrent des baisses de performances significatives à mesure que le bruit augmente, MeDS maintient des performances stables à tous les niveaux de bruit.
• Performances :
  • Sur MVTecAD, MeDS a atteint 99,16 % d'AUROC au niveau de l'image à un ratio de bruit de 40 %, surpassant significativement les lignes de base de l'état de l'art.
  • Sur VisA et Real-IAD, MeDS a établi des performances de l'état de l'art tant pour les métriques au niveau de l'image que pour celles au niveau des pixels dans des conditions bruyantes.
  • Lorsqu'il est appliqué comme cadre à d'autres lignes de base (HVQ, Dinomaly, INP-Former), MeDS améliore constamment la robustesse sous contamination tout n'entraînant qu'une dégradation marginale sur des données propres.
• Correction active des étiquettes : Dans des expériences en boucle humaine, MeDS a démontré une qualité de classement supérieure (AUPRC) et une réduction de la profondeur d'inspection, permettant aux annotateurs d'identifier tous les échantillons contaminés en examinant une fraction significativement plus petite de l'ensemble de données par rapport aux méthodes classiques.

Importance et revendications

L'article revendique que MeDS représente une formulation systématique de la sélection progressive basée sur la distillation de mémoire, conçue spécifiquement pour la détection d'anomalies industrielle. Son importance principale réside dans :

• L'élimination du besoin de réglage spécifique au ratio de bruit : La méthode atteint une robustesse sur une large gamme de niveaux de contamination sans nécessiter la connaissance du ratio de bruit.
• Le comblement du fossé entre robustesse et précision : En passant du filtrage passe-bas à l'affinage avec sélection de données, MeDS atteint à la fois une détection au niveau de l'image élevée et une segmentation précise au niveau des pixels, une capacité souvent absente des méthodes existantes robustes au bruit.
• Utilité pratique : Au-delà de la détection automatisée, le cadre sert d'outil pratique pour la curation d'ensembles de données, permettant l'identification et la suppression efficaces des échantillons contaminés dans des contextes industriels.

Les auteurs reconnaissent des limitations, notant que MeDS peut présenter des performances légèrement inférieures sur des ensembles de données entièrement propres par rapport à certaines lignes de base en raison du mécanisme de sélection basé sur la médiane, et qu'il engendre une surcharge de calcul supplémentaire pour les étapes de construction de mémoire et de distillation. Cependant, ces coûts sont justifiés dans des scénarios où les données d'entraînement sont susceptibles d'être contaminées.