When More References Hurt: Contamination-Aware DINOv2 Memory Banks for Few-Shot Steel Defect Detection

Dans les vastes usines vrombissantes où l'acier est laminé en feuilles fines et luisantes, la surface doit être impeccable. Même une minuscule rayure ou un creux microscopique peut ruiner un lot de métal destiné aux voitures ou aux appareils électroménagers. Depuis des décennies, les usines s'appuient sur des systèmes automatisés pour détecter ces défauts, mais apprendre à un ordinateur à les voir est une affaire délicate. Généralement, les ingénieurs montrent à la machine des milliers d'images d'acier parfait et des milliers d'autres d'acier présentant des fissures et des bosses spécifiques et étiquetées. L'ordinateur apprend à percevoir la différence. Cependant, dans le monde réel, les étiquettes parfaites sont coûteuses et lentes à produire. Les défauts sont rares, subtils et en constante évolution. Cela a conduit les chercheurs à une approche différente : au lieu d'apprendre à la machine à quoi ressemble un défaut, ils lui apprennent à quoi ressemble la « normalité ». Le système reçoit une bibliothèque d'exemples parfaits, et si une nouvelle pièce d'acier ne correspond pas à la bibliothèque, elle est signalée comme défectueuse. Cette méthode fonctionne magnifiquement lorsque la bibliothèque est parfaite, mais elle fait face à une vulnérabilité dangereuse : et si la bibliothèque elle-même était contaminée par des défauts cachés ?

C'est précisément le problème abordé par une équipe de chercheurs de l'Université de Padoue et de l'Université de Vienne. Ils ont étudié une technique moderne qui utilise un modèle d'intelligence artificielle pré-entraîné et puissant pour construire cette bibliothèque de patchs d'acier « normaux ». Le modèle décompose une image en milliers de petits carrés, ou patchs, et les stocke dans une banque de mémoire. Lorsqu'une nouvelle image arrive, le système compare ses patchs à la banque. Si un patch est trop différent de tout ce qui se trouve dans la banque, il est marqué comme un défaut. Le danger réside dans la manière dont la banque est construète. Dans une usine, il est facile de collecter des centaines d'images d'acier, mais il est difficile de vérifier que chaque pixel de chaque image est réellement parfait. Si un chercheur ajoute cent images non vérifiées à la banque, dans l'espoir de donner plus de variété au système, il pourrait accidentellement inclure des images présentant des défauts cachés. Le système, faisant confiance à sa nouvelle bibliothèque, apprendrait alors que ces défauts sont en réalité normaux, et il cesserait de les signaler. Les chercheurs se sont posé une question cruciale : pouvons-nous utiliser ces images non vérifiées en toute sécurité pour agrandir notre bibliothèque sans laisser entrer les mauvais patchs ?

Pour répondre à cela, l'équipe s'est tournée vers un ensemble de données d'images de bandes d'acier contenant quatre types de défauts. Ils ont commencé avec un petit ensemble d'images de confiance, garanties sans défaut. Ce petit ensemble a formé une mémoire « graine » (seed). Ils ont ensuite pris un ensemble plus large d'images non vérifiées — certaines contenant des défauts cachés — et ont tenté d'en extraire des patchs normaux utiles. Leur première tentative fut simple : ils ont ajouté chaque patch des images non vérifiées à la graine. Le résultat fut un désastre. Même si la majeure partie de l'acier dans ces images semblait correcte, les quelques défauts cachés suffirent à confondre le système. Lorsqu'ils ont mesuré la capacité du système à trouver des défauts, la performance a chuté de manière significative. En fait, ils ont découvert qu'en remplaçant seulement une infime fraction de la banque de mémoire par des patchs défectueux — moins de un pour cent — la précision du système chutait de plus d'un quart. Cela a prouvé que la pureté de la bibliothèque de référence est le facteur le plus important ; une bibliothèque plus grande remplie d'erreurs cachées est pire qu'une plus petite et propre.

Les chercheurs ont ensuite développé une méthode pour filtrer les images non vérifiées avant même qu'elles ne touchent la banque de mémoire. Ils ont utilisé les images de confiance comme étalon. Chaque patch des images non vérifiées était comparé à la graine. Si un patch paraissait très différent des exemples normaux de confiance, il était probablement un défaut et était écarté. Ils ont constaté qu'en rejetant simplement les vingt pour cent de patchs les plus différents de la graine de confiance, ils pouvaient éliminer la vaste majorité des défauts cachés. Ce processus, qu'ils ont appelé purification par élagage de distance (distance-trimmed purification), s'est révélé remarquablement efficace. Il a rejeté près de quatre-vingts pour cent des patchs anormaux cachés dans les images non vérifiées tout en conservant la grande majorité des bons patchs. Les patchs restants ont ensuite été fusionnés avec la graine et compressés dans une banque de mémoire finale de taille fixe, assurant une comparaison équitable avec les autres méthodes.

Les résultats ont montré que ce filtrage minutieux faisait toute la différence. Lorsque les chercheurs ont comparé leur banque filtrée à une banque construite en ajoutant simplement toutes les images non vérifiées, la version filtrée s'est avérée bien supérieure pour détecter les défauts. Elle a également surpassé une banque construite en supprimant aléatoirement des patchs, prouvant que l'amélioration provenait du filtrage intelligent et non du simple fait d'avoir moins d'images. Cependant, les chercheurs ont pris soin de noter que cette méthode est un outil pour les cas où les images propres sont rares. Sur les données de test final, une banque construite à partir de huit images totalement propres restait la plus performante. La méthode proposée est conçue pour le scénario difficile du monde réel où les ingénieurs disposent d'un petit noyau de confiance mais d'une montagne de données non vérifiées qu'ils souhaitent utiliser, offrant un moyen de récupérer l'apparence normale utile à partir d'imagerie risquée lorsque les références vérifiées sont trop peu nombreuses pour construire seules une grande bibliothèque.

En fin de compte, l'étude démontre que dans le monde de l'inspection automatisée, plus de données n'est pas toujours synonyme de mieux. Ajouter des images non vérifiées sans moyen de les contrôler peut apprendre au système à ignorer de vrais problèmes. Les chercheurs ont montré qu'en utilisant un petit groupe d'exemples de confiance pour passer au crible le groupe plus large, il est possible d'étendre en toute sécurité les connaissances du système. Ils ont découvert qu'une règle simple — écarter les patchs qui ressemblent le plus aux éléments normaux de confiance — peut éliminer la contamination et récupérer l'information utile cachée dans les données risquées. Cette approche permet aux usines de tirer parti de l'abondance d'images peu coûteuses et non vérifiées qu'elles collectent chaque jour, transformant un risque potentiel en un atout fiable, à condition d'être prêt à filtrer le bruit avant qu'il n'entre dans le système.