💻 computer science

CAFM: A Cross-Modal Local Alignment Fusion Method for RGB-3D Industrial Anomaly Detection

Cet article propose CAFM, une méthode de fusion d'alignement local cross-modale qui utilise l'attention de fenêtre locale, la compression par goulot d'étranglement et l'apprentissage contrastif symétrique pour intégrer efficacement les caractéristiques RGB et les nuages de points 3D pour une détection et une localisation d'anomalies industrielles supérieures, atteignant des performances de pointe sur le jeu de données MVTec 3D-AD.

Auteurs originaux : Yayue Zhao, Xiaosong Li, Shenghan Zhou, Yingxiao Zhao

Publié 2026-09-24

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yayue Zhao, Xiaosong Li, Shenghan Zhou, Yingxiao Zhao

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde à enjeux élevés de la fabrication, s'assurer que chaque produit quittant la ligne d'assemblage est sans défaut est une bataille constante. Depuis des décennies, les systèmes d'inspection automatisés s'appuient sur des caméras pour repérer les défauts, un peu comme un agent de contrôle qualité humain scrutant une pièce à la recherche de rayures ou de décolorations. Ces images 2D sont excellentes pour lire les textures et les couleurs de surface, mais elles ont du mal à percevoir la forme des choses. Une bosse, un renflement ou un léger changement de hauteur disparaissent souvent dans une photographie plate, surtout si l'éclairage change ou si la surface est naturellement irrégulière. À l'inverse, les scanners 3D peuvent cartographier la géométrie exacte et la profondeur d'un objet, révélant des déformations structurelles qu'une caméra ne verrait pas, pourtant ils sont aveugles aux détails riches en couleurs et en textures qui définissent bien d'autres types de dommages. Le défi pour les ingénieurs a longtemps été de savoir comment combiner ces deux manières distinctes de voir le monde en un système unique et fiable, capable de détecter n'importe quel défaut, qu'il s'agisse d'une rayure à la surface ou d'une bosse dans la structure.

Une équipe de chercheurs de l'Université de Beihang et de l'Académie des sciences militaires de la PLA a développé une nouvelle méthode pour résoudre ce problème, créant un système qui fusionne ces deux vues sans que l'une n'annule l'autre. Leur approche, appelée CAFM, répond à une faille spécifique des tentatives précédentes : lorsque les ordinateurs tentent de fusionner les données 2D et 3D, ils lissent souvent les irrégularités mêmes qu'ils sont censés trouver. Si une pièce présente un défaut visible dans le scan 3D mais semble normale sur la photo, les anciens systèmes pourraient utiliser la photo « normale » pour combler les détails manquants, effaçant ainsi la preuve du défaut. Les chercheurs ont découvert que pour détecter ces anomalies, il faut empêcher le système d'être trop « utile » ; il doit être contraint pour qu'il ne puisse pas simplement inventer une version parfaite d'une pièce défectueuse. En forçant l'ordinateur à se concentrer sur les zones locales où les deux vues se chevauchent et en limitant soigneusement la quantité d'informations qu'il peut « deviner », ils ont créé une méthode de détection nettement plus précise que les normes actuelles.

Le cœur de ce nouveau système réside dans la manière dont il traite les données avant de prendre une décision. Les chercheurs prennent d'abord les données d'image 2D et les font passer par un processus de compression qui agit comme un filtre strict. Ce filtre est conçu pour apprendre les motifs des pièces parfaites et normales si bien que lorsqu'il rencontre une pièce défectueuse, il ne peut pas la reconstruire correctement. Cet échec de reconstruction du défaut crée un signal clair indiquant que quelque chose ne va pas. Crucialement, cette compression est appliquée uniquement aux données d'image, laissant les données géométriques 3D intactes, garantissant ainsi que la vérité structurelle de l'objet reste nette. Le système aligne ensuite ces deux flux d'informations, mais au lieu de mélanger l'image entière avec le scan 3D entier d'un coup, il les examine par petites fenêtres locales. Cela garantit qu'une texture sur le côté gauche d'un objet n'est comparée qu'à la géométrie du côté gauche, empêchant l'ordinateur d'être confondu par des détails non pertinents provenant d'autres parties de l'objet.

Pour garantir davantage que le système ne favorise pas un type de données par rapport à l'autre, les chercheurs ont utilisé une technique d'entraînement qui force l'information combinée à rester fidèle à la fois à l'image originale et au scan 3D original. Si le système commence à trop pencher vers les couleurs 2D ou les formes 3D, cette technique le ramène, assurant une vue équilibrée. Enfin, le système stocke des exemples de ce que représente la « normalité » dans trois bibliothèques distinctes : une pour les images 2D, une pour les scans 3D et une pour les données combinées. Lorsqu'une nouvelle pièce est inspectée, le système la vérifie par rapport à ces trois bibliothèques. Si la pièce diffère des exemples normaux dans l'une de ces bibliothèques, elle est signalée comme défectueuse. Cette approche multicouche permet au système de détecter une plus grande variété de défauts que les méthodes reposant sur une vue unique ou une simple combinaison de données.

Les résultats des tests de cette méthode sur deux ensembles de données industrielles majeures, MVTec 3D-AD et Eyecandies, démontrent son efficacité. Sur l'ensemble de données MVTec 3D-AD, qui contient une grande variété d'objets et de défauts industriels, la nouvelle méthode a obtenu un score de détection au niveau de l'image de 0,981. Cela représente une amélioration de 3,6 points de pourcentage par rapport à la méthode de pointe précédente, M3DM, qui utilisait une approche multi-bibliothèque similaire mais manquait des techniques spécifiques d'alignement et de compression. En termes de localisation précise d'un défaut sur la surface de l'objet, la nouvelle méthode a obtenu un score de 0,977, et pour distinguer les pixels normaux des pixels défectueux, elle a atteint 0,998. Ces chiffres indiquent que le système est non seulement meilleur pour dire « cette pièce est cassée », mais aussi pour montrer exactement où se trouve la cassure. Les chercheurs ont noté que, bien que la méthode excelle dans la détection des variations de texture locale et des distorsions structurelles, elle fait toujours face à des défis avec les déformations géométriques très subtiles ou les défauts qui apparaissent différemment selon les deux types de données, suggérant que les travaux futurs pourraient se concentrer sur la création d'un alignement local plus flexible.

La signification de ce travail réside dans sa capacité à gérer la complexité de la fabrication réelle sans nécessiter d'exemples étiquetés pour chaque défaut possible. En utilisant une approche non supervisée, le système apprend à quoi ressemble une pièce parfaite et signale tout ce qui s'en écarte. Les chercheurs ont explicitement écarté l'idée que le simple ajout de plus de données ou l'utilisation d'un ordinateur plus puissant résoudrait le problème ; au contraire, ils ont montré que la manière dont les données sont fusionnées est le facteur critique. Ils ont démontré que permettre au système de combiner librement les informations conduit souvent à des erreurs où les défauts sont cachés, et que restreindre la capacité du système à « remplir les blancs » est précisément ce qui le rend plus sensible aux anomalies. Cette découverte remet en question l'hypothèse courante selon laquelle une puissance de représentation accrue est toujours préférable, montrant plutôt que des limitations contrôlées peuvent conduire à une détection supérieure dans les applications critiques pour la sécurité.

Dans le contexte plus large de l'automatisation industrielle, cette méthode offre une voie vers des systèmes de contrôle qualité plus robustes, capables de s'adapter à différents types de produits et de défauts sans réentraînement extensif. La capacité de détecter à la fois des problèmes de surface comme les rayures et des problèmes structurels comme les bosses en un seul passage réduit la nécessité de plusieurs stations d'inspection et diminue le risque que des produits défectueux atteignent les consommateurs. Bien que le système actuel utilise des tailles de fenêtre fixes pour l'alignement, ce qui peut limiter ses performances sur des défauts très petits ou irréguliers, le cadre constitue une base solide pour de futures améliorations. Les chercheurs prévoient d'explorer des mécanismes d'alignement dynamique qui peuvent s'ajuster aux caractéristiques spécifiques d'un défaut, rendant potentiellement le système encore plus polyvalent. Pour l'instant, la méthode constitue une avancée prouvée dans le domaine, offrant une amélioration claire et mesurable de la fiabilité de l'inspection visuelle automatisée.

=== RÉSUMÉ TECHNIQUE ===

Résumé technique : CAFM – Une méthode d'alignement local de fusion cross-modale pour la détection d'anomalies industrielles RGB-3D

1. Énoncé du problème

La détection d'anomalies industrielles fait face à une limitation fondamentale lorsqu'elle repose sur des données unimodales. Les images RGB seules fournissent des indices de texture et de sémantique riches mais peinent à caractériser les anomalies de structure géométrique (par exemple, les variations de hauteur, les creux, les renflements) en raison de leur sensibilité à l'éclairage et aux changements de point de vue. À l'inverse, les nuages de points 3D capturent efficacement la morphologie spatiale et les structures géométriques, mais manquent de détails de couleur et de texture nécessaires pour identifier les défauts d'apparence subtils.

Bien que la fusion multimodale (combinant RGB et 3D) soit une direction prometteuse, les approches existantes souffrent de deux défauts critiques :

Désalignement et Irrélevance : La plupart des méthodes utilisent une concaténation globale de caractéristiques ou une simple interpolation. Cela ne tient pas compte de l'incompatibilité inhérente des échelles spatiales et des formes de représentation entre les patchs d'images 2D et les jetons spatiaux 3D, introduisant souvent des informations spatialement non pertinentes qui perturbent la détection d'anomalies locales.
Compensation d'anomalie : Dans la détection d'anomalies, l'objectif est de maximiser la divergence entre les échantillons normaux et défectueux. Cependant, les modules de fusion standards dotés d'une grande capacité de représentation peuvent « compenser » les régions anormales d'une modalité en utilisant les informations intactes de l'autre modalité. Cela rapproche les caractéristiques défectueuses de la distribution normale, affaiblissant la capacité du modèle à distinguer les défauts.

2. Méthodologie : CAFM

La méthode proposée CAFM (Cross-Modal Local Alignment Fusion) traite ces problèmes dans le cadre d'un paradigme de banque de mémoire non supervisée. Le cadre se compose de quatre étapes principales :

A. Compression par goulot d'étranglement pour l'amélioration des caractéristiques RGB

Pour empêcher le flux RGB, doté d'une haute capacité de représentation, de compenser les anomalies 3D, les auteurs introduisent une contrainte de compression par goulot d'étranglement spécifiquement sur la branche RGB.

Mécanisme : Les caractéristiques RGB subissent une perturbation par dropout aléatoire, suivie d'un encodage dans un espace de goulot d'étranglement de faible dimension ( $Z_r$ ) et d'un décodage vers l'espace d'origine ( $\hat{F}_r$ ).
Injection de résidu : Pour éviter une perte d'information excessive, une stratégie d'injection de résidu contrôlée est appliquée : $F^b_r = (1-\beta)\hat{F}_r + \beta F_r$ .
Effet : Cela force le modèle à apprendre des motifs structurels stables prévalents dans les échantillons normaux. Lors de l'inférence, les perturbations anormales ne peuvent pas être pleinement reconstruites dans l'espace latent compact, créant un décalage d'encodage (embedding shift) prononcé qui améliore la séparabilité des anomalies. La branche 3D reste non compressée pour préserver les indices géométriques fins.

B. Module de fusion d'alignement local cross-modal

Au lieu d'une interaction globale, ce module établit des correspondances spatiales fines au sein de fenêtres locales.

Mappage d'échelle : Les caractéristiques RGB et 3D sont projetées dans une dimension d'encodage unifiée. Une fonction de mappage d'échelle aligne les coordonnées spatiales 3D $(i, j)$ aux positions centrales correspondantes $(i', j')$ sur la carte de caractéristiques RGB.
Attention par fenêtre locale : Pour chaque jeton 3D, une région candidate locale $\Omega_t$ est définie sur la carte RGB. L'attention cross-modale est calculée uniquement au sein de cette fenêtre, où les caractéristiques 3D agissent comme requêtes (queries) et les caractéristiques RGB locales agissent comme clés (keys) et valeurs (values).
Avantage : Cela restreint la propagation de l'information aux voisins spatialement pertinents, réduisant la complexité de calcul de $O(N_x N_r)$ à $O(N_x K)$ et empênant la dilution des signaux d'anomalie locaux par des régions normales distantes.

C. Apprentissage contrastif symétrique

Pour garantir que les caractéristiques fusionnées conservent des informations discriminantes des deux modalités sans biais, un apprentissage contrastif symétrique est employé.

Contraintes bidirectionnelles : Les caractéristiques fusionnées sont alignées avec les caractéristiques 3D et les caractéristiques RGB. La fonction de perte inclut des termes d'alignement bidirectionnels ( $L_{q \to k}$ et $L_{k \to q}$ ) pour les deux modalités.
Symétrie : Cela empêche l'encodage fusionné de dériver vers la modalité possédant les informations les plus riches ou l'optimisation la plus facile, assurant une représentation équilibrée de la texture et de la géométrie.

D. Détection par banque de mémoire multiple

Suivant le paradigme M3DM, le système construit trois banques de mémoire indépendantes en utilisant uniquement des échantillons d'entraînement normaux :

Banque de mémoire des caractéristiques RGB.
Banque de mémoire des caractéristiques 3D.
Banque de mémoire des caractéristiques fusionnées cross-modales.
Les scores d'anomalie sont générés via des métriques de distance de plus proche voisin pour chaque banque, suivis d'une fusion de décision en phase tardive pour produire les cartes d'anomalies finales au niveau de l'image et du pixel.

3. Contributions clés

Alignement local cross-modal : Un module de fusion qui établit des correspondances spatiales au sein de fenêtres locales, éliminant les interactions globales non pertinentes et améliorant la représentation des régions anormales locales.
Contrainte de compression par goulot d'étranglement : Un mécanisme sur mesure qui limite la capacité de représentation du flux RGB pour empêcher la « compensation » des régions anormales par l'information modale normale, préservant ainsi la divergence des caractéristiques.
Apprentissage contrastif symétrique : Une stratégie de régularisation qui impose la cohérence entre les encodages fusionnés et les deux encodages unimodaux, assurant une rétention équilibrée de la texture RGB et de l'information géométrique 3D.

4. Résultats expérimentaux

La méthode a été évaluée sur les jeux de données MVTec 3D-AD et Eyecandies.

MVTec 3D-AD :
- Niveau Image (I-AUROC) : CAFM a atteint 0,981, soit une amélioration de 3,6 points de pourcentage par rapport à la ligne de base M3DM (0,945) et surpasse tous les autres concurrents (ex: G2SF, CFM, AST).
- Localisation au niveau Pixel (P-AUPRO) : A atteint 0,977, dépassant M3DM de 1,3 point.
- Discrimination au niveau Pixel (P-AUROC) : A atteint 0,998, se classant premier parmi toutes les lignes de base.
Eyecandies :
- A atteint un I-AUROC moyen de 0,901, un P-AUPRO de 0,897 et un P-AUROC de 0,981, surpassant systématiquement M3DM et les autres méthodes de pointe.
Études d'ablation :
- Le retrait de la compression par goulot d'étranglement ou du module d'alignement local a entraîné des chutes de performance significatives, confirmant que les deux composants sont essentiels pour les gains observés.
- La fusion par alignement local a contribué à environ 63,9 % de l'amélioration totale de l'I-AUROC par rapport à la ligne de base.

5. Signification et affirmations

L'article affirme que CAFM traite efficacement les défis spécifiques de la détection d'anomalies industrielles multimodale, particulièrement le risque de compensation d'anomalie et le besoin d'un alignement local fin. En intégrant la compression par goulot d'étranglement, l'attention par fenêtre locale et l'apprentissage contrastif symétrique, la méthode crée un espace de caractéristiques fusionnées où les échantillons normaux forment des variétés (manifolds) compactes tandis que les échantillons défectueux maintiennent des décalages distincts.

Les auteurs soutiennent que leur approche valide l'efficacité de l'interaction cross-modale locale plutôt que globale pour les défauts industriels, qui sont typiquement de nature locale. Bien que la méthode atteigne des résultats de pointe, les auteurs reconnaissent modestement des limitations : la taille fixe de la fenêtre locale et la stratégie de fusion unifiée pourraient avoir des difficultés avec les défauts minuscules, les frontières floues ou les cas de disparités de réponse cross-modale drastiques. Ils suggèrent que les travaux futurs devraient explorer des mécanismes d'alignement multi-échelles ou déformables pour améliorer davantage l'adaptabilité.