Résumé Technique : Le Prompting Visuel rencontre la Reconstruction de Caractéristiques pour la Détection d'Anomalies basée sur la Supervision par Double Enseignant

1. Énoncé du Problème

La détection d'anomalies (AD) non supervisée a atteint des performances quasi parfaites sur les benchmarks établis comme MVTec AD, affichant souvent des scores AUROC au niveau de l'image dépassant 99 %. Cependant, l'article soutient que ces succès reposent largement sur des hypothèses de jeux de données « stériles » : échelle d'objet constante, placement centré, arrière-plans homogènes et points de vue fixes. Lorsque ces hypothèses sont violées dans des scénarios industriels réels (par exemple, éclairage variable, arrière-plans encombrés ou objets mal alignés), les performances se dégradent considérablement.

Pour démontrer cette fragilité, les auteurs introduisent une variante appelée Distorted MVTec où les arrière-plans sont remplacés par des textures aléatoires. Les expériences montrent que les méthodes d'AD populaires subissent des chutes de performance allant de 1,7 à 16,4 points de pourcentage sur ce jeu de données distordu, le bruit de fond dans les coins de l'image altérant souvent le classement des algorithmes. Cela met en évidence un écart critique entre la performance sur les benchmarks contrôlés et l'applicabilité en conditions réelles.

2. Méthodologie

Le cadre proposé est agnostique à l'architecture, conçu pour améliorer les méthodes de reconstruction basées sur l'étudiant-enseignant (utilisant spécifiquement le modèle de Reconstruction Multiscale Masquée (MMR) comme base). Le pipeline se compose de trois phases modulaires : Préparation, Entraînement et Inférence.

2.1 Pipeline de Masques de Prompting Visuel (Suppression de l'Arrière-plan)

Pour atténuer la sensibilité aux variations d'arrière-plan, les auteurs introduisent un pipeline de post-traitement qui isole l'objet d'intérêt.

• Mécanisme : En utilisant le Segment Anything Model (SAM) et un cadre de « Matcher » (basé sur l'appariement de caractéristiques scalable), le système génère des masques de segmentation premier plan/arrière-plan (FG/BG).
• Processus : Un petit ensemble d'images de référence est utilisé pour créer des masques initiaux via le prompting visuel. Lors de l'inférence, ces références guident la génération automatique de masques pour les images de test.
• Application : Le masque FG généré est appliqué à la carte de score d'anomalie. Pour s'assurer que les défauts de bord ne soient pas manqués, les auteurs emploient une « méthode de mélange » qui dilate le masque FG et le découpe selon la valeur de crête de la carte de score brute, équilibrant une discrimination nette et une couverture complète des défauts.

2.2 Approche de Double Enseignant Préservant la Connaissance

Les méthodes classiques étudiant-enseignant utilisent un enseignant pré-entraîné gelé (ex: ImageNet) pour guider l'étudiant. Les auteurs soutiennent que cela limite l'adaptabilité aux domaines cibles où les caractéristiques pré-entraînées peuvent être sous-optimales.

• Le Défi : Le dégel naïf de l'enseignant conduit à un « effondrement de caractéristiques » (feature collapse), où le modèle converge vers une solution triviale pour minimiser la distance entre l'étudiant et l'enseignant.
• La Solution : Un cadre de Double Enseignant est introduit :
  1. Enseignant Faible : Une copie non gelée du modèle pré-entraîné qui s'adapte au domaine cible.
  2. Enseignant Fort : Une copie gelée du modèle pré-entraîné qui agit comme un régularisateur.
• Fonction de Perte : La perte totale combine la perte de distillation de connaissances (KD) entre l'Étudiant et l'Enseignant Faible ($L_{S\_WT}$) et la perte KD entre l'Enseignant Faible et l'Enseignant Fort ($L_{WT\_ST}$).
  $$L_{total} = L_{S\_WT} + \lambda L_{WT\_ST}$$
  L'hyperparamètre $\lambda$ contrôle la flexibilité de l'Enseignant Faible. Un $\lambda$ élevé restreint l'adaptation ; un $\lambda$ faible permet plus de flexibilité mais risque l'effondrement. L'Enseignant Fort est désactivé lors de l'inférence pour économiser du temps de calcul.

2.3 Données d'Entraînement Synthétiques via des Modèles de Diffusion

Pour améliorer la généralisation et agir comme un mécanisme de régularisation, les auteurs augmentent l'ensemble d'entraînement avec des images synthétiques.

• Génération : Un modèle de diffusion pré-entraîné est affiné sur le jeu d'entraînement du domaine cible pour échantillonner des images synthétiques qui ressemblent étroitement aux échantillons « normaux » originaux en apparence et en contexte.
• Stratégie : Contrairement aux méthodes qui génèrent des anomalies synthétiques (transformant l'AD en tâche supervisée), cette approche génère des images normales de haute qualité. Cela augmente la diversité des données et empêche le surapprentissage de la distribution d'entraînement originale sans introduire de biais provenant de motifs de défauts potentiellement irréalistes.

3. Contributions Clés

L'article expose trois contributions principales :

1. Pipeline de Prompting Visuel : Une méthode pour isoler les objets à l'aide de masques FG/BG auto-générés, réduisant la sensibilité au bruit de fond et améliorant la robustesse de la carte de score.
2. Supervision par Double Enseignant : Un mécanisme pour dégeler l'enseignant dans les modèles de reconstruction sans subir d'effondrement de caractéristiques, améliorant ainsi l'adaptabilité au domaine et atténuant le biais de pré-entraînement.
3. Augmentation de Données par Diffusion : Une stratégie pour générer des images normales synthétiques afin d'enrichir la diversité des données d'entraînement et de servir de régularisateur, renforçant les capacités de généralisation.

4. Résultats Expérimentaux

Le cadre a été évalué sur le jeu de données AeBAD-S (aubes de turbines aéronautiques avec éclairages et arrière-plans variables) et le jeu de données MVTec.

4.1 Performance sur AeBAD-S

Le cadre proposé (MMR+++) a atteint des résultats de pointe sur le difficile jeu de données AeBAD-S :

• AUROC au niveau de l'image : 88,2 %, surpassant le précédent SOTA (MiniMaxAD à 87,0 %) de 1,2 % et le backbone MMR de 3,5 %.
• AUPRO au niveau du pixel : 90,2 %, dépassant le précédent SOTA (89,1 %) de 1,1 %.
• Études d'Ablation :
  • Données Synthétiques : Un ratio optimal de 1:3 entre images réelles et synthétiques a été trouvé. L'entraînement sur des données purement synthétiques reste supérieur à la plupart des bases de référence.
  • Double Enseignant : La performance maximale est atteinte avec des valeurs de $\lambda$ intermédiaires. À mesure que le volume de données synthétiques augmente, le $\lambda$ optimal diminue, suggérant que les données synthétiques fournissent une régularisation implicite.
  • Suppression de l'Arrière-plan : La méthode de mélange (dilatation + masques bruts) a offert le meilleur équilibre, récupérant les scores AUPRO perdus par les masques bruts tout en maintenant un AUROC élevé.

4.2 Performance sur MVTec

Sur le jeu de données contrôlé MVTec, le cadre montre des améliorations progressives par rapport à la base de référence. Cependant, les auteurs ont noté que les données synthétiques pouvaient parfois nuire aux performances sur MVTec. L'inspection a révélé que certaines images « bonnes » synthétiques paraissaient « présentant des défauts », et que des données synthétiques mal alignées impactaient négativement l'affinage de l'enseignant dégelé. Cela suggère que les bénéfices de l'augmentation synthétique sont plus prononcés dans des domaines complexes et moins contrôlés.

5. Signification et Revendications

L'article affirme que les méthodes d'AD établies dépendent fortement d'environnements contrôlés, ce qui limite leur utilité réelle. Le cadre proposé répond à cela en introduisant une approche modulaire et agnostique à l'architecture qui améliore la robustesse contre :

• Les variations d'arrière-plan (via le Prompting Visuel).
• Les décalages de domaine et le biais de pré-entraînement (via la supervision par Double Enseignant).
• La rareté des données et le surapprentissage (via l'augmentation basée sur la Diffusion).

Les auteurs soulignent que leurs améliorations sont indépendantes et peuvent être appliquées à la plupart des méthodes de reconstruction basées sur la distillation de connaissances. Les résultats sur AeBAD-S démontrent que ces modifications peuvent considérablement combler l'écart entre la performance des benchmarks et l'applicabilité en conditions réelles, atteignant des scores de détection et de segmentation de pointe dans des conditions difficiles.