💻 computer science

CDGP: Contrastive Dual Gaussian Processes for Weakly Supervised Anomaly Segmentation

L'article propose les Processus Gaussiens Duaux Contrastifs (CDGP), un cadre de supervision faible qui combine une statistique de dominance a posteriori dérivée de processus gaussiens duaux avec des résidus de reconstruction hiérarchiques pour atteindre l'état de l'art en segmentation d'anomalies sans nécessiter d'annotations au niveau du pixel.

Auteurs originaux : Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

Publié 2026-08-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde trépidant de la fabrication moderne, les machines sont de plus en plus chargées de la tâche délicate d'inspecter les produits pour détecter des défauts. Une usine peut produire des milliers de composants identiques chaque heure, et l'objectif est de débusquer le rare exemplaire défectueux avant qu'il n'atteigne un client. Cela nécessite deux choses : décider si un produit est cassé, et localiser précisément où se trouve la cassure. Pendant des décennies, la méthode la plus fiable pour apprendre aux ordinateurs à faire cela a consisté à leur montrer des milliers d'exemples parfaits et à les laisser apprendre à quoi ressemble la « normalité ». Lorsqu'un ordinateur voit quelque chose qui s'écarte de ce modèle normal, il le signale comme un défaut. Cette approche fonctionne bien car les articles parfaits sont faciles à trouver, tandis que les articles cassés sont rares et variés. Cependant, cette méthode présente un angle mort. Elle a souvent du mal à distinguer une véritable fissure d'une texture inhabituelle mais inoffensive qui semble simplement un peu étrange. Elle voit les deux comme étant « non normaux » et déclenche une alerte pour les deux, ce qui entraîne de la confusion et une perte de temps.

Les chercheurs se sont longtemps demandé s'ils pouvaient améliorer cela en montrant à l'ordinateur des exemples d'articles cassés, même s'ils ne savaient pas exactement où se trouvaient les fissures. Dans le monde réel, les usines savent souvent quel lot de produits a échoué à un contrôle de qualité, même si elles n'ont pas pris le temps de dessiner une carte de chaque défaut. C'est le défi de l'apprentissage « faiblement supervisé » : utiliser l'étiquette large de « défectueux » pour apprendre à la machine à trouver l'emplacement spécifique de l'erreur sans une carte détaillée. Une nouvelle étude introduit une méthode appelée Processus Gaussiens Duaux Contrastifs, ou CDGP (Contrastive Dual Gaussian Processes), qui aborde ce problème en changeant la façon dont l'ordinateur compare le bon et le mauvais. Au lieu de simplement demander à quel point une image semble étrange, le système pose une question plus directe : cette partie de l'image ressemble-t-elle davantage à un défaut ou davantage à un produit normal ?

Les chercheurs ont conçu un système qui traite chaque petite portion d'une image comme une candidate pour être soit normale, soit défectueuse. Imaginez l'image comme une grille de minuscules tuiles. Pour chaque tuile, le système exécute simultanément deux modèles mentaux distincts. Un modèle est entraîné pour prédire à quoi devrait ressembler une tuile normale, tandis que l'autre est entraîné pour prédire à quoi devrait ressembler une tuile défectueuse. Ces modèles ne font pas que deviner ; ils sont construits sur un cadre statistique qui leur permet d'exprimer non seulement une prédiction, mais aussi leur degré de confiance dans cette prédiction. Le système compare ensuite les deux prédictions pour chaque tuile. Si le modèle « défectueux » est beaucoup plus susceptible d'avoir raison que le modèle « normal », et que le système est confiant dans cette différence, cette tuile est marquée comme un défaut. Cette approche est puissante car elle force l'ordinateur à peser les preuves d'un défaut par rapport aux preuves de la normalité, plutôt que de simplement chercher tout ce qui semble inhabituel.

Pour faire fonctionner cela sans cartes détaillées de l'emplacement des défauts, l'équipe a dû être ingénieuse dans la manière de lancer l'entraînement. Ils ont commencé par scanner les images défectueuses et en extraire les tuiles qui paraissaient les plus différentes des normales. Celles-ci sont devenues les « candidates » initiales pour que le modèle défectueux puisse apprendre. C'était un point de départ bruyant, car certains de ces candidats étaient simplement des pièces normales qui paraissaient légèrement différentes, mais le système a été conçu pour apprendre à travers le processus. À mesure que l'entraînement progressait, le système utilisait l'étiquette simple « défectueux » ou « normal » pour l'image entière afin d'affiner sa compréhension. Il a appris à augmenter les prédictions du modèle défectueux dans les zones qui contenaient réellement des défauts, tout en maintenant le modèle normal fort dans les zones d'arrière-plan. Ce processus a permis au système d'affiner progressivement sa focalisation, séparant les vrais défauts du bruit de fond sans jamais voir un seul contour de fissure dessiné à la main.

L'étude a également reconnu que regarder la vue d'ensemble n'est pas toujours suffisant pour trouver des fissures fines, de type capillaire. Pour résoudre cela, ils ont ajouté une seconde couche d'inspection axée sur la reconstruction. Cette partie du système tente de reconstruire une version parfaite de l'image à partir d'une version légèrement endommagée. Si le système éprouve des difficultés à reconstruire une zone spécifique, cela suggère que cette zone est inhabituelle. En combinant la comparaison directe des deux modèles avec cet examen de reconstruction, le système bénéficie d'une double dose de preuves. Les chercheurs ont testé cette méthode sur plusieurs ensembles de données industrielles standards, notamment MVTec AD 2, KSDD2 et VisA. Les résultats ont été frappants. Sur l'ensemble de données MVTec AD 2, qui est un test rigoureux pour ce type de travail, la nouvelle méthode a surpassé toutes les autres approches testées, se classant première pour chaque métrique utilisée pour mesurer la capacité du système à localiser les défauts. Elle a également obtenu des performances de haut niveau ou très compétitives sur les deux autres ensembles de données.

Ce qui rend cette découverte particulièrement significative est la manière dont elle gère l'incertitude. Le système ne se contente pas de produire un score ; il calcule une mesure standardisée de la probabilité qu'un défaut soit plus probable que la normalité, en tenant compte de la certitude des modèles. Cela empêche le système d'être trompé par le bruit aléatoire. Les chercheurs ont également démontré que cette amélioration n'était pas seulement due à une configuration plus complexe, mais spécifiquement à la manière dont ils ont contrasté les deux modèles et calibré leur confiance en utilisant uniquement les données d'entraînement. Ils ont vérifié que le système fonctionne sans qu'aucun humain n'ait besoin de dessiner des boîtes autour des défauts lors de la phase d'apprentissage, en s'appuyant uniquement sur les étiquettes simples « bon » ou « mauvais » dont disposent déjà les usines.

L'étude conclut qu'en modélisant explicitement les possibilités normales et défectueuses et en les comparant directement, les machines peuvent apprendre à trouver les défauts avec beaucoup plus de précision qu'auparavant. Cette approche comble le fossé entre l'abondance de données normales et la rareté des cartes détaillées de défauts. Elle suggère que dans les contextes industriels, où le temps et les ressources pour l'annotation détaillée sont limités, nous pouvons atteindre une inspection de haute précision en apprenant aux ordinateurs à peser les preuves d'un défaut par rapport aux preuves de la normalité, plutôt que de simplement chercher tout ce qui sort de l'ordinaire. La méthode constitue une solution robuste qui se classe au sommet des benchmarks de performance actuels, offrant une voie pratique pour le contrôle qualité automatisé dans la fabrication.

Énoncé du problème

L'inspection visuelle industrielle nécessite à la fois de détecter si un produit est défectueux et de localiser les régions de défaut spécifiques. Bien que la segmentation d'anomalies au niveau du pixel soit cruciale pour les tâches en aval comme le diagnostic et le contrôle qualité, la collecte de masques denses au niveau du pixel est coûteuse et chronophage dans les environaux de fabrication réels. Par conséquent, la plupart des méthodes existantes reposent sur un paradigme d'apprentissage « uniquement sur le normal », s'entraînant exclusivement sur des images sans défaut et identifiant les anomalies comme des écarts par rapport à la normalité.

Cependant, le paradigme fondé uniquement sur le normal présente des limites :

Ambiguïté : Les vrais défauts et les régions inhabituelles mais normales peuvent tous deux s'écarter considérablement de la distribution normale apprise, recevant des scores d'anomalie élevés de manière similaire.
Décalage de supervision : Tout en évitant les masques de pixels, l'entraînement uniquement sur le normal nécessite toujours des ensembles de données soigneusement sélectionnés exempts de défauts, déplaçant ainsi la charge de l'annotation vers la curation de l'ensemble de données.
Écart de supervision faible : Dans de nombreux pipelines, les étiquettes au niveau de l'image (normale/défectueuse) sont disponibles mais les masques de pixels ne le sont pas. Rejeter les images défectueuses dans ces scénarios revient à gaspiller des informations utiles sur l'apparence des anomalies.
Défi de localisation : Les approches classiquement supervisées faiblement (par exemple, en utilisant des cartes d'activation de classe provenant de classificateurs d'images) mettent souvent en évidence un contexte discriminatif suffisant pour la reconnaissance au niveau de l'image, mais échouent à s'aligner avec les régions de défaut réelles, d'autant plus que les anomalies industrielles sont hétérogènes et manquent de catégories visuelles cohérentes.

Méthodologie : Contrastive Dual Gaussian Processes (CDGP)

CDGP est un cadre de supervision faible qui modélise les distributions prédictives normales et d'anomalies sur des jetons (tokens) multi-échelles denses. Au lieu de noter les écarts par rapport à la normalité, il note la dominance postérieure d'une fonction d'anomalie sur une fonction normale.

1. Représentation de jetons denses multi-échelles

La méthode utilise un squelette (backbone) WideResNet-50 pour extraire des cartes de caractéristiques à partir de trois étapes. Celles-ci sont projetées dans une dimension latente partagée, normalisées et alignées sur une résolution spatiale unique pour former une grille dense de jetons à norme unitaire ( $t_{hw}$ ).

2. Initialisation par candidats d'induction difficiles (Hard-Candidate Inducing Initialization)

CDGP emploie des processus gaussiens (GP) creux avec des points d'induction fixes.

GP Normal ( $Z_N$ ) : Les jetons d'induction sont sélectionnés à partir d'images normales en utilisant un échantillonnage par point le plus éloigné (farthest-point sampling) de manière gloutonne pour couvrir l'espace des jetons nominaux.
GP d'Anomalie ( $Z_A$ ) : Puisque les images défectueuses contiennent principalement un arrière-plan normal, l'échantillonnage direct est inefficace. Au lieu de cela, les jetons des images défectueuses sont évalués par leur distance cosinus par rapport à $Z_N$ . Les 20 % de jetons les plus dissemblables forment un « pool de candidats bruyants », à partir duquel $Z_A$ est sélectionné via un échantillonnage par point le plus éloigné. Cela sert de priorité d'initialisation, et non de pseudo-masque.

3. Preuve Dual-GP Contrastive

CDGP modélise les preuves normales ( $f_N$ ) et d'anomalie ( $f_A$ ) comme deux fonctions GP creuses sur l'espace de jetons partagé en utilisant un noyau linéaire ( $k(t, t') = t^\top t'$ ).

Distributions prédictives : Pour chaque jeton, le modèle apprend une moyenne prédictive ( $\mu$ ) et une variance ( $\sigma^2$ ) pour les deux classes.
Statistique de dominance postérieure : La métrique centrale est la différence standardisée entre les distributions prédictives d'anomalie et de normalité :
$g(t) = \frac{\mu_A(t) - \mu_N(t)}{\sqrt{\sigma^2_A(t) + \sigma^2_N(t)}}$
Cette statistique fournit une carte sémantique spatiale où un jeton est considéré comme anormal si la fonction d'anomalie est susceptible d'excéder la fonction normale, standardisée par l'incertitude conjointe.

4. Entraînement par supervision faible

Le cœur du Dual-GP est entraîné de bout en bout à l'aide d'étiquettes au niveau de l'image via trois pertes complémentaires :

MIL à marge maximale (Max-Margin MIL) : Garantit que les images défectueuses possèdent au moins un jeton avec une marge positive élevée ( $\mu_A - \mu_N$ ) et que les images normales n'ont aucune marge positive.
Compacité de la normalité normalisée par la covariance : Encourage une preuve normalisée élevée pour le GP normal sur les images nominales.
Attraction d'anomalie normalisée par la covariance : Renforce l'évidence d'anomalie normalisée aux emplacements identifiés comme anormaux par le score de marge actuel (en utilisant un mécanisme d'attention douce).

5. Preuve résiduelle normale hiérarchique

Pour remédier à la limitation selon laquelle l'évidence des jetons du GP peut sous-résoudre les défauts fins, CDGP incorpore une branche de « reverse student » (étudiant inversé) uniquement sur le normal. Un réseau enseignant (teacher) gelé traite des images normales propres, tandis qu'un étudiant (student) reconstruit la hiérarchie de l'enseignant à partir d'entrées corrompues. Les résidus de reconstruction cosinus fournissent une précision spatiale à fine échelle complémentaire à l'évidence sémantique du GP.

6. Calibrage et Inférence

Fusion : La carte de dominance du GP et la carte de résidus de reconstruction sont standardisées à l'aide de statistiques issues d'un sous-ensemble de calibration normal mis de côté, puis fusionnées par une somme pondérée.
Confiance au niveau de l'image : L'évidence spatiale fusionnée est agrégée (log-sum-exp) pour générer un score d'anomalie au niveau de l'image, qui est calibré à l'aide d'un régresseur logistique entraîné sur des étiquettes de niveau image.
Sortie finale : La carte d'anomalie finale combine l'évidence spatiale calibrée avec le score de confiance au niveau de l'image, garantissant que les images jugées probablement normales suppriment tous les scores de pixels.

Principales contributions

Formulation : L'article formule la segmentation d'anomalies par supervision faible comme un problème de dominance postérieure entre des fonctions prédictives de jetons denses, normales et d'anomalie, par le biais de processus gaussiens creux.
Stratégie d'entraînement : Il introduit une initialisation sans masque enrichie par les défauts et un objectif de trois pertes minimales (Max-margin MIL, compacité de la normalité normalisée par la covariance et attraction d'anomalie normalisée par la covariance) pour entraîner le cœur du Dual-GP.
Architecture hybride : Il complète le contraste sémantique du GP par des résidus de reconstruction normale hiérarchiques et un calibrage uniquement lors de l'entraînement pour obtenir des prédictions spatialement précises sans ajustement (fitting) au moment du test.
Performance : Sous une répartition de supervision faible équivalente, CDGP atteint l'état de l'art sur MVTec AD 2 et des résultats compétitifs sur KSDD2 et VisA.

Résultats expérimentaux

Les auteurs ont évalué CDGP sur MVTec AD 2, KSDD2 et VisA.

MVTec AD 2 : CDGP arrive premier parmi toutes les méthodes évaluées (tant celles basées uniquement sur le normal que celles supervisées au niveau de l'image) sur les trois métriques de localisation (AUROC-P, AUPRO@0.3, AUPRO@0.05), surpassant la deuxième meilleure méthode par des marges significatives (par exemple, +12,7 points en AUPRO@0.3).
KSDD2 et VisA : CDGP a obtenu une performance de localisation de premier rang ou compétitive, se classant parmi les deux meilleures méthodes sur toutes les métriques.
Études d'ablation : Les ablations factorisées ont confirmé que le chemin spatial du GP et le chemin de calibration au niveau de l'image contribuent de manière complémentaire. L'article note que le gain de la dominance postérieure (standardisation par la variance) par rapport à une simple notation de marge de moyenne est un raffinement modeste, suggérant que la valeur principale réside dans la construction cohérente des variables d'induction moyenne-variance plutôt que dans l'expressivité non linéaire.

Signification et revendications

L'article affirme que CDGP exploite avec succès les étiquettes au niveau de l'image pour apprendre la segmentation d'anomalies sans nécessiter de masques de pixels ni d'ajustement au moment du test. Sa signification réside dans :

Résolution du problème « inhabituel-mais-normal » : En modélisant explicitement les distributions normales et d'anomalie, il évite l'ambiguïté de la notation de normalité unidirectionnelle.
Supervision faible efficace : Il utilise les images défectueuses (souvent rejetées dans les méthodes basées uniquement sur le normal) pour apprendre les caractéristiques des anomalies, même sans connaître l'emplacement exact des défauts.
Robustesse : L'utilisation d'un calibrage uniquement lors de l'entraînement et la combinaison de l'évidence sémantique (GP) et structurelle (reconstruction) permettent une localisation robuste à travers divers ensembles de données industrielles.
Modestie sur les revendications GP : Les auteurs déclarent explicitement que le noyau linéaire rend la marge d'entraînement linéaire ; l'avantage provient de la variance prédictive dépendante du jeton (incertitude) fournie par la formulation GP, plutôt que d'une supériorité universelle sur des reparamétrisations équivalentes comme des modèles linéaires hétéroscédastiques élaborés. La « revendication GP » est présentée comme une construction compacte de moyenne et d'incertitude, limitée par des contrôles de tête linéaires appariés.