🤖 machine learning

TailedCore: Few-Shot Sampling for Unsupervised Long-Tail Noisy Anomaly Detection

L'article présente TailedCore, un cadre novateur de détection d'anomalies non supervisée qui utilise un TailSampler pour traiter indépendamment les échantillons de classes minoritaires et les données bruyantes, surmontant ainsi le compromis de performance entre la robustesse au bruit et la sensibilité aux classes minoritaires dans les ensembles de données contaminés à longue traîne.

Auteurs originaux : Yoon Gyo Jung, Jaewoo Park, Jaeho Yoon, Kuan-Chuan Peng, Wonchul Kim, Andrew Beng Jin Teoh, Octavia Camps

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yoon Gyo Jung, Jaewoo Park, Jaeho Yoon, Kuan-Chuan Peng, Wonchul Kim, Andrew Beng Jin Teoh, Octavia Camps

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes inspecteur de contrôle qualité dans une usine massive. Votre travail consiste à repérer les produits défectueux sur un convoyeur. Ce papier, TailedCore, aborde un problème réel très spécifique et désordonné où vos données d'entraînement sont un cauchemar de deux manières :

Le problème de la « longue traîne » : Vous avez des milliers d'exemples d'articles courants (comme des vis standards), mais seulement quelques exemples d'articles rares (comme un engrenage spécifique et sur mesure). En termes de données, les articles courants constituent la « tête » de la distribution, tandis que les rares forment la « queue ».
Le problème du « bruit » : Même les « bons » exemples que vous possédez sont sales. Certains des vis « normales » dans votre pile d'entraînement présentent en réalité de minuscules rayures ou défauts.

Le dilemme : Le piège « trop strict vs trop indulgent »

Les auteurs ont constaté que les modèles d'IA existants sont bloqués dans un terrible compromis, qu'ils appellent le « dilemme queue-vers-bruit ».

Le modèle « trop indulgent » : Si vous enseignez à un modèle à être très prudent avec les articles rares (la queue), il commence à se confondre. Il voit les minuscules rayures sur les articles « normaux » et pense : « Oh, c'est un défaut ! ». Il devient trop sensible et signale des choses normales comme étant défectueuses.
Le modèle « trop strict » : Si vous enseignez à un modèle à ignorer ces minuscules rayures (pour gérer le bruit), il devient trop dur. Il cesse de prêter attention aux articles rares. Il regarde l'engrenage sur mesure et dit : « Je n'ai jamais vu cela auparavant, alors je vais simplement l'ignorer », manquant ainsi les défauts réels sur les articles rares.

C'est comme essayer d'apprendre une nouvelle langue où vous avez un dictionnaire avec 10 000 pages de mots courants mais seulement une page de mots rares, et que cette page contient des fautes de frappe. Si vous vous concentrez sur les fautes de frappe, vous manquez les mots rares. Si vous vous concentrez sur les mots rares, vous vous confondez avec les fautes de frappe.

La solution : TailedCore

Les auteurs ont construit un nouveau système appelé TailedCore qui résout ce problème en traitant les articles rares et les articles bruyants comme deux problèmes distincts. Ils procèdent ainsi grâce à un processus astucieux en deux étapes impliquant un nouvel outil qu'ils ont inventé, appelé TailSampler.

Étape 1 : Le « prédicteur de taille de classe » (TailSampler)

Imaginez que vous êtes dans une pièce bondée où les gens sont regroupés par équipe de travail. La plupart des équipes comptent des centaines de personnes, mais quelques équipes n'en ont qu'une ou deux. Vous ne savez pas qui appartient à quelle équipe, et certaines personnes dans les grandes équipes portent des badges « défaut » (bruit).

TailSampler est comme un observateur surdoué qui regarde comment les gens se tiennent les uns près des autres.

Il suppose que les personnes d'une même équipe se tiennent à des angles similaires les unes par rapport aux autres.
Il calcule combien de personnes se trouvent probablement dans un « groupe » spécifique simplement en observant la géométrie de la foule.
S'il voit un tout petit groupe (une ou deux personnes), il sait : « Ah, c'est une équipe rare ! »
Crucialement, il peut distinguer une « équipe rare » d'une « personne seule avec un badge défaut ».

Cela permet au système de sélectionner exclusivement les articles rares sans saisir accidentellement les articles bruyants et défectueux provenant des groupes courants.

Étape 2 : La « banque de mémoire » (TailedCore)

Une fois que TailSampler a identifié les articles rares, TailedCore construit une « banque de mémoire » spéciale que l'IA utilisera lors de l'inspection. Cette banque de mémoire est hybride :

La partie propre : Elle prend les articles courants, filtre ceux qui ont des rayures (bruit) et stocke les versions propres.
La partie rare : Elle prend les articles rares identifiés par TailSampler et les ajoute à la mémoire.

Maintenant, lorsque l'IA inspecte un nouveau produit :

S'il s'agit d'un article courant, elle le compare à la mémoire propre et filtrée.
S'il s'agit d'un article rare, elle dispose d'exemples spécifiques de cet article rare dans sa mémoire pour effectuer la comparaison.

Le résultat

En séparant le « rare » du « bruyant », TailedCore n'a pas à choisir entre être trop strict ou trop indulgent. Il obtient le meilleur des deux mondes.

Dans leurs expériences, ils ont testé cela sur des ensembles de données industriels standards (comme MVTec AD et VisA) qu'ils ont artificiellement rendus « bruyants » et « déséquilibrés ». Les résultats ont montré que TailedCore surpassait constamment les modèles actuels de l'état de l'art. Il était bien meilleur pour repérer les défauts sur les produits rares sans se confondre avec les données sales des produits courants.

En bref : TailedCore est une nouvelle façon d'enseigner à une IA à repérer les défauts d'usine lorsque les données d'entraînement sont désordonnées et déséquilibrées, en utilisant un astucieux tour de « dénombrement » pour isoler les articles rares avant même que l'IA ne commence à apprendre.

Résumé Technique : TailedCore

Énoncé du Problème
L'article aborde un scénario pratique mais difficile en détection d'anomalies non supervisée : l'entraînement d'un modèle unique sur un jeu de données multi-classes souffrant de deux complications simultanées. Premièrement, le jeu de données présente une distribution à longue traîne, où les classes « tête » (multi-exemples) sont riches en données, tandis que les classes « queue » (peu d'exemples) disposent de très peu d'échantillons (par exemple, 1, 4 ou 20). Deuxièmement, les données d'entraînement sont bruitées, ce qui signifie que l'ensemble d'entraînement « normal » est contaminé par des échantillons défectueux (anomalies).

Les auteurs identifient un compromis critique « queue-vers-bruit » dans les méthodes existantes. Les modèles robustes au bruit (par exemple, SoftPatch) tendent à filtrer les échantillons rares, les amenant à manquer les informations des classes de queue. Inversement, les modèles efficaces pour capturer les classes de queue (par exemple, PatchCore via un échantillonnage glouton) retiennent souvent le bruit, conduisant à de mauvaises performances sur les classes de tête avec des données d'entraînement contaminées. La littérature existante échoue à gérer simultanément le déséquilibre des classes et la contamination par le bruit au niveau des pixels sans étiquettes de classe explicites.

Méthodologie
La solution proposée, TailedCore, est un modèle de détection d'anomalies basé sur la mémoire conçu pour découpler la gestion des classes de queue du bruit. L'innovation centrale réside dans un processus de construction de mémoire en deux étapes :

Discrimination du Bruit : Le modèle construit d'abord une banque de mémoire de base ( $M_{clean}$ ) en filtrant les patches défectueux de l'ensemble d'entraînement à l'aide d'un score d'outlier (basé sur le Facteur d'Outlier Local), similaire à SoftPatch. Cela garantit que la mémoire de base est exempte de bruit mais peut manquer de représentation des classes de queue.
TailSampler (Échantillonnage Peu Exemple) : Pour récupérer les informations manquantes des classes de queue, les auteurs introduisent TailSampler, un échantillonneur peu exemple novateur.
- Prédiction de la Taille de Classe : TailSampler estime la « taille de classe » (cardinalité) de chaque échantillon d'entraînement sans étiquettes de vérité terrain. Il opère sur l'hypothèse que, dans l'espace d'embedding, la distribution des similarités inter-classes et intra-classes présente une symétrie réflexive.
- Voisinages Adaptatifs : Pour chaque embedding d'échantillon, un angle adaptatif est calculé pour définir un voisinage. La taille de la classe est estimée en prenant la mode des tailles des voisinages des voisins (une approche de « voisinage de voisinages »), plutôt qu'un simple comptage. Cela fournit une estimation robuste de savoir si un échantillon appartient à une petite classe (queue) ou à une grande classe (tête).
- Détection du Coude : Le système détermine le seuil de taille maximale ( $K_{max}$ ) pour une « classe de queue » en appliquant la méthode du coude à la distribution des tailles de classes estimées.
- Échantillonnage Exclusif : Les échantillons avec des tailles de classes estimées $\le K_{max}$ sont identifiés comme des instances de classes de queue. Leurs caractéristiques de patch sont échantillonnées exclusivement pour former une banque de mémoire de queue ( $M_{tail}$ ).
Augmentation de la Mémoire : La banque de mémoire finale pour TailedCore est l'union de la mémoire de base exempte de bruit et de la mémoire spécifique aux queues : $M_{TailedCore} = M_{clean} \cup M_{tail}$ . Cela permet au modèle d'être robuste face au bruit tout en conservant les caractéristiques critiques des classes peu exemple.

Contributions Clés

Formulation du Problème : L'article définit et établit des références pour le cadre spécifique de la détection d'anomalies non supervisée à longue traîne et bruitée, un scénario courant dans les applications industrielles où les lignes de production ont des taux variables et des données d'entraînement défectueuses.
TailSampler : Un prédicteur de taille de classe et un échantillonneur peu exemple novateur qui repose sur la symétrie réflexive des similarités d'embedding pour agréger exclusivement les instances de classes peu exemple, sans nécessiter d'étiquettes de classe.
Modèle TailedCore : Un détecteur basé sur la mémoire qui navigue avec succès dans le compromis queue-vers-bruit en gérant indépendamment l'augmentation des classes de queue et la discrimination du bruit.
Étalonnage Complet : Les auteurs fournissent des expériences étendues sur les jeux de données MVTecAD et VisA modifiés avec des distributions de queue de type Pareto et en marches (step-shaped), démontrant que TailedCore surpasse les méthodes de l'état de l'art (y compris PatchCore, SoftPatch, HVQ, et les approches basées sur des modèles fondateurs comme WinCLIP et AnomalyCLIP) tant pour la classification au niveau de l'image que pour la segmentation au niveau des pixels.

Résultats
Les résultats expérimentaux indiquent que TailedCore surpasse systématiquement les références existantes à travers diverses distributions de queue (Pareto, step-K=4, step-K=1) et ratios de bruit.

Performance : TailedCore atteint des scores AUROC supérieurs au niveau de l'image et des pixels, en particulier dans la catégorie « all » qui équilibre les performances des classes de tête et de queue. Par exemple, sur MVTecAD avec step-K=1, TailedCore atteint un AUROC au niveau de l'image de 94,44 %, surpassant significativement PatchCore (80,01 %) et SoftPatch (75,40 %).
Études d'Ablation : L'étude confirme que le prédicteur de taille de classe (TailSampler) est critique ; la suppression de l'augmentation peu exemple entraîne une chute drastique des performances des classes de queue. La méthode montre également que le mécanisme de « vote majoritaire » dans l'estimation de la taille de classe est plus robuste qu'un simple moyennage ou une sélection top-1.
Robustesse : Le modèle maintient des performances élevées même lorsque le ratio de bruit dans l'ensemble d'entraînement augmente, tandis que d'autres méthodes se dégradent significativement.

Signification et Revendications
L'article revendique que TailedCore représente une avancée significative dans la gestion des scénarios de détection d'anomalies réels où les données sont à la fois déséquilibrées et contaminées. En résolvant le compromis inhérent entre la robustesse au bruit et la sensibilité aux classes de queue, ce travail fournit une base robuste pour les applications industrielles où les entreprises doivent gérer des gammes de produits diverses avec des taux de production variables et une collecte de données imparfaite. Les auteurs soulignent que leur approche ne nécessite ni étiquettes supervisées ni ingénierie de prompts complexe, ce qui en fait une solution pratique pour les environnements non supervisés. Le code et les protocoles de génération de données sont mis à disposition pour faciliter la recherche future dans ce domaine.