🤖 machine learning

TailedCore: Few-Shot Sampling for Unsupervised Long-Tail Noisy Anomaly Detection

Het artikel introduceert TailedCore, een nieuw onbewaakt raamwerk voor anomaliedetectie dat een TailSampler inzet om tail-klasse-stalen en ruisachtige data onafhankelijk te behandelen, waardoor de prestatieafweging tussen ruisrobustheid en tail-klasse-gevoeligheid in langstaartige, verontreinigde datasets wordt overwonnen.

Oorspronkelijke auteurs: Yoon Gyo Jung, Jaewoo Park, Jaeho Yoon, Kuan-Chuan Peng, Wonchul Kim, Andrew Beng Jin Teoh, Octavia Camps

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yoon Gyo Jung, Jaewoo Park, Jaeho Yoon, Kuan-Chuan Peng, Wonchul Kim, Andrew Beng Jin Teoh, Octavia Camps

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kwaliteitscontroleur bent in een enorme fabriek. Je taak is het opsporen van defecte producten op een transportband. Dit artikel, TailedCore, behandelt een zeer specifiek, rommelig real-world probleem waarbij je trainingsdata op twee manieren een nachtmerrie is:

Het "Long-Tail"-probleem: Je hebt duizenden voorbeelden van veelvoorkomende items (zoals standaard schroeven), maar slechts een handvol voorbeelden van zeldzame items (zoals een specifiek, op maat gemaakt tandwiel). In data-terminologie zijn de veelvoorkomende items het "hoofd" van de verdeling, en de zeldzame zijn de "staart".
Het "Ruige"-probleem: Zelfs de "goede" voorbeelden die je hebt, zijn vies. Sommige van de "normale" schroeven in je trainingsstapel hebben eigenlijk kleine krassen of defecten op zich.

Het Dilemma: De "Te Streng vs. Te Zacht" Valstrik

De auteurs merkten op dat bestaande AI-modellen vast komen te zitten in een vreselijke afweging, die zij het "Staart-versus-Ruig Dilemma" noemen.

Het "Te Zachte" Model: Als je een model leert om zeer voorzichtig te zijn met zeldzame items (de staart), begint het verward te raken. Het ziet de kleine krassen op de "normale" items en denkt: "Oh, dit is een defect!" Het wordt te gevoelig en markeert normale dingen als kapot.
Het "Te Streng" Model: Als je een model leert die kleine krassen te negeren (om met het ruige om te gaan), wordt het te hard. Het stopt met aandacht hebben voor de zeldzame items. Het kijkt naar het op maat gemaakte tandwiel en zegt: "Ik heb dit nog nooit gezien, dus ik negeer het gewoon", en mist de werkelijke defecten op de zeldzame items.

Het is alsof je een nieuwe taal probeert te leren waarbij je een woordenboek hebt met 10.000 pagina's veelvoorkomende woorden, maar slechts één pagina met zeldzame woorden, en die ene pagina bevat enkele typefouten. Als je je richt op de typefouten, mis je de zeldzame woorden. Als je je richt op de zeldzame woorden, raak je in de war door de typefouten.

De Oplossing: TailedCore

De auteurs bouwden een nieuw systeem genaamd TailedCore dat dit oplost door de zeldzame items en de ruige items als twee aparte problemen te behandelen. Ze doen dit met behulp van een slim tweestapsproces waarbij een nieuw hulpmiddel dat zij hebben uitgevonden, genaamd TailSampler, wordt ingezet.

Stap 1: De "Klassengrootte Predictor" (TailSampler)

Stel je voor dat je in een drukke ruimte bent waar mensen gegroepeerd zijn op basis van het team waarvoor ze werken. De meeste teams hebben honderden mensen, maar een paar teams hebben slechts één of twee mensen. Je weet niet wie bij welk team hoort, en sommige mensen in de grote teams dragen "defect"-badges (ruigheid).

TailSampler is als een super-slimme observer die kijkt hoe mensen ten opzichte van elkaar staan.

Het gaat ervan uit dat mensen van hetzelfde team onder vergelijkbare hoeken ten opzichte van elkaar staan.
Het berekent hoeveel mensen er waarschijnlijk in een specifieke "cluster" zitten, puur door naar de geometrie van de menigte te kijken.
Als het een kleine cluster ziet (slechts 1 of 2 mensen), weet het: "Ah, dit is een zeldzaam team!"
Cruciaal is dat het het verschil kan maken tussen een "zeldzaam team" en een "eenzame persoon met een defect-badge".

Dit stelt het systeem in staat om exclusief de zeldzame items te selecteren, zonder per ongeluk de ruige, defecte exemplaren uit de veelvoorkomende groepen mee te pakken.

Stap 2: De "Geheugenbank" (TailedCore)

Zodra TailSampler de zeldzame items heeft geïdentificeerd, bouwt TailedCore een speciale "geheugenbank" voor de AI om tijdens inspectie te gebruiken. Deze geheugenbank is een hybride:

Het Schone Deel: Het neemt de veelvoorkomende items, filtert die met krassen (ruigheid) eruit, en slaat de schone versies op.
Het Zeldzame Deel: Het neemt de zeldzame items die door TailSampler zijn geïdentificeerd en voegt ze toe aan het geheugen.

Nu, wanneer de AI een nieuw product inspecteert:

Als het een veelvoorkomend item is, vergelijkt het dit met het schone, gefilterde geheugen.
Als het een zeldzaam item is, heeft het de specifieke voorbeelden van dat zeldzame item in zijn geheugen om mee te vergelijken.

Het Resultaat

Door de "zeldzame" te scheiden van de "ruige", hoeft TailedCore niet te kiezen tussen te streng of te zacht zijn. Het krijgt het beste van beide werelden.

In hun experimenten testten ze dit op standaard industriële datasets (zoals MVTec AD en VisA) die ze kunstmatig "ruig" en "ongebalanceerd" maakten. De resultaten toonden aan dat TailedCore consequent beter presteerde dan de huidige state-of-the-art modellen. Het was veel beter in het opsporen van defecten op zeldzame producten zonder in de war te raken door de vuile data op veelvoorkomende producten.

Kortom: TailedCore is een nieuwe manier om een AI te leren fabrieksdefecten op te sporen wanneer de trainingsdata rommelig en onbalans is, door gebruik te maken van een slimme "hoofd-telling"-truc om de zeldzame items te isoleren voordat de AI zelfs maar begint met leren.

Technische Samenvatting: TailedCore

Probleemstelling
Het artikel behandelt een praktische maar uitdagende scenario in ongesuperviseerde anomaliedetectie: het trainen van één model op een dataset met meerdere klassen die twee gelijktijdige complicaties vertoont. Ten eerste vertoont de dataset een lange-staartverdeling, waarbij "head"-klassen (veel-shot) rijk zijn aan data, maar "tail"-klassen (weinig-shot) zeer weinig samples hebben (bijvoorbeeld 1, 4 of 20). Ten tweede is de trainingsdata ruisachtig, wat betekent dat de "normale" trainingsset is verontreinigd met defecte samples (anomalieën).

De auteurs identificeren een kritieke "tail-versus-ruis trade-off" in bestaande methoden. Modellen die robuust zijn tegen ruis (bijvoorbeeld SoftPatch) neigen ertoe zeldzame samples te filteren, waardoor ze informatie over tail-klassen missen. Omgekeerd houden modellen die effectief zijn in het vastleggen van tail-klassen (bijvoorbeeld PatchCore via greedy sampling) vaak ruis vast, wat leidt tot slechte prestaties op head-klassen met verontreinigde trainingsdata. Bestaande literatuur faalt erin om zowel klassenongelijkheid als pixelniveau-ruisverontreiniging gelijktijdig te behandelen zonder expliciete klassenlabels.

Methodologie
De voorgestelde oplossing, TailedCore, is een op geheugen gebaseerd anomaliedetectiemodel dat is ontworpen om de behandeling van tail-klassen te ontkoppelen van ruis. De kerninnovatie ligt in een tweestaps proces voor geheugenconstructie:

Ruisdiscriminatie: Het model bouwt eerst een basisgeheugenbank ( $M_{clean}$ ) door defecte patches uit de trainingsset te filteren met behulp van outlier-scoring (gebaseerd op Local Outlier Factor), vergelijkbaar met SoftPatch. Dit zorgt ervoor dat de basisgeheugenbank vrij is van ruis, maar kan ontbrekende representatie van tail-klassen hebben.
TailSampler (Few-Shot Sampling): Om de ontbrekende informatie over tail-klassen te herstellen, introduceren de auteurs TailSampler, een nieuwe few-shot sampler.
- Voorspelling van Klassengrootte: TailSampler schat de "klassengrootte" (cardinaliteit) van elke trainingssample zonder ground-truth labels. Het werkt op de hypothese dat in de inbeddingsruimte de verdeling van inter-klassen- en intra-klassen-lijken reflectieve symmetrie vertoont.
- Adaptieve Buurten: Voor elke sample-inbedding wordt een adaptieve hoek berekend om een buurt te definiëren. De klassengrootte wordt geschat door de modus te nemen van de grootte van de buurten van de buren (een "buurt van buurten"-benadering), in plaats van een eenvoudige telling. Dit biedt een robuuste schatting of een sample behoort tot een kleine (tail) of grote (head) klasse.
- Elbow Detectie: Het systeem bepaalt de maximale grootte-drempel ( $K_{max}$ ) voor een "tail-klasse" door de elbow-methode toe te passen op de verdeling van de geschatte klassengroottes.
- Exclusieve Sampling: Samples met een geschatte klassengrootte $\le K_{max}$ worden geïdentificeerd als tail-klasse-instanties. Hun patch-kenmerken worden exclusief gesampled om een tail-geheugenbank ( $M_{tail}$ ) te vormen.
Geheugenvergroting: De uiteindelijke geheugenbank voor TailedCore is de vereniging van de ruisvrije basisgeheugenbank en de tail-specifieke geheugenbank: $M_{TailedCore} = M_{clean} \cup M_{tail}$ . Dit stelt het model in staat om robuust te zijn tegen ruis terwijl het de kritieke kenmerken van few-shot klassen behoudt.

Belangrijkste Bijdragen

Probleemformulering: Het artikel definieert en benchmarkt de specifieke setting van ongesuperviseerde lange-staart ruisachtige anomaliedetectie, een scenario dat veel voorkomt in industriële toepassingen waar productielijnen variërende snelheden en defecte trainingsdata hebben.
TailSampler: Een nieuwe klassengrootte-predictor en few-shot sampler die vertrouwt op de reflectieve symmetrie van inbeddingsgelijkenissen om few-shot klasseninstanties exclusief te aggregeren, zonder klassenlabels te vereisen.
TailedCore Model: Een op geheugen gebaseerde detector die de tail-versus-ruis trade-off succesvol navigeert door tail-klasse-augmentatie en ruisdiscriminatie onafhankelijk te behandelen.
Uitgebreide Benchmarking: De auteurs bieden uitgebreide experimenten op aangepaste MVTecAD- en VisA-datasets met Pareto- en stap-vormige staartverdelingen, waaruit blijkt dat TailedCore state-of-the-art methoden (inclusief PatchCore, SoftPatch, HVQ en op foundation-modellen gebaseerde benaderingen zoals WinCLIP en AnomalyCLIP) overtreft op zowel beeldniveau-classificatie als pixelniveau-segmentatie.

Resultaten
Experimentele resultaten geven aan dat TailedCore consistent betere prestaties levert dan bestaande baselines over verschillende staartverdelingen (Pareto, stap-K=4, stap-K=1) en ruisverhoudingen.

Prestaties: TailedCore behaalt superieure AUROC-scores op beeld- en pixelniveau, met name in de "all"-categorie die head- en tail-prestaties in balans brengt. Bijvoorbeeld, op MVTecAD met stap-K=1 bereikt TailedCore een beeldniveau-AUROC van 94,44%, wat aanzienlijk beter is dan PatchCore (80,01%) en SoftPatch (75,40%).
Ablatiestudies: De studie bevestigt dat de klassengrootte-predictor (TailSampler) cruciaal is; het verwijderen van de few-shot-augmentatie veroorzaakt een drastische daling in tail-klasse-prestaties. De methode toont ook aan dat het "meerderheidsstem"-mechanisme in de schatting van klassengroottes robuuster is dan eenvoudige gemiddelden of top-1-selectie.
Robuustheid: Het model behoudt hoge prestaties zelfs naarmate de ruisverhouding in de trainingsset toeneemt, terwijl andere methoden significant verslechteren.

Betekenis en Claims
Het artikel claimt dat TailedCore een significante stap voorwaarts is in het behandelen van real-world anomaliedetectiescenario's waar data zowel ongelijk verdeeld als verontreinigd is. Door de inherente trade-off tussen ruisrobuustheid en tail-klasse-gevoeligheid op te lossen, biedt het werk een robuuste basis voor industriële toepassingen waarbij bedrijven diverse productlijnen moeten beheren met variërende productiesnelheden en imperfecte dataverzameling. De auteurs benadrukken dat hun benadering geen gesuperviseerde labels of complexe prompt-engineering vereist, waardoor het een praktische oplossing is voor ongesuperviseerde settings. De code en protocollen voor datageneratie zijn beschikbaar gesteld om verder onderzoek op dit domein te faciliteren.