🤖 machine learning

TailedCore: Few-Shot Sampling for Unsupervised Long-Tail Noisy Anomaly Detection

Das Papier stellt TailedCore vor, ein neuartiges Framework zur unüberwachten Anomalieerkennung, das einen TailSampler einsetzt, um Tail-Klassen-Stichproben und verrauschte Daten unabhängig voneinander zu verarbeiten und dadurch den Leistungsabwägungskonflikt zwischen Rauschrobustheit und Tail-Klassen-Empfindlichkeit in langschwänzigen, kontaminierten Datensätzen zu überwinden.

Ursprüngliche Autoren: Yoon Gyo Jung, Jaewoo Park, Jaeho Yoon, Kuan-Chuan Peng, Wonchul Kim, Andrew Beng Jin Teoh, Octavia Camps

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yoon Gyo Jung, Jaewoo Park, Jaeho Yoon, Kuan-Chuan Peng, Wonchul Kim, Andrew Beng Jin Teoh, Octavia Camps

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Qualitätskontrollinspektor in einer riesigen Fabrik. Ihre Aufgabe besteht darin, fehlerhafte Produkte auf einem Förderband zu erkennen. Diese Arbeit, TailedCore, adressiert ein sehr spezifisches, chaotisches reales Problem, bei dem Ihre Trainingsdaten auf zwei Arten ein Albtraum sind:

Das „Long-Tail"-Problem: Sie haben Tausende von Beispielen für gängige Artikel (wie Standard-Schrauben), aber nur eine Handvoll Beispiele für seltene Artikel (wie ein spezielles, maßgefertigtes Zahnrad). In Datenbegriffen sind die gängigen Artikel der „Kopf" der Verteilung, und die seltenen sind der „Schwanz".
Das „Noisy"-Problem: Selbst die „guten" Beispiele, die Sie haben, sind verschmutzt. Einige der „normalen" Schrauben in Ihrem Trainingsstapel weisen tatsächlich winzige Kratzer oder Mängel auf.

Das Dilemma: Die Falle „Zu streng vs. Zu nachsichtig"

Die Autoren stellten fest, dass bestehende KI-Modelle in einem schrecklichen Zielkonflikt stecken, den sie als „Tail-versus-Noise-Dilemma" bezeichnen.

Das „Zu nachsichtige" Modell: Wenn Sie ein Modell anweisen, bei seltenen Artikeln (dem Schwanz) sehr vorsichtig zu sein, beginnt es, verwirrt zu werden. Es sieht die winzigen Kratzer auf den „normalen" Artikeln und denkt: „Oh, das ist ein Defekt!" Es wird zu empfindlich und markiert normale Dinge als defekt.
Das „Zu strenge" Modell: Wenn Sie ein Modell anweisen, diese winzigen Kratzer zu ignorieren (um das Rauschen zu bewältigen), wird es zu hart. Es hört auf, auf die seltenen Artikel zu achten. Es betrachtet das maßgefertigte Zahnrad und sagt: „Das habe ich noch nie gesehen, also ignoriere ich es einfach" und übersieht dabei die tatsächlichen Defekte an den seltenen Artikeln.

Es ist, als würde man versuchen, eine neue Sprache zu lernen, wobei Sie ein Wörterbuch mit 10.000 Seiten gängiger Wörter haben, aber nur eine Seite mit seltenen Wörtern, und diese eine Seite enthält einige Tippfehler. Wenn Sie sich auf die Tippfehler konzentrieren, verpassen Sie die seltenen Wörter. Wenn Sie sich auf die seltenen Wörter konzentrieren, werden Sie durch die Tippfehler verwirrt.

Die Lösung: TailedCore

Die Autoren entwickelten ein neues System namens TailedCore, das dieses Problem löst, indem es seltene Artikel und verrauschte Artikel als zwei separate Probleme behandelt. Dies geschieht durch einen cleveren Zwei-Schritte-Prozess, der ein neues, von ihnen erfundenes Werkzeug namens TailSampler einsetzt.

Schritt 1: Der „Klassengrößen-Vorhersager" (TailSampler)

Stellen Sie sich vor, Sie befinden sich in einem überfüllten Raum, in dem Menschen nach ihren Arbeitsteams gruppiert sind. Die meisten Teams haben Hunderte von Mitgliedern, aber einige Teams bestehen nur aus ein oder zwei Personen. Sie wissen nicht, wer zu welchem Team gehört, und einige Personen in den großen Teams tragen „Defekt"-Abzeichen (Rauschen).

TailSampler ist wie ein superkluger Beobachter, der betrachtet, wie die Menschen zueinander stehen.

Er geht davon aus, dass Menschen desselben Teams in ähnlichen Winkeln zueinander stehen.
Er berechnet, wie viele Personen sich wahrscheinlich in einem bestimmten „Cluster" befinden, indem er nur die Geometrie der Menschenmenge betrachtet.
Wenn er einen winzigen Cluster sieht (nur 1 oder 2 Personen), weiß er: „Aha, das ist ein seltenes Team!"
Entscheidend ist, dass er zwischen einem „seltenen Team" und einer „einsamen Person mit einem Defekt-Abzeichen" unterscheiden kann.

Dies ermöglicht dem System, ausschließlich die seltenen Artikel herauszufiltern, ohne versehentlich die verrauschten, defekten Artikel aus den gängigen Gruppen mitzunehmen.

Schritt 2: Die „Speicherbank" (TailedCore)

Sobald TailSampler die seltenen Artikel identifiziert hat, baut TailedCore eine spezielle „Speicherbank" für die KI auf, die während der Inspektion verwendet wird. Diese Speicherbank ist ein Hybrid:

Der saubere Teil: Er nimmt die gängigen Artikel, filtert die mit Kratzern (Rauschen) heraus und speichert die sauberen Versionen.
Der seltene Teil: Er nimmt die von TailSampler identifizierten seltenen Artikel und fügt sie dem Speicher hinzu.

Nun, wenn die KI ein neues Produkt inspiziert:

Handelt es sich um einen gängigen Artikel, vergleicht sie ihn mit dem sauberen, gefilterten Speicher.
Handelt es sich um einen seltenen Artikel, verfügt sie über die spezifischen Beispiele dieses seltenen Artikels in ihrem Speicher, um sie zu vergleichen.

Das Ergebnis

Indem es das „Seltene" vom „Verrauschten" trennt, muss TailedCore nicht zwischen zu streng und zu nachsichtig wählen. Es erhält das Beste aus beiden Welten.

In ihren Experimenten testeten sie dies an Standard-Industriedatensätzen (wie MVTec AD und VisA), die sie künstlich „verrauscht" und „unausgewogen" gemacht hatten. Die Ergebnisse zeigten, dass TailedCore die aktuellen State-of-the-Art-Modelle konsequent übertraf. Es war viel besser darin, Defekte an seltenen Produkten zu erkennen, ohne durch die schmutzigen Daten bei gängigen Produkten verwirrt zu werden.

Kurz gesagt: TailedCore ist eine neue Methode, um einer KI beizubringen, Fabrikdefekte zu erkennen, wenn die Trainingsdaten unordentlich und unausgewogen sind, indem ein intelligenter „Kopfzähl"-Trick verwendet wird, um die seltenen Artikel zu isolieren, bevor die KI überhaupt mit dem Lernen beginnt.

Technischer Zusammenfassung: TailedCore

Problemstellung
Der Artikel behandelt ein praktisches, jedoch herausforderndes Szenario in der unüberwachten Anomalieerkennung: das Training eines einzelnen Modells auf einem Multi-Klassen-Datensatz, der unter zwei gleichzeitigen Komplikationen leidet. Erstens weist der Datensatz eine langschwänzige Verteilung auf, wobei „Kopf"-Klassen (viele Beispiele) datenreich sind, während „Schwanz"-Klassen (wenige Beispiele) nur sehr wenige Stichproben aufweisen (z. B. 1, 4 oder 20). Zweitens sind die Trainingsdaten verrauscht, was bedeutet, dass der „normale" Trainingsdatensatz mit defekten Stichproben (Anomalien) kontaminiert ist.

Die Autoren identifizieren einen kritischen „Schwanz-gegen-Rauschen-Trade-off" bei bestehenden Methoden. Modelle, die gegen Rauschen robust sind (z. B. SoftPatch), neigen dazu, seltene Stichproben herauszufiltern, wodurch Informationen über Schwanzklassen verloren gehen. Umgekehrt behalten Modelle, die effektiv Schwanzklassen erfassen (z. B. PatchCore via gieriger Stichprobenziehung), oft Rauschen bei, was zu schlechter Leistung bei Kopfklassen mit kontaminierten Trainingsdaten führt. Die bestehende Literatur versagt darin, Klassenungleichgewicht und pixelweise Rauschkontamination gleichzeitig zu bewältigen, ohne explizite Klassenlabels.

Methodik
Die vorgeschlagene Lösung, TailedCore, ist ein speicherbasiertes Anomalieerkennungsmodell, das entwickelt wurde, um die Behandlung von Schwanzklassen vom Rauschen zu entkoppeln. Die Kerninnovation liegt in einem zweistufigen Speicher-Konstruktionsprozess:

Rauschdiskriminierung: Das Modell konstruiert zunächst eine Basisspeicherbasis ( $M_{clean}$ ), indem es defekte Patches aus dem Trainingsdatensatz mittels Ausreißerbewertung (basierend auf dem Local Outlier Factor) filtert, ähnlich wie SoftPatch. Dies stellt sicher, dass die Basisspeicherbasis frei von Rauschen ist, kann jedoch eine unzureichende Repräsentation von Schwanzklassen aufweisen.
TailSampler (Few-Shot-Stichprobenziehung): Um die fehlenden Informationen zu Schwanzklassen wiederherzustellen, führen die Autoren TailSampler ein, einen neuartigen Few-Shot-Sampler.
- Vorhersage der Klassengröße: TailSampler schätzt die „Klassengröße" (Kardinalität) jeder Trainingsstichprobe ohne Ground-Truth-Labels. Es basiert auf der Hypothese, dass im Embedding-Raum die Verteilung der interklassischen und intraklassischen Ähnlichkeiten eine reflektierende Symmetrie aufweist.
- Adaptive Nachbarschaften: Für jedes Sample-Embedding wird ein adaptiver Winkel berechnet, um eine Nachbarschaft zu definieren. Die Klassengröße wird durch Ermittlung des Modus der Größen der Nachbarschaften der Nachbarn (ein „Nachbarschaft-von-Nachbarschaften"-Ansatz) geschätzt, anstatt durch eine einfache Zählung. Dies liefert eine robuste Schätzung dafür, ob eine Stichprobe zu einer kleinen (Schwanz-) oder großen (Kopf-)Klasse gehört.
- Ellenbogen-Erkennung: Das System bestimmt den maximalen Größen-Schwellenwert ( $K_{max}$ ) für eine „Schwanzklasse", indem die Ellenbogen-Methode auf die Verteilung der geschätzten Klassengrößen angewendet wird.
- Exklusive Stichprobenziehung: Stichproben mit geschätzten Klassengrößen $\le K_{max}$ werden als Instanzen von Schwanzklassen identifiziert. Ihre Patch-Features werden exklusiv entnommen, um eine Schwanzspeicherbasis ( $M_{tail}$ ) zu bilden.
Speicherverstärkung: Die endgültige Speicherbasis für TailedCore ist die Vereinigung der rauschfreien Basisspeicherbasis und der schwanzspezifischen Speicherbasis: $M_{TailedCore} = M_{clean} \cup M_{tail}$ . Dies ermöglicht dem Modell, gegen Rauschen robust zu sein, während gleichzeitig die kritischen Merkmale von Few-Shot-Klassen erhalten bleiben.

Hauptbeiträge

Problemformulierung: Der Artikel definiert und benchmarkt das spezifische Setting der unüberwachten langschwänzigen verrauschten Anomalieerkennung, ein Szenario, das in industriellen Anwendungen häufig vorkommt, wo Produktionslinien unterschiedliche Raten aufweisen und die Trainingsdaten defekt sind.
TailSampler: Ein neuartiger Klassengrößen-Prädiktor und Few-Shot-Sampler, der auf der reflektierenden Symmetrie von Embedding-Ähnlichkeiten basiert, um Few-Shot-Klasseninstanzen exklusiv zu aggregieren, ohne Klassenlabels zu benötigen.
TailedCore-Modell: Ein speicherbasiertes Detektionsmodell, das den Schwanz-gegen-Rauschen-Trade-off erfolgreich bewältigt, indem es die Verstärkung von Schwanzklassen und die Rauschdiskriminierung unabhängig voneinander behandelt.
Umfassendes Benchmarking: Die Autoren liefern umfangreiche Experimente auf modifizierten MVTecAD- und VisA-Datensätzen mit Pareto- und stufenförmigen Schwanzverteilungen. Diese zeigen, dass TailedCore sowohl bei der Bildklassifizierung als auch bei der pixelweisen Segmentierung State-of-the-Art-Methoden (einschließlich PatchCore, SoftPatch, HVQ und foundation-model-basierter Ansätze wie WinCLIP und AnomalyCLIP) übertrifft.

Ergebnisse
Experimentelle Ergebnisse zeigen, dass TailedCore bei verschiedenen Schwanzverteilungen (Pareto, step-K=4, step-K=1) und Rauschanteilen konsistent bestehende Baselines übertrifft.

Leistung: TailedCore erzielt überlegene AUROC-Werte auf Bild- und Pixelebene, insbesondere in der Kategorie „all", die die Leistung von Kopf- und Schwanzklassen ausbalanciert. Beispielsweise erreicht TailedCore auf MVTecAD mit step-K=1 einen Bild-level-AUROC von 94,44 % und übertrifft damit PatchCore (80,01 %) und SoftPatch (75,40 %) signifikant.
Ablationsstudien: Die Studie bestätigt, dass der Klassengrößen-Prädiktor (TailSampler) entscheidend ist; das Entfernen der Few-Shot-Verstärkung führt zu einem drastischen Abfall der Leistung bei Schwanzklassen. Die Methode zeigt zudem, dass der „Mehrheitsvotum"-Mechanismus bei der Klassengrößenschätzung robuster ist als einfaches Mitteln oder die Top-1-Auswahl.
Robustheit: Das Modell behält auch bei steigendem Rauschanteil im Trainingsdatensatz eine hohe Leistung bei, während andere Methoden signifikant nachlassen.

Bedeutung und Behauptungen
Der Artikel behauptet, dass TailedCore einen bedeutenden Fortschritt bei der Bewältigung realer Anomalieerkennungsszenarien darstellt, in denen Daten sowohl unausgewogen als auch kontaminiert sind. Durch die Auflösung des inhärenten Trade-offs zwischen Rauschrobustheit und Schwanzklassensensitivität bietet die Arbeit eine robuste Grundlage für industrielle Anwendungen, in denen Unternehmen diverse Produktlinien mit unterschiedlichen Produktionsraten und unvollkommener Datenerfassung verwalten müssen. Die Autoren betonen, dass ihr Ansatz keine überwachten Labels oder komplexe Prompt-Engineering erfordert, was ihn zu einer praktischen Lösung für unüberwachte Settings macht. Der Code und die Protokolle zur Datengenerierung sind verfügbar, um weitere Forschung in diesem Bereich zu erleichtern.