💻 computer science

Continual-MEGA: A Large-scale Benchmark for Generalizable Continual Anomaly Detection

Dit artikel introduceert Continual-MEGA, een grootschalige benchmark voor generaliseerbare continue anomaliedetectie die een diverse dataset bevat, inclusief de nieuwe ContinualAD, een nieuw zero-shot generalisatiescenario, en een verenigd baseline-algoritme dat significante verbeteringen laat zien ten opzichte van bestaande methoden in zowel few-shot detectie als pixel-niveau lokalisatie.

Oorspronkelijke auteurs: Geonu Lee, Yujeong Oh, Geonhui Jang, Soyoung Lee, Jeonghyo Song, Sungmin Cha, YoungJoon Yoo

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Geonu Lee, Yujeong Oh, Geonhui Jang, Soyoung Lee, Jeonghyo Song, Sungmin Cha, YoungJoon Yoo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kwaliteitscontrolemanager bent van een enorme fabriek die alles maakt, van tandpasta-tubes tot speelgoedauto's. Jouw taak is om defecten op te sporen: een kras op een auto, een deuk in een blikje, of een scheur in een stof.

In het verleden zou je voor elk product een specialist inhuren. Als je begon met het maken van tandpasta, huurde je een "tandpasta-expert". Als je overschakelde naar het maken van auto's, ontsloeg je de tandpasta-expert en huurde je een "auto-expert" in. Dit is traag, duur en verspillend.

Dit artikel introduceert een nieuwe manier om een enkele, superintelligente AI-assistent te trainen die kan leren om defecten op elk product te herkennen, één na de andere, zonder te vergeten hoe de vorige producten gecontroleerd moesten worden. Ze noemen dit "Continual-MEGA."

Hier is een uitsplitsing van hun werk met eenvoudige analogieën:

1. Het Probleem: De "Amnesie"-fabriek

Echte fabrieken staan niet stil. Nieuwe producten arriveren elke dag.

De Oude Manier: Als je de AI telkens opnieuw traint wanneer er een nieuw product arriveert, lijdt deze vaak aan "catastrofale vergetelheid" (catastrophic forgetting). Het is alsof een student hard studeert voor een wiskundetoets, slaagt, en dan onmiddellijk vergeet hoe hij moet rekenen zodra hij begint met het studeren van geschiedenis.
De Nieuwe Uitdaging: Nog erger, wat als er een defect optreedt op een product dat de AI nog nooit heeft gezien (bijv. een nieuw type plastic fles)? De AI moet slim genoeg zijn om te raden: "Dit ziet er niet goed uit," zelfs zonder dat hij die specifieke fles ooit heeft gezien. Dit wordt Zero-Shot Learning genoemd.

2. De Oplossing: Een Nieuwe "Gym" voor AI (Continual-MEGA)

Om te testen of AI dit daadwerkelijk kan, hebben de auteurs een enorme nieuwe trainingsgrond gebouwd genaamd Continual-MEGA.

De Oude Gyms: Eerdere tests waren als kleine, stille sportsalen met slechts een paar soorten apparatuur (datasets zoals MVTec-AD). Ze waren te makkelijk en weerspiegelden de chaos van een echte fabriek niet.
De Nieuwe Gym (Continual-MEGA): De auteurs hebben een gigantische, chaotische sportschool gebouwd. Ze hebben bestaande datasets gecombineerd met een gloednieuwe dataset die zij zelf hebben gemaakt, genaamd ContinualAD.
- ContinualAD is bijzonder omdat het groot en rommelig is. In plaats van perfecte foto's van 10 identieke appels te maken, maakten ze foto's van appels met verschillende belichting, met verschillende krassen, en zelfs van enkele die een beetje rot waren. Dit dwingt de AI om het concept van een "slechte appel" te leren in plaats van alleen een specifieke foto te memoriseren.

3. De Test: Drie Scenario's

Ze hebben verschillende AI-modellen door drie verschillende "hindernisbanen" gejaagd:

De Marathon (Standaard Continual Learning): De AI leert om 85 soorten producten te controleren, en moet vervolgens één voor één 60 nieuwe soorten producten leren. Kan hij de eerste 85 onthouden terwijl hij de nieuwe leert?
De Blinde Test (Zero-Shot): Nadat de AI de nieuwe producten heeft geleerd, krijgt hij een product te zien dat hij nooit tijdens de training heeft gezien (zoals een specifiek type medisch apparaat). Kan hij nog steeds het defect opsporen?
De Stresstest: Ze hebben de "rommelige" nieuwe dataset (ContinualAD) verwijderd om te zien of de AI nog steeds kon generaliseren. De meeste AI's faalden hierdoor, wat bewees dat de rommelige, diverse data cruciaal was voor het leerproces.

4. De Winnaar: De "Zwitserse Zakmes" AI

De auteurs hebben veel bestaande AI-methoden getest, en de meeste worstelden. Ze presteerden goed bij eenvoudige taken, maar stortten in wanneer de fabriek druk werd en er nieuwe, vreemde producten arriveerden.

Ze stelden hun eigen methode voor, genaamd ADCT (Anomaly Detection across Continual Tasks). Zie deze methode als een Zwitsers zakmes:

De Basis: Het gebruikt een vooraf getraind brein (CLIP) dat al weet wat "normaal" en "abnormaal" in algemene zin is.
De Opzetstukken (Adapters): In plaats van het hele brein voor elk nieuw product opnieuw te bouwen, klikken ze gewoon kleine, lichtgewicht opzetstukken (adapters) vast voor elke nieuwe taak.
De Magische Truk (Feature Synthesis): Omdat ze niet over genoeg foto's van elk mogelijk defect beschikken, stelt de AI zich voor hoe een defect eruit zou zien door "ruis" (willekeurige statische elektriciteit) toe te voegen aan de beeldkenmerken. Het is alsof een chef-kok een soep proeft en zegt: "Als ik een snufje zout toevoeg, zou deze zo smaken," zodat ze niet daadwerkelijk duizenden verschillende soepen hoeven te koken om het recept te leren.

5. De Resultaten

Het Oordeel: Bestaande methoden zijn als studenten die antwoorden uit het hoofd leren; ze falen wanneer de toets verandert. De nieuwe "Zwitserse zakmes" AI is als een student die de principes van het vak begrijpt.
Belangrijkste Bevinding: De AI die de "Zwitserse zakmes"-aanpak gebruikte (lichtgewicht adapters + het voorstellen van defecten) was het meest stabiel. Hij vergat geen oude producten en was verrassend goed in het opsporen van defecten op producten die hij nog nooit eerder had gezien.

Samenvatting

De paper zegt: "We hebben een enorme, realistische trainingsgrond gebouwd voor AI om te leren hoe het fabriekdefecten op nieuwe producten kan herkennen zonder oude te vergeten. We kwamen tot de conclusie dat de huidige AI te rigide is, maar een eenvoudige methode die een vooraf getraind brein combineert met kleine, flexibele toevoegingen en een beetje 'verbeelding' werkt het best."

Belangrijke Opmerking: De auteurs hebben dit strikt getest op industriële objecten (speelgoed, voedsel, elektronica, stoffen). Ze hebben niet beweerd dat dit werkt voor medische diagnoses of menselijke surveillance, en ze hebben benadrukt dat hun data geen persoonlijke informatie bevat.

Technische Samenvatting: Continual-MEGA: Een grootschalige benchmark voor generaliseerbare continue anomaliedetectie

Probleemstelling

Anomaliedetectie (AD) is cruciaal voor kwaliteitscontrole in diverse domeinen, maar bestaande modellen worstelen met dynamische scenario's in de echte wereld. Traditionele benaderingen gaan vaak uit van statische, ongesuperviseerde of per klasse ingestelde instellingen, en slagen er niet in om zich aan te passen aan sequentieel binnenkomende taken waarbij nieuwe objectcategorieën of defecttypen verschijnen. Het opnieuw trainen van modellen vanaf nul voor elke nieuwe taak is computationeel duur en vaak onhaalbaar vanwege beleid rond dataretentie en privacyregels. Bovendien maakt de extreme zeldzaamheid van anomalie-monsters het herverzamelen van historische defectpatronen moeilijk, wat leidt tot catastrofale vergetelheid (catastrophic forgetting).

Hoewel recente ontwikkelingen in Continual Learning (CL) en Zero-Shot Learning (ZSL) potentiële oplossingen bieden, zijn bestaande evaluatiebenchmarks (bijv. MVTec-AD, VisA) beperkt in schaal en diversiteit. Ze testen niet adequaat het vermogen van een model om te generaliseren naar ongeziene klassen na continue adaptatie (Continual Zero-Shot Learning, of CZSL) of om om te gaan met de hoge variantie die voorkomt in realistische industriële omgevingen. Er is een gebrek aan grootschalige benchmarks die diverse publieke datasets integreren met nieuwe, hoog-variabele data om de generaliseerbaarheid en adaptiviteit van AD-systemen rigoureus te evalueren.

Methodologie

De Continual-MEGA Benchmark

De auteurs introduceren Continual-MEGA, een grootschalige benchmark ontworpen om de continue en zero-shot capaciteiten in anomaliedetectie te evalueren. Het integreert zeven bestaande publieke datasets (MVTec-AD, VisA, Real-IAD, VIADUCT, BTAD, MPDD) met een nieuw samengestelde dataset, ContinualAD.

ContinualAD Dataset:

Schaal en Diversiteit: Bestaat uit 30 klassen met 14.655 normale en 15.827 anomalie-afbeeldingen.
Hoge Variantie: In tegenstelling tot eerdere datasets waar afbeeldingen binnen een klasse visueel zeer vergelijkbaar zijn, vertoont ContinualAD een aanzienlijk hogere pixel-niveau variantie. Dit wordt bereikt door objecten onder diverse omstandigheden vast te leggen met 10 verschillende apparaten (variërend van smartphones tot tablets) en diverse defecttypen op te wekken (scheuren, gaten, rot, krassen, etc.).
Annotatie: Anomalie-regio's zijn geannoteerd op pixelniveau met behulp van polygonale maskers.

Evaluatiescenario's:
De benchmark definieert drie onderscheidende scenario's om verschillende aspecten van de modelprestaties te testen:

Scenario 1 (Standaard CL): Pre-training op 85 basisklassen, gevolgd door continual learning met 60 nieuwe klassen die in stappen worden geïntroduceerd (incrementele stappen van 5, 10 of 30 klassen per taak).
Scenario 2 (CZSL): Pre-training op 58 basisklassen (exclusief MVTec-AD en VisA) gevolgd door continual learning op 60 nieuwe klassen. Zero-shot generalisatie wordt vervolgens geëvalueerd op de uitgesloten MVTec-AD en VisA datasets.
Scenario 3 (Effectiviteit van ContinualAD): Vergelijkbaar met Scenario 2, maar sluit de ContinualAD-dataset uit van de trainingsstroom om specifiek de impact van de nieuwe dataset op zero-shot generalisatie te meten.

Metrieken:
Prestaties worden gemeten met behulp van Average Accuracy (ACC) gebaseerd op Image-level AUROC en Pixel-level Average Precision (AP), naast een Forgetting Measure (FM) om de prestatiedegradatie op eerdere taken te kwantificeren.

Voorgestelde Baseline: ADCT

Om de benchmark aan te pakken, stellen de auteurs Anomaly Detection across Continual Tasks (ADCT) voor, een baseline methode gebouwd op het CLIP (Contrastive Language-Image Pre-training) framework. Belangrijke componenten zijn:

Mixture-of-Experts (MoE) Adapters: Lichtgewicht MLP-adapters worden ingevoegd in vier specifieke blokken van de CLIP visuele encoder. Afzonderlijke adapters worden getraind voor elke taak (en de basisset). Tijdens inferentie wordt een gemiddelde van alle adapters ( $A_{avg}$ ) gebruikt om kennis over taken heen te behouden.
Synthetische Feature Generatie: Om dataschaarste te overwinnen en pixel-niveau lokalisatie te verbeteren, genereert de methode synthetische anomalie-features door Gaussische ruis toe te voegen aan de visuele features voordat deze door de adapters worden gestuurd. Dit stelt het model in staat om diverse anomaliepatronen te leren zonder dat uitgebreide echte anomalie-data nodig is.
Tekst Prompts: Gegeneraliseerde tekstprompts worden gebruikt om tekstfeatures te extraheren voor zowel normale als abnormale toestanden, wat zero-shot capaciteiten faciliteert.

Belangrijkste Bijdragen

Continual-MEGA Benchmark: De introductie van een nieuwe, grootschalige benchmark die bestaande publieke datasets combineert met de hoog-variabele ContinualAD-dataset, wat de volume en diversiteit van beschikbare data voor continual AD-onderzoek aanzienlijk vergroot.
Uitgebreide Evaluatie: Uitgebreide evaluatie van diverse state-of-the-art AD-methoden (inclusief VLM-gebaseerde, continual learning-specifieke en alleen-normale-sample benaderingen) laat substantiële ruimte voor verbetering zien, met name in pixel-niveau defectlokalisatie en generaliseerbaarheid naar ongeziene klassen.
ADCT Baseline: De voorstel van een eenvoudige maar effectieve baseline methode die lichtgewicht MoE-stijl adapters combineert met feature synthese. Deze benadering toont aan dat minimale adaptatie aan pre-trained CLIP, in plaats van uitgebreide fine-tuning, robuuste prestaties kan opleveren in zowel continue als zero-shot settings.

Resultaten

Uitgebreide experimenten op de Continual-MEGA benchmark leveren drie primaire bevindingen op:

Beperkingen van Bestaande Methoden: Huidige AD-methoden vertonen aanzienlijke prestatiedalingen, vooral bij pixel-niveau lokalisatie, wanneer ze worden geëvalueerd onder de voorgestelde grootschalige continue settings. Methoden die goed presteren op standaard benchmarks (zoals MVTec-AD) falen vaak bij het generaliseren naar de diverse condities in Continual-MEGA.
Effectiviteit van ContinualAD: De inclusie van de ContinualAD-dataset in de trainingsstroom (Scenario 2 vs. Scenario 3) verbetert de zero-shot generalisatieprestaties voor de meeste methoden aanzienlijk. Omgekeeld leidt het uitsluiten ervan tot een merkbare degradatie in generalisatie, wat de waarde ervan voor het trainen van robuuste modellen onderstreept.
Superioriteit van ADCT: De voorgestelde ADCT-baseline bereikt een superieure algehele prestatie vergeleken met andere methoden in alle scenario's. Het behoudt een hoge nauwkeurigheid terwijl het vergetelheid minimaliseert (lage FM). De ablatie-studie bevestigt dat de combinatie van adapters, synthetische feature generatie en het mixture-of-experts inferentie-schema cruciaal is voor het balanceren van stabiliteit en plasticiteit. Specifiek blijken synthetische features essentieel voor pixel-niveau prestaties, terwijl de MoE-adapterstrategie de sleutel is tot het verminderen van catastrofale vergetelheid.

Betekenis en Claims

Het artikel stelt dat Continual-MEGA een nieuwe agenda voor het anomaliedetectieveld vaststelt door de kloof tussen statische benchmark-evaluaties en de dynamische realiteit van industriële implementatie aan te pakken. De auteurs beweren dat hun werk de praktische noodzaak benadrukt van modellen die incrementeel kunnen adapteren aan nieuwe taken terwijl ze generaliseren naar volledig ongeziene klassen (CZSL).

De betekenis van de voorgestelde baseline (ADCT) ligt in de demonstratie dat lichtgewicht adaptatie gecombineerd met feature synthese een veelbelovende richting is voor het ontwerpen van generaliseerbare continue frameworks. De resultaten suggereren dat excessieve adaptatie of zware sturing van pre-trained modellen zoals CLIP kan leiden tot overfitting op eerder geziene objecten, terwijl een strategie die de pre-trained kennis behoudt en tegelijkertijd diverse anomalie-features synthetiseert, een stabielere en meer generaliseerbare oplossing biedt.

De auteurs concluderen dat hun werk bijdraagt aan de duurzaamheid en reproduceerbaarheid van de productie door de computationele kosten en de CO2-voetafdruk die gepaard gaat met het opnieuw trainen van deep learning-modellen in dynamische omgevingen te verminderen, zonder ethische risico's met betrekking tot persoonlijke gegevens of surveillance te introduceren.