AnomalyMatch: Discovering Rare Objects of Interest with Semi-supervised and Active Learning

Technische Samenvatting: AnomalyMatch

Probleemstelling
De identificatie van anomalieën—zeldzame en ongewone uitschieters—in grootschalige beelddatasets is een kritieke uitdaging in de astronomie en computer vision. Terwijl de volgende generatie observatoria zoals Euclid en de Vera C. Rubin Observatory ongekende volumes aan data zullen vrijgeven (miljarden sterrenstelsels), maakt de schaarste aan gelabelde voorbeelden van zeldzame objecten (vaak <0,1% van een dataset) traditionele supervised machine learning-methoden onhaalbaar. Bestaande benaderingen kampen met aanzienlijke hindernissen: unsupervised methoden hebben vaak moeite met de complexiteit van hoogdimensionele beelddata, terwijl supervised methoden grote gelabelde datasets vereisen die niet bestaan voor veel zeldzame morfologieën. Bovendien staan citizen science-initiatieven, hoewel waardevol, voor uitdagingen bij het definiëren van consistente anomalie-criteria en kunnen zij niet opschalen naar de handmatige inspectie van de enorme datavolumes van moderne surveys. Het kernprobleem is het ontwikkelen van een schaalbaar, efficiënt framework dat zeldzame anomalieën kan detecteren met minimale initiële gelabelde data, terwijl het gebruikmaakt van de overvloed aan ongelabelde data en menselijke feedback van experts integreert om detectie te verfijnen.

Methodologie: AnomalyMatch
De auteurs presenteren AnomalyMatch, een semi-supervised anomaly detection framework ontworpen om anomaliedetectie te behandelen als een sterk ongebalanceerd binair classificatieprobleem ("normaal" versus "anomalie"). De methodologie integreert drie primaire componenten:

1. Semi-Supervised Learning (FixMatch): De kernstrategie voor training past het FixMatch-algoritme (Sohn et al. 2020) aan. Het maakt gebruik van een kleine set gelabelde data ($D_L$) en een grote pool van ongelabelde data ($D_U$). Het model, gebaseerd op een EfficientNet-backbone (specifiek EfficientNetLite0), wordt getraind met een gecombineerde verliesfunctie:

   • Supervised Loss: Standaard cross-entropy op de gelabelde set.
   • Unsupervised Loss: Consistentie-regularisatie toegepast op ongelabelde data. Zwak geaugmenteerde afbeeldingen worden gebruikt om hoog-betrouwbare pseudo-labels te genereren (als de betrouwbaarheid van het model een drempelwaarde $\tau=0,95$ overschrijdt). Deze pseudo-labels worden vervolgens gebruikt om de voorspellingen van het model op sterk geaugmenteerde versies van dezelfde afbeeldingen te bestraffen.
   • Imbalance Handling: Het framework maakt gebruik van oversampling via een weighted random sampler om de ernstige klasse-onbalans aan te pakken, waardoor ervoor wordt gezorgd dat zeldzame anomalie-samples adequaat worden gerepresenteerd tijdens de training.

2. Active Learning Loop: Om het tekort aan gelabelde anomalieën te mitigeren, bevat AnomalyMatch een iteratief human-in-the-loop proces. Na de initiële training scoort het model de ongelabelde pool. Een gebruikersinterface (GUI) stelt domeinexperts in staat om:

   • Hoog-scorende kandidaten visueel te inspecteren.
   • Echte anomalieën te verifiëren en fout-positieven te corr corrected (bijv. het onderscheiden van echte anomalieën van imaging-artefacten zoals slechte CCD's of onscherpe regio's).
   • De gelabelde trainingsset iteratief uit te breiden met deze geverifieerde samples.
   • Het model opnieuw te trainen op de uitgebreide set.

3. Schaalbare Implementatie: Het systeem is gebouwd voor hoge prestaties en is in staat om honderden miljoenen afbeeldingen te verwerken op een enkele GPU. Het ondersteunt diverse inputformaten (PNG, JPEG, TIFF, FITS) en integreert met astronomische datastandaarden (HDF5, Zarr) en het ESA Datalabs-platform. De GUI, gebouwd met ipywidgets, faciliteert interactieve exploratie binnen Jupyter notebooks.

Belangrijkste Bijdragen

• Nieuwe Pipeline: Een semi-supervised anomaly detection pipeline die FixMatch (gestroomlijnd voor zware klasse-onbalans), EfficientNet en active learning combineert, wat de vereiste voor gelabelde data aanzienlijk vermindert.
• Interactieve GUI: Een gebruiksvriendelijke interface die experts in staat stelt om iteratief de selectie van anomalieën te sturen, modelfouten te corrigeren en de prestaties te verfijnen zonder directe interactie met de backend.
• Integratie: Naadloze integratie van gevestigde astronomische tools (Astropy normalisatie, FITS-ondersteuning) en implementatie binnen het ESA Datalabs-ecosysteem.
• Uitgebreide Benchmarking: Uitgebreide evaluatie op diverse datasets (miniImageNet, GalaxyMNIST en Galaxy Zoo 2) die prestaties aantonen met extreem beperkte initiële labels (5–10 anomalieën).
• Schaalbaarheid: Een implementatie die in staat is om 100 miljoen afbeeldingen binnen enkele dagen te analyseren, geschikt voor de komende grootschalige surveys.

Experimentele Resultaten
Het framework werd geëvalueerd op drie datasets onder extreme klasse-onbalans:

• miniImageNet: Hierbij werden specifieke objectklassen (bijv. Hourglass, Guitar) als anomalieën behandeld (1% van de data). Startend met slechts 5 gelabelde anomalieën, bereikte AnomalyMatch een gemiddelde AUROC van 0,96 en een AUPRC van 0,82. Na drie active learning-cycli bereikte het 76% precisie in de top 1% van de gerangschikte afbeeldingen.
• GalaxyMNIST: Een dataset van sterrenstelsel-morfologieën waarbij één klasse als de anomalie werd behandeld (25% van de data). Startend met 10 gelabelde anomalieën, bereikte het systeem een gemiddelde AUROC van 0,89 en een AUPRC van 0,77. De precisie in de top 1% bereikte 94%.
• Galaxy Zoo - The Galaxy Challenge: Een subset van ~65.000 sterrenstelsels met "odd" classificaties. Vergeleken met de gevestigde Astronomaly software, behaalde AnomalyMatch een vergelijkbare prestatie met een gemiddelde AUROC van 0,83. De auteurs merken op dat de prestaties gevoelig zijn voor de definitie van "anomalie" (voter fraction cutoffs) in deze soft-label dataset.

Ablatie-studies

• Initiële Labels: Het verhogen van het aantal initiële gelabelde samples (van 100 naar 1000) leverde afnemende meeropbrengsten op, waarbij de prestatie-indicatoren robuust bleven, zelfs met minimale initiële labels.
• Trainingsiteraties: Het optimale aantal trainingsiteraties per active learning-cyclus werd gevonden rond de 100. Langere trainingscycli (250–500 iteraties) leidden tot overfitting op de initiële gelabelde data, wat de algehele detectie-efficiëntie verminderde.

Betekenis en Claims
Het artikel claimt dat AnomalyMatch een uitzonderlijk nut en schaalbaarheid biedt voor anomaliedetectie in domeinen die gekenmerkt worden door een ernstig tekort aan labels, zoals de astronomie. Door semi-supervised learning te combineren met active learning, stelt het framework domeinexperts in staat om wetenschappelijk interessante anomalieën te definiëren en te detecteren in plaats van alleen algemene statistische uitschieters. De auteurs benadrukken dat de methode effectief gebruikmaakt van ongelabelde data om de handmatige review-last te verminderen, waardoor het een praktisch hulpmiddel is voor het tijdperk van datarijke hemelverkenningen. De resultaten onderstrepen dat gespecialiseerde benaderingen die menselijke expertise combineren met efficiënte machine learning essentieel zijn voor het bevorderen van anomaliedetectie in velden waar gelabelde data inherent zeldzaam is. Het artikel concludeert dat hoewel de methode zeer effectief is, toekomstig werk de mogelijkheden van explainable AI, multimodale data-integratie en de impact van labelfouten moet verkennen om de robuustheid verder te vergroten.