Pre-training vision models for the classification of alerts from wide-field time-domain surveys

Dit artikel pleit voor een paradigma-verschuiving in de classificatie van waarnemingswaarschuwingen van tijdsgebonden astronomische surveys door aan te tonen dat het gebruik van vooraf getrainde, gestandaardiseerde computer-vision-modellen, met name met Galaxy Zoo-gegevens, superieure prestaties en efficiëntie biedt ten opzichte van traditionele, van scratch getrainde CNN's.

De kern

Hier is een uitleg van het onderzoek in eenvoudig, alledaags Nederlands, met behulp van creatieve vergelijkingen.

De Grote Uitdaging: De "Nieuwsbrief" van het Heelal

Stel je voor dat er elke seconde duizenden nieuwe foto's worden gemaakt van de sterrenhemel. Dit doen grote telescopen, zoals de Zwicky Transient Facility (ZTF). Ze zoeken naar dingen die bewegen, veranderen of plotseling oplichten: nieuwe sterren, vallende asteroïden of exploderende sterren.

Elke keer dat de computer iets "nieuw" ziet, stuurt hij een alert (een waarschuwing) naar duizenden astronomen. Het probleem? De meeste van deze waarschuwingen zijn nep. Het zijn vaak glitches in de camera, vliegtuigen die voorbijvliegen of stof in de lucht.

De taak van de astronomen is om door deze enorme berg waarschuwingen te bladeren en alleen de échte, interessante gebeurtenissen eruit te vissen. Dat is als het zoeken naar een naald in een hooiberg, maar dan met een miljoen hooibergen per dag.

De Oude Manier: De Eigen Bouwer

Voorheen maakten astronomen hun eigen "slimme computers" (kunstmatige intelligentie) om deze alerts te filteren. Ze bouwden deze modellen van de grond af op, alsof ze een auto zelf moesten ontwerpen, elk schroefje moesten kiezen en de motor zelf moesten bouwen.

• Het nadeel: Dit kost veel tijd, veel energie en vaak werken deze zelfgebouwde auto's niet sneller of beter dan de fabrieksmodellen die al op de markt zijn.

De Nieuwe Manier: De "Leerling" met een Ervaringsverleden

In dit nieuwe onderzoek kijken de auteurs naar een slimme truc uit de wereld van computerwetenschap: Pre-training (vooropleiding).

Stel je voor dat je een student wilt opleiden om auto's te herkennen.

1. De oude methode: Je zet de student voor een lege kamer en zegt: "Leer nu wat auto's zijn." Hij moet alles zelf uitvinden.
2. De nieuwe methode: Je geeft de student eerst een jaar lang duizenden foto's van alledaagse dingen (honden, bomen, auto's, gezichten) te zien. Hij leert dan al hoe vormen, schaduwen en texturen werken. Daarna zet je hem pas aan de taak: "Nu gaan we kijken naar foto's van de sterrenhemel."

De onderzoekers hebben twee soorten "vooropleidingen" getest:

1. ImageNet: De student leert van foto's van alledaagse dingen op aarde (honden, fruit, auto's).
2. Galaxy Zoo: De student leert van foto's van echte sterrenstelsels, gemaakt door duizenden vrijwilligers.

Wat vonden ze? De verrassende resultaten

Het onderzoek toont drie belangrijke dingen aan:

1. De "Vooropleiding" werkt beter dan zelf beginnen
Modellen die eerst op grote datasets waren getraind, waren veel beter in het vinden van echte sterrenfenomenen dan de modellen die van nul werden opgebouwd. Het is alsof de student die al een jaar ervaring heeft, veel sneller de juiste naald in de hooiberg vindt dan de beginner.

2. De beste leraar is een collega-astronoom
Het meest interessante resultaat was dit: Modellen die eerst waren getraind op sterrenfoto's (Galaxy Zoo), presteerden beter dan diegene die waren getraind op alledaagse foto's (ImageNet).

• De analogie: Het helpt meer om een student eerst te laten kijken naar foto's van andere sterrenstelsels, dan om hem eerst foto's van bananen en auto's te laten zien. De "sterren-ervaring" is directer toepasbaar.

3. De "Off-the-shelf" modellen zijn sneller en slimmer
De onderzoekers gebruikten standaardmodellen die al door de wereld zijn ontwikkeld (zoals ConvNeXt en MaxViT).

• Snelheid: Deze standaardmodellen waren niet alleen slimmer, maar ook veel sneller. Ze konden duizenden waarschuwingen per seconde verwerken, terwijl de oude, zelfgebouwde modellen hier veel langer over deden.
• Efficiëntie: Het is alsof je een moderne, zuinige elektrische auto kiest in plaats van een oude, zware vrachtwagen die je zelf hebt gebouwd. De elektrische auto doet hetzelfde werk, maar verbruikt minder brandstof (rekenkracht) en is sneller.

Waarom is dit belangrijk?

We staan aan de vooravond van een nieuwe tijd in de astronomie. De komende jaren komen er nog grotere telescopen (zoals de Rubin Observatory) die nog veel meer foto's maken dan nu. De hoeveelheid data zal exploderen.

Als we blijven werken met de oude, trage, zelfgebouwde modellen, zullen we verdrinken in de data. We zullen de echte ontdekkingen missen omdat we te lang bezig zijn met het filteren van nep-alerts.

De conclusie van het papier:
Het is tijd voor een verandering. Astronomen moeten stoppen met het zelf bouwen van complexe modellen en in plaats daarvan gebruikmaken van de slimme, snelle en voorgetrainde modellen die al bestaan. Door deze modellen eerst te laten "leren" van andere sterrenfoto's, kunnen we de toekomst van de sterrenkunde veel efficiënter en succesvoller maken.

Kort samengevat: Gebruik de slimme, voorgetrainde modellen van de wereld (vooral die getraind op sterrenfoto's) in plaats van je eigen auto te bouwen. Je bent sneller, zuiniger en vindt meer schatten in de sterrenhemel.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Pre-training vision models for the classification of alerts from wide-field time-domain surveys" in het Nederlands.

Probleemstelling

Moderne tijdsgebonden astronomische surveys (zoals ZTF en de toekomstige LSST) genereren enorme hoeveelheden data door beelddifferentiatie, wat leidt tot een stroom van waarschuwingen (alerts) over nieuwe, bewegende of variabele bronnen. Het filteren van deze alerts om wetenschappelijk interessante gebeurtenissen (zoals supernova's) te isoleren, is cruciaal. Hoewel Machine Learning (ML) al jaren wordt gebruikt, trainen astronomen vaak nog steeds aangepaste Convolutional Neural Networks (CNNs) vanaf nul voor specifieke taken.

De huidige stand van de kunst in computer Vision (CV) verschilt hier fundamenteel van: in de algemene CV-wereld is het standaard om voortrainde modellen (pre-trained) te gebruiken die zijn getraind op grote, generieke datasets (zoals ImageNet) of specifieke domeinen, en deze vervolgens aan te passen (fine-tuning) voor de specifieke taak. Het artikel onderzoekt of deze moderne CV-praktijken, inclusief het gebruik van gestandaardiseerde architecturen en pre-training, superieur zijn aan de traditionele, vanaf nul getrainde aangepaste CNNs voor het classificeren van astronomische alerts.

Methodologie

De auteurs hebben een uitgebreid experimenteel ontwerp opgezet om verschillende designkeuzes te evalueren voor het classificeren van transient-candidaten (voornamelijk gebaseerd op de BTSbot-taak van de Zwicky Transient Facility).

1. Architecturen:

   • Baseline: Een kleine, aangepaste CNN (zoals vaak gebruikt in de astronomieliteratuur).
   • Standaardmodellen: Twee moderne, "off-the-shelf" architecturen met verschillende filosofieën:
     • ConvNeXt: Een moderne herinterpretatie van CNNs (geen attention-mechanismen), geoptimaliseerd voor efficiëntie.
     • MaxViT: Een Vision Transformer (ViT) variant die gebruikmaakt van multi-as attention-mechanismen voor globale en lokale relaties.
   • Selectie: De kleinste versies (ConvNeXt-pico en MaxViT-tiny) werden gekozen vanwege de beperkte grootte van de trainingsset.

2. Pre-training Regimes:

   • Vanaf nul (From scratch): Trainen met willekeurige initialisatie.
   • ImageNet: Pre-training op een dataset van alledaagse objecten (niet-astronomisch).
   • Galaxy Zoo: Pre-training op astronomische data (galaxiemorfologie) van burgerschapsprojecten.

3. Datasets en Taken:

   • Finetuning Dataset 1: ZTF-alerts (wetenschappelijke, referentie- en verschilbeelden).
   • Finetuning Dataset 2: Legacy Survey (DESI) kleurafbeeldingen (om de distributieshift te testen).
   • Taak: Binair classificeren van alerts (waar/onnauwkeurig) en het prioriteren van follow-up voor heldere extragalactische transiënten.
   • Data-efficiëntie: Experimenten werden herhaald met trainingssets van 5%, 10%, 50% en 100% van de totale data om te zien hoe goed de modellen presteren met minder gelabelde data.

4. Multi-modale Modellen:

   • Naast puur visuele modellen werden ook multi-modale modellen getest die beeldgegevens combineren met metadata (zoals magnitude en tijdsreekskenmerken), vergelijkbaar met de productie-versie van BTSbot.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het artikel pleit voor een verschuiving van het trainen van aangepaste CNNs vanaf nul naar het gebruik van gestandaardiseerde, voortrainde architecturen in de tijdsgebonden astronomie.
• Vergelijking van Domeinen: Het toont aan dat pre-training op astronomische data (Galaxy Zoo) effectiever is dan pre-training op niet-astronomische data (ImageNet) voor deze specifieke taak, ondanks de verschillen in beeldstructuur (RGB vs. verschilbeelden).
• Efficiëntie-analyse: Het biedt een gedetailleerde analyse van de rekenefficiëntie (doorvoer en geheugengebruik) tussen traditionele CNNs en moderne architecturen, wat vaak over het hoofd wordt gezien in puur op prestatie gerichte studies.
• Open Source: De auteurs hebben de getrainde modellen en code openbaar gemaakt op Hugging Face en GitHub om de overgang voor de gemeenschap te vergemakkelijken.

Resultaten

1. Prestaties (ROC AUC en F1-score):

   • Modellen die zijn voortraind op Galaxy Zoo presteerden over het algemeen het beste, vaak beter dan ImageNet-voortraining en aanzienlijk beter dan training vanaf nul.
   • De Galaxy Zoo MaxViT bereikte de hoogste prestaties, met een ROC AUC tot ~0,025 hoger dan de baseline.
   • ConvNeXt presteerde consistent gelijk aan of beter dan de aangepaste baseline CNN, zelfs bij kleinere trainingssets.
   • Bij multi-modale modellen (beeld + metadata) overtroffen de standaardmodellen de baseline bij grote trainingssets (>300k alerts), terwijl de baseline beter presteerde bij zeer kleine datasets.

2. Rekenefficiëntie:

   • ConvNeXt bleek verrassend efficiënter dan de aangepaste CNN, ondanks meer parameters. Het was 6,4x sneller op CPU en gebruikte 5,5x minder geheugen. Dit komt door optimalisaties zoals 'depthwise convolutions' en grote kernel-steps.
   • MaxViT bood de hoogste maximale prestaties, maar was computationally zwaar (20x trager op CPU dan ConvNeXt) door de attention-mechanismen.

3. Data-efficiëntie:

   • Voortrainde modellen behaalden dezelfde prestatieniveaus met minder gelabelde data dan modellen die vanaf nul werden getraind. Dit is cruciaal voor toekomstige surveys zoals LSST waar de hoeveelheid data de capaciteit voor handmatige labeling zal overtreffen.

4. Kwalitatieve Analyse (UMAP):

   • UMAP-visualisaties van de latent spaces toonden aan dat modellen met verschillende pre-training regimes convergeren naar vergelijkbare structuren, maar dat de pre-training een blijvend effect heeft op de substructuur van de features. Dit hielp bij het identificeren van uitschieters en labelruis in de dataset.

Betekenis en Conclusie

De studie concludeert dat het adopteren van de nieuwste praktijken uit het veld van computer vision (voortraining en gestandaardiseerde architecturen) leidt tot betere prestaties, hogere data-efficiëntie en aanzienlijk lagere rekentijd voor het verwerken van alertstromen.

• Voor de toekomst: Met de komst van de LSST (Legacy Survey of Space and Time), die tienduizenden alerts per seconde zal genereren, zijn de huidige aangepaste CNNs niet schaalbaar genoeg.
• Aanbeveling: De auteurs raden ConvNeXt aan voor de bulk van de verwerking vanwege de uitstekende balans tussen prestaties en snelheid (geschikt voor CPU-omgevingen). Voor complexe of twijfelachtige alerts kunnen zwaardere modellen zoals MaxViT worden ingezet.
• Implementatie: De auteurs hebben al een multi-modale ConvNeXt-model (voortraind op Galaxy Zoo) geïmplementeerd in de productie-omgeving van BTSbot, wat de doorvoer van het systeem aanzienlijk verbetert en bottlenecks voorkomt.

Kortom, de paper demonstreert dat de astronomie-gemeenschap kan profiteren van de snelle vooruitgang in de algemene AI-wereld om de uitdagingen van de "Rubin-ère" en andere grote surveys effectiever aan te pakken.