Transfer learning for transient search with small-field optical survey telescopes

Technische Samenvatting: Transfer Learning voor Transientie-zoekopdrachten met Optische Survey-telescopen met een Klein Veld

Probleemstelling
De komst van geautomatiseerde optische hemelverkenningen (sky surveys) heeft het gebruik van supervised machine learning (ML) noodzakelijk gemaakt om efficiënt te zoeken naar transiënte gebeurtenissen. Hoewel Convolutionele Neurale Netwerken (CNN's) effectief zijn gebleken bij het onderscheiden van echte transiënten van artefacten (bogus detecties) en bij het classificeren ervan, vereist hun succesvolle inzet doorgaans uitgebreide, handmatig gelabelde trainingsdatasets. Survey-telescopen met een klein veld, zoals de 4-m International Liquid Mirror Telescope (ILMT), worden geconfronteerd met een aanzienlijke uitdaging: zij missen het volume aan gelabelde data dat nodig is om robuuste deep learning-modellen vanaf nul te trainen. Training op onvoldoende datasets brengt het risico op overfitting met zich mee, waarbij modellen goed presteren op trainingsdata maar falen bij het generaliseren naar ongeziene testdata. Bovendien vertrouwen bestaande ILMT-frameworks op synthetische datasets, wat systematische biases kan introduceren en er niet in kan slagen de complexiteit van echte transiënte gebeurtenissen in de echte wereld te vangen.

Methodologie
Deze studie stelt de toepassing van Transfer Learning (TL) voor om het tekort aan data in de ILMT-transiënte zoekpipeline te overwinnen. De methodologie bestaat uit een tweestaps-proces:

1. Training van het Bronmodel: Een CNN-gebaseerde classifier wordt eerst getraind op een grote, gelabelde "bron"-dataset afgeleid van de Zwicky Transient Facility (ZTF). Deze dataset bevat afbeelding-cutouts (triplets van wetenschap, referentie en verschil-stamps) gelabeld door de ALeRCE broker. Drie verschillende bronmodellen zijn ontwikkeld:
   • Een binaire real/bogus classifier.
   • Een 3-klasse transiënte alert classifier (Extended-host, Point-source, Orphan).
   • Een 4-klasse transiënte alert classifier (Extended-host, Point-source, Orphan, en Bogus).
2. Adaptatie van het Doelmodel: De voorgetrainde bronmodellen worden aangepast aan het "doel"-domein (ILMT-data) middels fine-tuning. Om het verschil in pixelresolutie tussen ZTF (1 arcsec/pixel) en ILMT (0.323 arcsec/pixel) aan te pakken, werden ILMT-stamps gedownsampled om de ZTF-schaal te evenaren.
   • Voor de real/bogus classifier werd het gehele netwerk gefinetuned op de kleinere ILMT-dataset met een verlaagde leersnelheid ($10^{-5}$) om de algemene kenmerken die geleerd zijn van ZTF te behouden terwijl het wordt aangepast aan ILMT-specifieke kenmerken.
   • Voor de 3-klasse classifier werd een "layer freezing"-benadering toegepast waarbij de convolutionele basis werd bevroren en alleen de volledig verbonden (fully connected) classifier-lagen werden getraond.
   • Voor de 4-klasse classifier werd het netwerk gefinetuned met een verlaagde leersnelheid ($5 \times 10^{-5}$).

De doeldatasets werden geconstrueerd uit ILMT-observatiecycli (oktober 2023–mei 2024 voor training; oktober 2022–november 2022 voor testen) en handmatig geverifieerd. Data-augmentatie (rotaties) werd toegepast op ondervertegenwoordigde klassen in de doelset.

Belangrijkste Bijdragen

• Proof of Concept voor TL in Kleine Surveys: Het artikel demonstreert dat kennis die is gedestilleerd uit grootschalige surveys (ZTF) effectief kan worden overgedragen naar kleine-veld faciliteiten (ILMT) om CNN's te trainen voor transiënte detectie en classificatie, waardoor de noodzaak voor massieve lokale gelabelde datasets wordt omzeild.
• Dual-Classifier Framework: De studie introduceert en valideert twee typen alert-classifiers: een 3-klasse model voor het classificeren van bevestigde "echte" kandidaten en een 4-klasse model dat artefact-rejectie direct integreert in de classificatiefase.
• Operationele Integratie: De getrainde TL-modellen zijn succesvol geïntegreerd in de bestaande PyLMT-pipeline en ingezet op volledige ILMT-frames, waarmee ze de stap zetten van theoretische validatie naar operationele toepassing.
• Statistische Validatie: De effectiviteit van de TL-aanpak werd rigoureus getest tegen baseline-modellen (getraind zonder TL) met behulp van een unpaired t-test, wat statistisch significante verbeteringen in prestaties bevestigde.

Resultaten
De modellen werden geëvalueerd op onafhankelijke testdatasets afgeleid van eerdere ILMT-observatiecycli.

• Real/Bogus Classificatie: Het TL-gebaseerde model bereikte een testnauwkeurigheid van 97,3%, wat aanzienlijk beter is dan het baseline-model (getraind op enkel ILMT-data zonder TL) dat 90,5% behaalde, en het bron-ZTF model dat direct op ILMT werd toegepast (91,5%).
• Transient Alert Classificatie:
  • De 3-klasse classifier behaalde 92,9% nauwkeurigheid met TL, vergeleken met 77,3% voor de baseline.
  • De 4-klasse classifier behaalde 85,6% nauwkeurigheid met TL, vergeleken met 75,5% voor de baseline.
• Statistische Significantie: Unpaired t-testen bevestigden dat de gemiddelde nauwkeurigheden van de TL-modellen significant hoger waren dan die van de baseline-modellen over alle drie de classifier-typen heen (p-waarden $< 0,05$).
• Operationele Prestaties: Bij inzet op circa 300 volledige ILMT-frames detecteerde de pipeline succesvol diverse astrofysische fenomenen, waaronder asteroiden (mediaan V-band magnitude ~20), variabele sterren, AGN's en supernova-kandidaten (bijv. AT 2024abso, AT 2025chp).

Betekenis en Claims
De auteurs positioneren dit werk als een proof of concept voor het verbeteren van transiënte detectie in kleine-veld surveys, in plaats van een directe vervanging voor bestaande schema's. Het artikel claimt dat de fundamentele beeld-niveau kenmerken van echte transiënten en subtractie-artefacten grotendeels overdraagbaar zijn tussen optische surveys wanneer domeinverschillen (zoals pixelresolutie) worden gemitigeerd.

De primaire betekenis ligt in het vermogen van kleine surveys om kennis te benutten van grootschalige faciliteiten om de implementatie van betrouwbare transiënte pipelines te versnellen zonder jaren te hoeven wachten op de accumulatie van voldoende gelabelde data. De auteurs merken op dat zelfs bescheiden winsten in real/bogus discriminatie de last van handmatige verificatie aanzienlijk kunnen verminderen, wat cruciaal is voor kleine surveys met beperkte menselijke middelen. De auteurs erkennen echter ook beperkingen, waaronder de relatief kleine omvang van de doeldataset, de gedeeltelijke afhankelijkheid van geïnjecteerde bronnen voor bepaalde subklassen, en het potentieel voor data drift door evoluerende observatieomstandigheden, waarbij zij suggereren dat toekomstig werk de exploratie van continual learning-frameworks zou moeten onderzoeken.