Astro-Hunters: Machine Learning for Exoplanet Transit Detection in TESS Photometry

De zoektocht naar werelden buiten ons eigen zonnestelsel heeft een punt bereikt waarop het menselijk oog de snelheid niet meer kan bijhouden. Ruimtetelescopen zoals TESS scannen de hemel en registreren de helderheid van duizenden sterren elke paar minuten, wat een vloedgolf aan gegevens genereert die zo omvangrijk is dat geen enkele astronoom ze regel voor regel zou kunnen lezen. Binnen deze lichtstroom veroorzaakt een planeet die voor zijn ster langs trekt een minuscule, periodieke daling in de helderheid. Het vinden van deze dalingen is de primaire manier waarop we nieuwe planeten ontdekken, maar het signaal is vaak diep begraven in de ruis van stellaire activiteit en instrumentele eigenaardigheden. Jarenlang was de standaardaanpak om computeralgoritmen te gebruiken om op zoek te gaan naar deze dalingen, waarbij vaak werd vertrouwd op machine learning om de goede kandidaten van de slechte te scheiden. Maar een nieuwe studie suggereert dat het succes van deze computerprogramma's minder afhangt van hoe slim het algoritme is, en veel meer van hoe de computer geleerd heeft om een planeet te herkennen.

De onderzoeker achter dit werk, Fatimah Emad Eldin, bouwde een compleet systeem om planeten te zoeken in de gegevens van de TESS-missie. Ze richtten zich op een specifieke uitdaging: het proberen te spotten van een planeettransit in een enkele snapshot van het licht van een ster, in plaats van te wachten tot het patroon zich over vele banen herhaalt. Dit is een moeilijke taak omdat een enkele snapshot een daling kan laten zien die zo klein is dat het op willekeurige statische ruis lijkt. Om hun computer te trainen, verzamelde het team lichtcurves van twaalf bekende sterrensystemen die bevestigde planeten herbergen. Vervolgens moesten ze de machine leren hoe een "planeettransit" eruitzag in deze gegevens. Dit is waar de studie een kritieke wending nam. In plaats van ervan uit te gaan dat hun trainingslabels perfect waren, behandelden ze de bron van die labels als een variabele die getest moest worden, vergelijkbaar met een wetenschapper die verschillende soorten grond test om te zien welke de beste oogst oplevert.

Wat ze vonden was verbijsterend. De prestaties van hun planeetzoekende machine schommelden extreem afhankelijk van de manier waarop de trainingsdata werden gelabeld. Wanneer het team een gebrekkige methode gebruikte om de labels te maken—specifiek door de computer zijn eigen antwoorden te laten raden op basis van de patronen die hij net had gezien—leek de machine een genie en behaalde hij bijna perfecte resultaten. Dit was echter een illusie; de computer was simpelweg de regels aan het memoriseren die hij zelf had geschreven, een cirkelredenering die niets betekende over echte planeten. In een andere test gebruikten ze de juiste astronomische gegevens, maar maakten ze een eenvoudige fout in de tijdberekening, waarbij ze het verwachte transitvenster met duizenden dagen verschoven. In dat geval presteerde de machine niet beter dan door toeval, waarbij hij geen enkele planeet wist te vinden. Deze twee extremen lieten zien dat de keuze van de trainingsdata het succespercentage van de machine met een factor vierentwintig kon veranderen, een verschil dat veel groter was dan elke verandering in het ontwerp van de machine zelf.

Wanneer de onderzoekers deze fouten corrigeerden en nauwkeurige, geverifieerde astronomische records gebruikten om de exacte momenten aan te duiden waarop planeten voor hun sterren zouden passeren, leerde de machine eindelijk zijn werk te doen. De machine kon transit-signalen identificeren met een nauwkeurigheid die eerlijk en nuttig was, hoewel niet perfect. Zelfs met de best mogelijke training bereikte de machine echter een hard plafond. De studie onthulde dat voor de meeste sterren die zij onderzochten, het signaal van een enkele snapshot van het licht simpelweg te zwak was om met een hoge mate van vertrouwen van de ruis te onderscheiden. De gegevens toonden aan dat een enkele meting van de helderheid van een ster een signaal-ruisverhouding van net boven de twee had, wat betekent dat de dip veroorzaakt door een planeet nauwelijks groter was dan de natuurlijke trilling van de ster zelf. Geen enkele slimme software kon dit fysieke limiet overwinnen; de informatie was simpelweg niet aanwezig in een enkele snapshot.

De onderzoekers vergeleken hun machine learning-aanpak vervolgens met een klassieke, niet-machine-learning methode genaamd Box Least Squares, die werkt door veel snapshots op elkaar te stapelen om een verborgen patroon te onthullen. Deze oudere methode, die rust op het vouwen van de gegevens over de bekende omlooptijd, slaagde erin de omlooptijden van acht van de twaalf sterrensystemen te herstellen, inclusief één systeem waar het single-snapshot signaal zo zwak was dat het onzichtbaar was voor elke machine learning-classificator. Dit resultaat bevestigde dat de sleutel tot het vinden van deze planeten niet een krachtigere computer is, maar de handeling van het combineren van vele zwakke signalen tot één sterk signaal. Het machine learning-model kon, wanneer het correct getraind was, dienen als een nuttig hulpmiddel voor het signaleren van potentiële gebeurtenissen, maar het kon de fundamentele noodzaak om de gegevens over de tijd te vouwen om het signaal zichtbaar te maken niet vervangen.

Uiteindelijk concludeert de studie dat de belangrijkste stap in het vinden van exoplaneten niet de geavanceerdheid van het algoritme is, maar de integriteit van de gegevens die gebruikt worden om het te onderwijzen. De onderzoeker demonstreerde dat een machine learning-model ongelooflijk succesvol of volkomen nutteloos gemaakt kan worden, simpelweg door te veranderen hoe de trainingslabels worden gecreëerd. Ze toonden ook aan dat voor de specifieke taak van het opsporen van een transit op een enkel moment in de tijd, er een fysieke limiet is aan wat bereikt kan worden, bepaald door hoe ruizig het licht van de ster is. De meest effectieve weg voorwaarts blijft de traditionele: gebruik de gegevens om herhalende patronen over de tijd te vinden, en gebruik vervolgens machine learning om de kandidaten die uit dat proces voortkomen te controleren. Het artikel biedt een duidelijk stappenplan voor hoe deze systemen correct gebouwd moeten worden, waarbij wordt gewaarborgd dat de labels die de computer leiden afkomstig zijn van echte astronomische feiten in plaats van interne gissingen, en herinnert het vakgebied eraan dat het signaal vaak te zwak is om gevonden te worden zonder de geduldige methode om de gegevens op te stapelen.