Galaxy Morphology Classification: Uncertainty Modeling and Out of Distribution Detection

Het universum is gevuld met miljarden sterrenstelsels, elk een uitgestrekt eiland van sterren, gas en stof. Al bijna een eeuw lang sorteren astronomen deze kosmische eilanden in families op basis van hun vorm: sommige zijn glad en rond als reusachtige bollen licht, terwijl andere platte spiralen zijn met kronkelende armen. Deze sortering, bekend als morfologische classificatie, is niet slechts een kwestie van catalogiseren; de vorm van een sterrenstelsel vertelt een verhaal over de geschiedenis ervan, hoe het is gevormd en hoe het in de loop van de tijd is veranderd. Echter, naarmate moderne telescopen beelden van de hemel vastleggen met een ongekende helderheid en volume, is het enorme aantal sterrenstelsels te groot geworden voor het menselijk oog om ze één voor één te onderzoeken. Om dat tempo bij te houden, hebben wetenschappers gebruikgemaakt van kunstmatige intelligentie, waarbij ze computers hebben geleerd om deze vormen automatisch te herkennen. Maar er is een addertje onder het gras: standaard computerprogramma's zijn vaak overmoedig. Wanneer ze een sterrenstelsel tegenkomen dat vreemd oogt of anders is dan alles wat ze eerder hebben gezien, zullen ze het toch in een bekende categorie dwingen en beweren zeker te zijn, waardoor zeldzame of nieuwe ontdekkingen potentieel verborgen blijven achter een muur van valse zelfverzekerdheid.

Een team van onderzoekers aan het Indian Institute of Technology Hyderabad zette zich in om dit probleem op te lossen door een slimmere manier te bouwen voor computers om sterrenstelsels te classificeren. Ze richtten zich op een specifieke uitdaging genaamd "out-of-distribution" detectie, wat simpelweg het vermogen is om te herkennen wanneer een afbeelding niet tot de bekende groepen behoort. Met behulp van een enorme collectie afbeeldingen van sterrenstelsels uit de Dark Energy Camera Legacy Survey, trainden ze een deep learning-systeem om niet alleen de negen standaardvormen van sterrenstelsels te identificeren, maar ook om toe te geven wanneer het onzeker was. De onderzoekers testten drie verschillende benaderingen. De eerste was een standaardmethode die als baseline werd gebruikt. De tweede introduceerde een nieuwe techniek die meet hoe ver de kenmerken van een sterrenstelsel verwijderd zijn van het centrum van zijn bekende groep, in plaats van alleen maar een categorie te raden. De derde combineerde deze afstandmeting met een methode die dezelfde afbeelding meerdere keren door de hersenen van de computer stuurt met lichte variaties, waardoor het systeem zijn eigen onzekerheid kan inschatten.

De resultaten toonden aan dat de nieuwe methoden veel superieur waren aan de standaardbenadering. Het systeem dat de afstandgebaseerde techniek gebruikte, werd aanzienlijk beter in het opsporen van ongewone sterrenstelsels, waarbij het de bekende vormen met 97 procent nauwkeurigheid correct identificeerde, terwijl het de capaciteit om hen als "onbekend" te identificeren met bijna 90 procent verbeterde ten opzichte van de baseline. Cruciaal was dat dit systeem leerde bescheiden te zijn. Wanneer het een sterrenstelsel tegenkwam dat moeilijk te classificeren was of eruitzag als een mix van verschillende typen, dwong het geen label af. In plaats daarvan gaf het onzekerheid aan, vaak door aan te tonen dat het sterrenstelsel ver verwijderd was van het centrum van een bekende vormgroep. Dit gedrag is essentieel voor toekomstige hemelverkenningen, waarbij het doel niet alleen is om te tellen wat we kennen, maar om het zeldzame, het vreemde en het voorheen onbekende te vinden.

De onderzoekers ontdekten ook dat het combineren van de afstandmethode met de techniek van de meervoudige passages het systeem nog betrouwbaarder maakte. Door de afbeelding vele malen door het netwerk te sturen, kon de computer zien of zijn antwoord bij elke passage licht veranderde. Als het antwoord wankelde, wist het systeem dat het te maken had met iets ambigue. Deze aanpak verminderde de fout in de betrouwbaarheidsscores van het systeem met ongeveer 73 procent, wat betekent dat wanneer de computer zei dat hij zeker was, hij ook werkelijk zeker was, en wanneer hij zei dat hij onzeker was, hij een moeilijk geval correct identificeerde. De studie toonde aan dat door de manier waarop de computer gelijkenis meet te veranderen — met de focus op geometrische afstand in plaats van alleen waarschijnlijkheid — het een duidelijkere scheiding kon creëren tussen bekende sterrenstelsels en diegene die werkelijk nieuw of vreemd zijn.

Dit werk verbetert niet alleen de snelheid van classificatie; het verandert de betrouwbaarheid van het gehele proces. In het verleden zou een geautomatiseerd systeem een zeldzaam, samensmeltend sterrenstelsel met veel vertrouwen verkeerd hebben gelabeld als een algemeen spiraalstelsel, waardoor een unieke kosmische gebeurtenis effectief uit de registers was gewist. Het nieuwe kader zorgt ervoor dat dergelijke anomalieën worden gemarkeerd voor menselijke beoordeling. De onderzoekers verifieerden dat de computer aandacht besteedde aan de juiste delen van de afbeeldingen, zoals spiraalarmen of centrale bulten, in plaats van aan willekeurige ruis of achtergrondartefacten. Wanneer het systeem een fout maakte, kwam dat vaak omdat het sterrenstelsel zelf verwarrend was, met kenmerken die in elkaar overliepen, en het systeem reflecteerde deze verwarring correct via een hogere onzekerheid.

De implicaties voor de astronomie zijn aanzienlijk. Komende telescopen zullen binnenkort miljarden sterrenstelsels vastleggen, een volume dat handmatige controle onmogelijk maakt. Het hebben van een hulpmiddel dat automatisch de bekenden kan sorteren terwijl het betrouwbaar de onbekenden aanwijst, is essentieel voor de ontdekking van de volgende generatie kosmische verschijnselen. De onderzoekers merkten op dat hoewel hun methode zeer effectief is, het meer rekenkracht vereist om de meerdere controles die nodig zijn voor onzekerheid uit te voeren. Ze beargumenteren echter dat deze kosten een kleine prijs zijn voor het vermogen om de geautomatiseerde catalogus te kunnen vertrouwen en om ervoor te zorgen dat geen enkel vreemd of zeldzaam sterrenstelsel onopgemerkt blijft. Door machines te leren de grenzen van hun eigen kennis te herkennen, kunnen astronomen de computers eindelijk het routinematige werk laten afhandelen, zodat zij hun eigen aandacht kunnen richten op de meest mysterieuze en fascinerende objecten in het universum.