A survey detection channel overrides the pixels in an astronomical foundation model, and biases tomographic mean redshifts
Dit artikel으로ontstelt dat fundamentele modellen voor astronomie, zoals AION-1, systematische biases erven van onvolledige detectiekanalen in surveys, waardoor ze segmentatiemaskers boven werkelijke beeldgegevens prioriteren en fotometrische en roodverschuivingsmetingen aanzienlijk verstoren, met name in tomografische analyses.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Astronomen vertrouwen al lang op grootschalige, geautomatiseerde surveys om het universum in kaart te brengen. Deze surveys maken foto's van de hemel en gebruiken vervolgens software om de helderheid, grootte en afstand van elke sterrenstelsel die ze zien te meten. De resultaten worden opgeslagen in enorme digitale catalogi, die dienen als de primaire referentie voor wetenschappers die bestuderen hoe het universum zich over miljarden jaren heeft ontwikkeld. Onlangs is een nieuwe generatie kunstmatige intelligentie dit veld binnengekomen. Dit zijn "foundation models", enorme computerprogramma's die getraind zijn op zowel de ruwe beelden van de hemel als de vooraf gemaakte catalogi die daaruit zijn afgeleid. De hoop is dat deze modellen de diepe patronen van de kosmos kunnen leren begrijpen, en fungeren als een universele vertaler tussen rauw licht en wetenschappelijke waarheid. Maar om deze instrumenten te kunnen vertrouwen in de meest precieze kosmologische studies, moeten wetenschappers precies begrijpen hoe ze beslissingen nemen. Als een model vertrouwt op een afkorting die op specifieke manieren faalt, zou dit een verborgen bias kunnen introduceren die ons hele begrip van de expansie van het universum kan verstoren.
Een recente audit van een krachtig nieuw model genaamd AION-1 heeft een verrassende en potentieel gevaarlijke fout onthuld in de manier waarop het denkt. De onderzoekers ontdekten dat het model niet primair naar het werkelijke licht van de sterren en sterrenstelsels kijkt wanneer het zijn metingen verricht. In plaats daarvan heeft het geleerd te vertrouwen op een digitale kaart die aangeeft waar een sterrenstelsel zich zou moeten bevinden, waarbij het de echte afbeelding vaak negeert als de twee met elkaar in strijd zijn. Dit gedrag is geen kleine glitch; het is een fundamentele voorkeur die in het ontwerp van het model is ingebouwd. Wanneer de onderzoekers dit testten door de afbeelding van een sterrenstelsel exact hetzelfde te houden maar de digitale kaart die de locatie markeert te verplaatsen, veranderden de gerapporteerde metingen van het model drastisch. De geschatte helderheid van het sterrenstelsel kon met bijna tachtig procent dalen, en de geschatte afstand kon wild verschuiven, simpelweg omdat de digitale marker enkele pixels verwijderd werd van het centrum van het object. Het model was niet het licht aan het berekenen; het was een vakje aan het afvinken.
Het mechanisme achter deze fout wordt door de onderzoekers een "detectiepoort" (detection gate) genoemd. In gewone taal uitgedrukt: het model heeft geleerd dat als de digitale kaart zegt dat er een sterrenstelsel aanwezig is op een specifieke plek, er daar ook een sterrenstelsel is, ongeacht wat de pixels daadwerkelijk laten zien. Het behandelt de locatiegegevens van de catalogus als een bevel in plaats van een suggestie. Dit is bijzonder problematisch omdat de software die deze digitale kaarten creëert niet perfect is. In de surveydata die voor de training van het model werd gebruikt, faalt de software in ongeveer 3,7 procent van de gevallen door geen marker op een sterrenstelsel te plaatsen dat duidelijk zichtbaar is in de afbeelding. Wanneer het model een van deze ongemerkte sterrenstelsels tegenkomt, negeert het effectief het licht volledig, waardoor het een zelfverzekerd maar volkomen foutief antwoord produceert. De onderzoekers toonden aan dat deze fout geen willekeurige ruis is; het is een systematische verschuiving die de gemiddelde afstand van hele groepen sterrenstelsels verplaatst. In de ergste gevallen is deze verschuiving groot genoeg om de strikte nauwkeurigheidseisen die zijn gesteld voor toekomstige grote ruimtemissies te breken, wat potentieel de volledige foutmarge die voor deze studies is toegestaan, kan consumeren.
Men zou aannemen dat als het model het fout heeft over de locatie, het tenminste naar het licht zou kijken om de afstand te bepalen. Echter, de studie vond het tegenovergestelde. Wanneer de onderzoekers de gegevens van de catalogus over de kleur of helderheid van een sterrenstelsel corrumpeerden, werd de afstandsschatting van het model negen keer slechter dan wanneer het helemaal geen catalogusgegevens had ontvangen. Het klampte zich vast aan de gebrekkige informatie in plaats van terug te vallen op de ruwe afbeelding. Dit suggereert dat het model op een manier is getraind waardoor de catalogusgegevens een "gratis antwoord" vormden, waardoor het nooit leerde om dat antwoord te verifiëren tegenover de werkelijke foto. Het probleem is zo diep ingebed dat het groter en krachtiger maken van het computermodel het niet oploste; sterker nog, het grotere model leunde nog zwaarder op de gebrekkige catalogusgegevens.
De onderzoekers ontdekten ook dat het vermogen van het model om de vorm en structuur van sterrenstelsels te zien, wordt beperkt door de manier waarop het afbeeldingen naar getallen vertaalt. Het deel van het systeem dat de afbeeldingen verwerkt, werkt als een zeer eenvoudige ladder van helderheidsniveaus, met slechts ongeveer achtentwintig verschillende stappen om het licht te representeren. Dit betekent dat het model geen onderscheid kan maken tussen verschillende vormen of texturen binnen een enkel stuk hemel; het kan alleen aangeven of een stuk helderder of minder helder is. Deze beperking is ingebouwd in de woordenschat van het model en kan niet worden opgelost door simpelweg meer rekenkracht toe te voegen. Hierdoor zal de prestatie van het model op afbeeldingen altijd achterlopen op zijn prestatie wanneer het daadwerkelijke spectra krijgt, die gedetailleerde uitsplitsingen zijn van de kleuren van het licht. Toen de onderzoekers het model deze gedetailleerde spectra leverden, verdween de bias bijna volledig, wat bewees dat het probleem specifiek is voor hoe het model met afbeeldingen omgaat zonder die extra informatie.
De studie concludeert met een duidelijke aanbeveling voor hoe deze krachtige instrumenten veilig te gebruiken. De onderzoekers ontdekten dat het simpelweg verwijderen van de digitale locatiekaart uit de input van het model de bias volledig stopt, zonder de nauwkeurigheid van het model aan te tasten. Het model presteert net zo goed, of zelfs beter, wanneer het wordt gedwongen om naar het licht zelf te kijken in plaats van te vertrouwen op de vooraf gemaakte kaart. Echter, als de kaart wordt verwijderd, mag het model niet worden voorzien van een generieke placeholder, aangezien dat de situatie verergert. De belangrijkste les is dat voor deze kunstmatige intelligentiesystemen om nuttig te zijn in het meest kritieke wetenschappelijke werk, ze zo ontworpen moeten worden dat ze de ruwe data van het universum vertrouwen boven de samenvattingen die mensen er al over hebben geschreven. Zonder deze correctie zouden de instrumenten die bedoeld zijn om de geheimen van de kosmos te onthullen, astronomen in plaats kunnen leiden naar een pad van onzichtbare, systematische fouten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.