LenghuSky-8: An 8-Year All-Sky Cloud Dataset with Star-Aware Masks and Alt-Az Calibration for Segmentation and Nowcasting

Dit artikel introduceert LenghuSky-8, een uitgebreide achtjarige all-sky dataset met sterbewuste maskers en nauwkeurige alt-azimuth-calibratie die wordt gebruikt voor geavanceerde wolkensegmentatie en een benchmark voor korte-termijn weersvoorspelling ter ondersteuning van autonome astronomische observatoria.

De kern

De "LenghuSky-8": Een 8-jaar durende filmrol van de lucht, gemaakt voor sterrenkijkers

Stel je voor dat je een enorme, onzichtbare schildkrijt bent die elke dag en elke nacht naar de lucht kijkt. Je taak is om te vertellen of er wolken zijn, of de lucht helder is, of dat er iets anders (zoals sneeuw of vuil) in de weg zit. Dit is precies wat sterrenwachten nodig hebben om hun telescopen te besturen: ze moeten weten of ze nu kunnen kijken of dat ze beter kunnen wachten tot de wolken wegtrekken.

De auteurs van dit paper hebben een gigantisch project opgezet genaamd LenghuSky-8. Hier is wat ze hebben gedaan, vertaald in simpele taal:

1. De "Gigantische Fotoalbum" (Het Dataset)

Stel je een fotoboek voor dat niet 100, maar 430.000 pagina's telt. Dit boek bevat foto's van de hele lucht (niet alleen een stukje, maar alles om je heen) gemaakt in Lenghu, China, gedurende 8 jaar (van 2018 tot 2025).

• Waarom 8 jaar? Omdat het weer seizoensgebonden is. Je moet een winter, een zomer, een volle maan en een nieuwe maan hebben gezien om een goede voorspelling te kunnen doen.
• De meeste foto's zijn 's nachts: 81% van de foto's is 's nachts gemaakt, want dat is wanneer sterrenkijkers actief zijn.

2. De "Slimme Schildkrijt" (Segmentatie)

Een mens zou duizenden foto's moeten bekijken en met een stift de wolken inkleuren. Dat is te veel werk. Dus hebben de onderzoekers een slimme computer (een AI) getraind om dit te doen.

• Het probleem: Wolken hebben geen scherpe randen, en 's nachts is het donker. Soms lijkt een vlekje sneeuw op een wolk, of een ster op een wolk.
• De oplossing: Ze hebben een heel slimme "bril" op de computer gezet (een model genaamd DINOv3). Deze bril is zo goed getraind dat hij zelfs in het donker en bij maanlicht precies kan zien: "Dit is een wolk", "Dit is de heldere lucht" of "Dit is vuil op de lens".
• Het resultaat: De computer heeft het in 93% van de gevallen perfect goed gedaan, zelfs bij moeilijke situaties.

3. De "Compass en Kaart" (Kalibratie)

Stel je voor dat je een wolk ziet, maar je weet niet precies waar die staat in het heelal. Is die wolk boven de berg of boven de oceaan? Voor een telescoop is dat cruciaal.

• De onderzoekers hebben een trucje bedacht: ze gebruiken de sterren als vaste punten. Omdat we precies weten waar de sterren staan, kunnen ze elke pixel op de foto omrekenen naar een exacte hoogte en richting (zoals een GPS-coördinaat voor de lucht).
• Dit betekent dat als de computer zegt "Er zit een wolk op positie X", de telescoop precies weet waar hij naartoe moet kijken om die wolk te vermijden.

4. De "Weerballon" (Voorspelling)

Het leukste deel: kunnen ze de toekomst voorspellen?

• Ze hebben gekeken of de computer kon raden hoe de wolken zich de komende minuten zouden verplaatsen (net als een weersvoorspelling, maar dan voor 5 minuten vooruit).
• De verrassing: Het bleek verrassend moeilijk! De slimste AI's konden niet veel beter zijn dan een simpele truc: "De wolk van nu is waarschijnlijk ook de wolk van over 5 minuten."
• Dit betekent dat wolken soms heel chaotisch bewegen en dat het nog een uitdaging is om ze perfect te voorspellen.

Waarom is dit belangrijk?

Vroeger moesten sterrenwachten wachten tot het weer goed was, of hun telescopen blindelings laten draaien. Met dit project kunnen ze nu:

1. Automatisch beslissen: "Oh, er komt een wolk aan, ik schakel de telescoop nu uit om energie te sparen."
2. Beter plannen: Ze weten precies welke delen van de lucht vrij zijn voor hun onderzoek.
3. Onderwijs: Andere wetenschappers kunnen deze data gebruiken om hun eigen weer- en wolkenmodellen te verbeteren.

Kortom: Ze hebben een 8-jaar durende filmrol van de lucht gemaakt, elk frame voorzien van een perfecte kaart en een slimme assistent die de wolken herkent. Dit helpt de sterrenkijkers om hun kostbare tijd niet te verspillen aan bewolkt weer.

Technische samenvatting

Probleemstelling

Grondgebaseerde tijdsdomein-observatoria (zoals ZTF, Vera C. Rubin Observatory en het Tianyu-project) zijn afhankelijk van nauwkeurige, minuut-voor-minuut bewustwording van de bewolking op de locatie om hun schedulers voor telescooprichtingen en blootstellingstijden te optimaliseren. Bestaande datasets voor hemelbewolking hebben echter ernstige beperkingen:

1. Korte tijdsduur: De meeste datasets dekken slechts maanden, wat seizoensgebonden modellering onmogelijk maakt.
2. Daglicht-bias: Ze missen vaak nachtelijke data, wat cruciaal is voor astronomie.
3. Gebrek aan kalibratie: Er ontbreekt vaak een astrometrische kalibratie die pixels omzet naar lokale hoogte- en azimutcoördinaten (Alt-Az), wat essentieel is voor de integratie met telescopschedulers.
4. Onvolledige annotatie: Bestaande maskers zijn vaak handmatig gemaakt, schalen niet goed, of missen complexe scenario's zoals sterrenvelden of vervuiling.

Methodologie

1. Dataset: LenghuSky-8
De auteurs presenteren LenghuSky-8, een uniek dataset verzameld op de Lenghu-locatie in Qinghai, China (een premier astronomisch station).

• Omvang: 8 jaar data (2018–2025) met in totaal 429.620 beelden (512×512 pixels).
• Samenstelling: 81,2% van de beelden is 's nachts opgenomen. De data dekt verschillende maanfasen, seizoenen en weersomstandigheden.
• Annotatie: Er zijn drie klassen gedefinieerd: hemel (sky), wolk (cloud) en vervuiling (contamination, bijv. dauw, sneeuw, verlichting).
  • Een conservatieve strategie is toegepast: alleen gebieden met hoge zekerheid zijn gelabeld; dubbelzinnige gebieden zijn gemarkeerd als "vervuiling" om fouten te minimaliseren.
  • Een handmatig gelabelde set van 1.111 beelden dient als benchmark.
• Astrometrische Kalibratie: Met behulp van sterrenvelden en de tool Astrometry.net (aangepast voor de sterke vervorming van fisheye-lenzen) wordt elke pixel gemapt naar lokale Alt-Az-coördinaten.
  • Onzekerheid: ≈0,37° bij het zenit en ≈1,34° bij een hoogte van 30°. Dit is voldoende voor telescoopscheduling.
• Achtergrondmaskers: Automatische detectie van veranderende achtergronden (bijv. een beweegbare koepel van een nabijgelegen gebouw) via een lineaire classifier op DINOv3-features.

2. Segmentatie (Cloud Detection)

• Model: In plaats van een volledig nieuw netwerk te trainen, gebruiken de auteurs DINOv3 (ViT-L/16), een zelf-supervisie model.
• Aanpak: Een lineaire "probe" (een eenvoudige lineaire laag) wordt getraind op de lokale features (patch embeddings) van DINOv3.
• Preprocessing: Beelden worden genormaliseerd en opgeschaald naar 512×512. De focus ligt op het onderscheiden van wolken en hemel onder diverse verlichtingsomstandigheden (inclusief maanlicht).

3. Weersvoorspelling (Nowcasting)

• Taak: Voorspellen van de volgende frame-segmentatie (logits voor hemel/wolk/vervuiling) op basis van de vorige frames.
• Benchmarks: Vier basismodellen werden getest:
  1. Trivial: Kopieer het laatste frame (persistence).
  2. Optical Flow: Extrapolatie van beweging met Farneback's dense optical flow.
  3. ConvLSTM: Een recurrente convolutie-architectuur voor spatiotemporale sequenties.
  4. VideoGPT: Een generatief model dat VQ-VAE en Transformer-decoders combineert.

Belangrijkste Resultaten

Segmentatie

• De DINOv3 lineaire probe (alleen lokale features) bereikte een totale nauwkeurigheid van 93,3% ± 1,1% op de handmatig gelabelde testset.
• Het toevoegen van globale tokens (CLS/register) leverde geen statistisch significant voordeel op.
• Traditionele modellen zoals U-Net, CloudSegNet en SegMAN presteerden aanzienlijk slechter (accuracy rond de 80-88%), wat aantoont dat vooraf getrainde self-supervised features superieur zijn voor deze specifieke taak.

Nowcasting

• De resultaten waren verrassend: ConvLSTM presteerde het beste, maar slechts marginaal beter dan de trivial baseline (persistence).
• Optical Flow en VideoGPT presteerden niet beter dan het simpelweg kopiëren van het vorige frame.
• Conclusie: De evolutie van wolken op korte termijn (5-15 minuten) is extreem moeilijk te voorspellen; de "persistence" (aanname dat het weer hetzelfde blijft) is een zeer sterke baseline. VideoGPT presteerde zelfs het slechtst, wat wijst op de moeilijkheid om complexe wolkendynamica te leren van deze data.

Bijdragen

1. LenghuSky-8 Dataset: Een schaalbare, 8-jarige dataset met dag/nacht-dekking, ster-bewuste maskers en per-pixel Alt-Az kalibratie. Dit is een van de langste en meest complete datasets van zijn soort.
2. Tools en Toolkit: Een open-source toolkit voor het laden van data, evaluatie en het genereren van scheduler-klaar Alt-Az kaarten.
3. Methodologische Inzichten:
   • Bewijs dat DINOv3 met een lineaire probe superieur is voor all-sky segmentatie.
   • Een gedetailleerde analyse van astrometrische kalibratie voor fisheye-camera's.
   • Een benchmark voor cloud nowcasting die laat zien dat complexe deep learning-modellen (zoals VideoGPT) niet automatisch beter presteren dan simpele persistentie-modellen voor deze specifieke tijdschaal.

Significantie

Deze paper is van groot belang voor de astronomie en meteorologie:

• Autonome Observatoria: De dataset en de Alt-Az kalibratie maken het mogelijk om geavanceerde schedulers te bouwen die automatisch beslissen of een telescoop kan waarnemen, gebaseerd op de exacte locatie van wolken ten opzichte van het hemelkoordstelsel.
• Modelverrijking: Het biedt een robuuste basis voor het trainen van modellen die zowel dag- als nachtelijke omstandigheden en complexe vervuilingssituaties kunnen hanteren.
• Realiteitstest voor Nowcasting: De bevinding dat geavanceerde modellen nauwelijks beter presteren dan een simpele kopie van het vorige frame, is een belangrijke waarschuwing voor de gemeenschap: het voorspellen van wolkendynamiek op zeer korte termijn is fundamenteel moeilijk en vereist mogelijk fysiek geïnspireerde modellen of langere tijdsreeksen om effectief te zijn.

De dataset en code zijn openbaar beschikbaar gesteld om onderzoek naar segmentatie, nowcasting en autonome observatoriumoperaties te stimuleren.