LenghuSky-8: An 8-Year All-Sky Cloud Dataset with Star-Aware Masks and Alt-Az Calibration for Segmentation and Nowcasting

Ce papier présente LenghuSky-8, un jeu de données all-sky de huit années avec des masques d'étoiles et une calibration Alt-Az, conçu pour améliorer la segmentation nuageuse et la prévision à court terme afin d'optimiser les opérations des observatoires astronomiques.

L'essentiel

🌤️ LenghuSky-8 : Le "Carnet de Bord" de 8 Ans du Ciel Chinois

Imaginez que vous êtes le capitaine d'un vaisseau spatial (en réalité, un télescope astronomique) qui doit observer les étoiles. Votre plus grand ennemi ? Les nuages. S'il y a un nuage, vous ne voyez rien. Pour que votre vaisseau fonctionne bien, il a besoin de savoir, minute par minute, s'il fait beau, s'il y a des nuages, ou s'il pleut.

C'est là que cette équipe de chercheurs chinois intervient avec un projet génial : LenghuSky-8.

1. Le Problème : Une Carte Trésor incomplète

Jusqu'à présent, les cartes du ciel disponibles pour les astronomes étaient comme des cartes routières dessinées sur un coin de nappe :

• Elles étaient trop courtes (quelques mois seulement).
• Elles ne montraient que le jour (comme si on ignorait la nuit, alors que les étoiles sont là !).
• Elles ne disaient pas exactement où se trouvait chaque nuage par rapport à l'horizon.

C'est un peu comme essayer de prévoir la météo pour un voyage de 8 ans avec seulement une photo de votre jardin prise un mardi après-midi.

2. La Solution : Un Mémorial de 8 Ans

Les chercheurs ont installé une caméra "œil de poisson" (qui voit tout le ciel en une seule image, comme un dôme) au sommet d'une montagne au Qinghai, en Chine (un endroit idéal pour observer les étoiles car l'air y est très sec).

Ils ont laissé cette caméra prendre des photos toutes les 5 minutes, jour et nuit, pendant 8 ans (de 2018 à 2025).

• Résultat : Plus de 429 000 photos.
• Le détail génial : 81 % de ces photos ont été prises la nuit. C'est une mine d'or pour les astronomes !

3. L'Intelligence Artificielle : Le "Détective des Nuages"

Avoir 400 000 photos, c'est bien, mais les analyser à la main prendrait des siècles. L'équipe a donc utilisé une super intelligence artificielle (basée sur un modèle appelé DINOv3) pour devenir des détectives de nuages.

• L'entraînement : Ils ont montré à l'IA 1 111 photos soigneusement annotées par des humains. Sur ces photos, l'IA a appris à distinguer trois choses :
  1. Le Ciel bleu (parfait pour observer).
  2. Les Nuages (obstacles à éviter).
  3. La "Contamination" (des zones floues : de la poussière sur la lentille, de la neige, ou un reflet de lune trop fort).
• Le résultat : L'IA est devenue si bonne qu'elle a atteint 93,3 % de précision. Elle peut dire, même sous une lune pleine ou un ciel gris, s'il faut ouvrir ou fermer le télescope.

4. La Boussole Astronomique : "Où est-ce que je regarde ?"

Une photo de ciel est souvent déformée à cause de la lentille "œil de poisson". Pour que les astronomes puissent utiliser ces données, ils doivent savoir exactement où pointe chaque pixel de l'image.

• L'analogie : Imaginez que vous avez une carte du monde déformée. Pour savoir où est Paris, vous devez utiliser des points de repère fixes. Ici, les points de repère sont les étoiles.
• La méthode : L'équipe a utilisé la position des étoiles pour recalibrer chaque image. Ils ont créé une "boussole" numérique qui transforme chaque pixel de la photo en coordonnées réelles (Altitude et Azimut).
• Pourquoi c'est important ? Cela permet au télescope de dire : "Ah, il y a un nuage à 30 degrés au-dessus de l'horizon, je vais donc pointer ailleurs".

5. La Prédiction : Peut-on voir le futur ?

L'équipe a aussi essayé de prédire ce qui va se passer dans les 15 prochaines minutes (ce qu'on appelle le "nowcasting").

• Ils ont testé plusieurs méthodes : copier la dernière image, suivre le mouvement des nuages (comme un film), ou utiliser des réseaux de neurones complexes.
• La surprise : Même les super-ordinateurs ont du mal ! Les nuages sont imprévisibles. La méthode la plus simple (regarder la dernière image) fonctionne presque aussi bien que les méthodes complexes. Cela montre à quel point il est difficile de prédire la météo à très court terme.

🏆 En Résumé : Pourquoi c'est une révolution ?

Ce projet, LenghuSky-8, c'est comme donner aux astronomes un GPS météo ultra-précis pour leurs télescopes.

1. Données massives : 8 ans d'histoire du ciel, jour et nuit.
2. Précision chirurgicale : Une IA capable de voir les nuages fins et de les distinguer de la poussière.
3. Utilisation immédiate : Grâce à la calibration des étoiles, les données sont prêtes à être utilisées par les robots des observatoires pour décider automatiquement s'ils doivent travailler ou se reposer.

C'est un outil qui va aider les astronomes à ne plus perdre de temps précieux à regarder un ciel couvert, et à mieux comprendre comment notre Univers dynamique évolue, même sous un ciel nuageux.

Résumé technique

1. Problématique et Contexte

Les observatoires astronomiques basés au sol (comme le Zwicky Transient Facility ou le futur Vera C. Rubin Observatory) nécessitent une connaissance précise et en temps réel de la couverture nuageuse à l'échelle du site pour optimiser leurs calendriers d'observation (scheduling). Cependant, les jeux de données existants pour les caméras tout-ciel (all-sky) souffrent de plusieurs limitations majeures :

• Durée courte : La plupart couvrent seulement quelques mois, empêchant la modélisation des variations saisonnières ou interannuelles.
• Biais diurne : Beaucoup de données sont collectées uniquement le jour, limitant leur utilité pour l'astronomie nocturne.
• Absence d'étalonnage astrométrique : Il est souvent difficile de mapper les pixels de l'image vers des coordonnées célestes réelles (altitude-azimut), ce qui est crucial pour les systèmes de pointage des télescopes.
• Annotations limitées : Les masques manuels ne sont pas évolutifs ou ignorent les conditions complexes (lune, contamination).

L'objectif de ce travail est de combler ces lacunes en fournissant un jeu de données long terme, complet et étalonné, ainsi que des benchmarks pour la segmentation et la prévision immédiate (nowcasting).

2. Méthodologie et Jeu de Données (LenghuSky-8)

L'équipe a créé LenghuSky-8, un jeu de données inédit collecté au site de Lenghu (Qinghai, Chine), un site d'observation astronomique de premier plan.

• Échelle et Temporalité : Le dataset couvre 8 ans (2018–2025) et contient 429 620 images de résolution 512×512. Il présente une couverture nocturne de 81,2 %, ce qui est exceptionnel pour ce type de données.
• Collecte : Les images sont prises avec des caméras équipées de lentilles grand-angle (fisheye) Sigma 4.5mm. La fréquence d'acquisition est de 5 minutes la nuit et 20 minutes le jour.
• Annotations et Masques :
  • Segmentation : Trois classes sont définies : Ciel (Sky), Nuage (Cloud) et Contamination (Contamination). La "contamination" inclut la neige, la rosée, la poussière, ou les zones saturées par la lumière (solaire, lunaire, artificielle).
  • Stratégie d'étiquetage : Une approche conservatrice est adoptée sur un sous-ensemble de 1 111 images manuellement annotées. Seules les régions à haute confiance sont étiquetées pour éviter le bruit lié aux frontières floues entre ciel et nuages fins.
  • Masque de fond : Un masque de fond (background) est généré pour exclure les structures fixes (bâtiments, dômes) qui peuvent varier (ex: dôme mobile).
• Étalonnage Astrométrique (Alt-Az) :
  • Une méthode basée sur ASTROMETRY.NET est utilisée pour calibrer les positions des étoiles.
  • Pour gérer la forte distorsion des lentilles fisheye, les auteurs utilisent une approche par patchs (HEALPix) et des transformations géométriques locales.
  • Les résultats fournissent des coordonnées Altitude-Azimut (Alt-Az) pour chaque pixel avec une incertitude d'environ 0,37° au zénith et 1,34° à 30° d'altitude, suffisante pour l'intégration avec les planificateurs de télescopes.

3. Contributions Clés

1. Le Dataset LenghuSky-8 : Le plus grand jeu de données tout-ciel à long terme (8 ans) avec une couverture jour/nuit équilibrée, des masques de nuages conscients des étoiles et un étalonnage géométrique précis.
2. Outils et Pipeline :
   • Un segmenteur basé sur DINOv3 (modèle auto-supervisé) utilisant un "linear probe" sur les caractéristiques locales.
   • Un outil de calibration astrométrique basé sur les champs d'étoiles pour les caméras fisheye.
   • Une boîte à outils open-source pour le chargement, l'évaluation et la génération de cartes Alt-Az.
3. Benchmark de Nowcasting : Une évaluation comparative de la prévision à court terme (5-15 min) des nuages sur la base des logits de segmentation (ciel/nuage/contamination).

4. Résultats Expérimentaux

A. Segmentation de Nuages

Les auteurs ont comparé plusieurs architectures sur le jeu de test annoté (1 111 images) :

• Meilleure performance : Un linear probe sur les caractéristiques locales de DINOv3 (ViT-L/16) atteint une précision globale de 93,3 % ± 1,1 %.
• Comparaison : Cette approche surpasse les architectures traditionnelles comme les réseaux Encodeur-Décodeur (CloudSegNet-like, 80,4 %), U-Net (85,1 %) et SegMAN (~88,5 %).
• Conclusion : L'utilisation de modèles pré-entraînés massifs (DINOv3) avec un simple ajustement linéaire est plus efficace et robuste, notamment dans des conditions d'éclairage variées (lune, jour, nuit).

B. Prévision Immédiate (Nowcasting)

Quatre méthodes de base ont été testées pour prédire la carte de segmentation de l'image suivante :

1. Persistance (Trivial) : Copier la dernière image.
2. Flux Optique (Optical Flow) : Extrapolation du mouvement.
3. ConvLSTM : Réseau récurrent convolutif.
4. VideoGPT : Modèle génératif basé sur des Transformers.

Résultats surprenants :

• La méthode ConvLSTM obtient la meilleure précision (89,0 %), mais elle n'offre qu'un gain marginal par rapport à la méthode de persistance (88,8 %).
• VideoGPT affiche les performances les plus faibles (87,0 %).
• Interprétation : L'évolution des nuages à très court terme est extrêmement difficile à modéliser avec ces architectures, et la persistance (l'hypothèse que le ciel reste similaire d'une minute à l'autre) reste une ligne de base très forte.

5. Signification et Impact

• Pour l'Astronomie : Ce dataset permet le développement de planificateurs de télescopes autonomes capables de s'adapter dynamiquement aux conditions météorologiques locales, maximisant ainsi le temps d'observation utile. L'étalonnage Alt-Az est une avancée critique pour lier directement les images de nuages aux coordonnées du ciel.
• Pour l'IA et la Météorologie : Il démontre l'efficacité des modèles de représentation visuelle auto-supervisés (DINOv3) pour des tâches de segmentation spécifiques à un domaine, même avec peu d'annotations manuelles.
• Limites et Perspectives : La difficulté de la prévision à court terme (nowcasting) soulignée par les résultats suggère que des approches futures devront intégrer des contraintes physiques (conservation de la masse, advection) ou des données multi-sites pour améliorer la prédiction de l'évolution des nuages.

En résumé, LenghuSky-8 établit une nouvelle référence pour l'étude des nuages par imagerie tout-ciel, combinant une richesse temporelle sans précédent, une précision géométrique et des benchmarks rigoureux pour la recherche en segmentation et prévision.