LenghuSky-8: An 8-Year All-Sky Cloud Dataset with Star-Aware Masks and Alt-Az Calibration for Segmentation and Nowcasting

Il paper presenta LenghuSky-8, un dataset all-sky di otto anni con maschere consapevoli delle stelle e calibrazione alt-azimutale, progettato per migliorare la segmentazione delle nuvole e il nowcasting nei siti osservativi astronomici.

L'essenziale

Immagina di essere un astronomo con un telescopio gigante che guarda il cielo notte dopo notte. Il suo lavoro è cercare nuove stelle, pianeti o fenomeni misteriosi. Ma c'è un grande nemico: le nuvole.

Se una nuvola passa davanti al telescopio, l'osservazione è rovinata. Per questo, gli astronomi hanno bisogno di sapere esattamente dove sono le nuvole, minuto per minuto, per decidere se accendere il telescopio o aspettare che il cielo si schiarisca.

Ecco la storia di LenghuSky-8, un progetto che ha creato la "mappa definitiva" delle nuvole per aiutare gli astronomi.

1. Il Problema: "Non abbiamo abbastanza mappe"

Fino a poco tempo fa, gli astronomi avevano solo mappe delle nuvole molto vecchie, incomplete o fatte solo di giorno. Era come cercare di guidare una macchina di notte con una mappa disegnata a mano solo per il pomeriggio: non funzionava bene. Inoltre, mancava un dettaglio fondamentale: non sapevano esattamente quale punto della foto corrispondeva a quale punto del cielo (ad esempio, "quella nuvola è proprio sopra la testa o a est?").

2. La Soluzione: Un "Diario" di 8 Anni

I ricercatori hanno installato una fotocamera speciale (con una lente "occhio di pesce" che vede tutto il cielo, 360 gradi) in un posto perfetto in Cina, chiamato Lenghu.
Hanno lasciato questa fotocamera a lavorare per 8 anni (dal 2018 al 2025).
Il risultato? Un'enorme raccolta di 429.620 foto del cielo.

• Di giorno e di notte: La maggior parte delle foto è stata scattata di notte, quando le nuvole sono più difficili da vedere ma più importanti per gli astronomi.
• Con le stelle: Hanno usato le stelle come "punti di riferimento" per creare una mappa precisa. È come se avessero disegnato una griglia invisibile sopra ogni foto, sapendo esattamente che coordinate (altitudine e direzione) ha ogni singolo pixel.

3. L'Intelligenza Artificiale: L'Imprenditore che Impara

Hanno preso queste foto e hanno addestrato un'intelligenza artificiale (chiamata DINOv3) a fare due cose:

1. Dividere il cielo: L'AI impara a distinguere tre cose:
   • Cielo pulito (blu, perfetto per guardare le stelle).
   • Nuvole (bianche o grigie, da evitare).
   • Sporcizia/Contaminazione (come gocce di rugiada sulla lente, polvere o luci artificiali che confondono l'AI).
   • Risultato: L'AI è diventata bravissima, con una precisione del 93%. È come se avesse un occhio di falco che non sbaglia quasi mai.

4. La Previsione del Tempo (Nowcasting): "Dove andrà la nuvola?"

La parte più difficile è prevedere cosa succederà nei prossimi 10-15 minuti.
Gli scienziati hanno messo alla prova diverse "scatole nere" (modelli matematici) per vedere quale riusciva a indovinare il movimento delle nuvole:

• Il metodo "Copia e Incolla": "Scommetto che la nuvola è qui anche tra 5 minuti".
• Il metodo "Flusso Ottico": Guarda come si muovono le nuvole e prova a spingerle in avanti.
• Il metodo "ConvLSTM": Un'intelligenza artificiale complessa che cerca di imparare la fisica del movimento.
• Il metodo "VideoGPT": Un modello generativo molto avanzato che cerca di "inventare" il futuro.

La sorpresa: Nonostante la tecnologia avanzata, nessuno di questi modelli è stato molto meglio del semplice "Copia e Incolla". Le nuvole sono così caotiche e imprevedibili che, su scale di tempo così brevi, è difficile fare previsioni migliori di "scommettere che rimarranno dove sono". È come cercare di prevedere esattamente dove cadrà una foglia che cade da un albero in una giornata ventosa: è molto difficile!

5. Perché è importante?

Questo progetto non serve solo agli astronomi.

• Per gli astronomi: Ora possono programmare i telescopi in modo automatico. Se il sistema vede una nuvola in arrivo, sposta il telescopio su un'altra parte del cielo o aspetta, risparmiando tempo e denaro.
• Per la scienza: Abbiamo ora un "libro di testo" di 8 anni di nuvole, con mappe precise, che chiunque può usare per studiare il clima o migliorare le previsioni meteorologiche.

In sintesi

Immagina di aver creato il primo GPS delle nuvole che funziona giorno e notte, preciso come un orologio svizzero, e che ti dice esattamente dove guardare per non sprecare tempo a cercare le stelle. È un passo gigante per rendere l'osservazione dello spazio più intelligente e autonoma.

Sommario tecnico

1. Il Problema

Gli osservatori astronomici basati a terra (come ZTF, Vera C. Rubin Observatory e il progetto Tianyu) necessitano di una consapevolezza minuto per minuto della copertura nuvolosa a scala locale per ottimizzare i loro schedulatori di osservazione. Tuttavia, i dataset esistenti per le immagini "all-sky" (cielo intero) presentano diverse limitazioni critiche:

• Copertura temporale breve: Spesso coprono solo mesi invece di anni, impedendo la modellazione delle variazioni stagionali.
• Bias diurno: Molti dataset sono limitati al giorno, rendendoli inutilizzabili per l'astronomia notturna.
• Mancanza di calibrazione astrometrica: Senza una mappatura precisa dei pixel alle coordinate alt-az (altitudine-azimut), è difficile integrare i dati con gli schedulatori dei telescopi.
• Mancanza di annotazioni robuste: Le maschere manuali spesso non scalano o mancano di attenzione alle stelle e alle condizioni di illuminazione lunare.
• Selezione di casi facili: I dataset esistenti spesso evitano scenari complessi e ambigui presenti nel mondo reale.

2. Metodologia e Dataset: LenghuSky-8

Gli autori hanno presentato LenghuSky-8, un dataset di immagini all-sky raccolto nel sito astronomico di Lenghu (Qinghai, Cina), noto per le sue eccellenti condizioni di osservazione.

• Scalabilità e Copertura: Il dataset copre un periodo di 8 anni (2018–2025) con 429.620 immagini a risoluzione 512×512. Include una copertura notturna dell'81,2%, fondamentale per l'astronomia.
• Pre-elaborazione e Annotazione:
  • Le immagini grezze (4000×6000) vengono ridimensionate e normalizzate.
  • È stata creata una sotto-coppia di dati manualmente etichettata (1.111 immagini) bilanciata per fasi lunari, stagioni e ore del giorno.
  • Le annotazioni distinguono tre classi: Cielo (Sky), Nuvola (Cloud) e Contaminazione (regioni ambigue come neve, rugiada, luce solare/lunare saturata o polvere).
  • Vengono forniti anche maschere di sfondo per gestire ostacoli statici (es. edifici o cupole mobili).
• Calibrazione Astrometrica:
  • Utilizzando la posizione delle stelle e strumenti come ASTROMETRY.NET, ogni pixel è mappato alle coordinate locali altitudine-azimut (Alt-Az).
  • Per gestire la forte distorsione delle lenti fish-eye, viene utilizzato un approccio basato su patch HEALPix e rotazioni locali per risolvere le coordinate.
  • L'incertezza di calibrazione è di circa 0,37° allo zenit e 1,34° a 30° di altitudine, sufficiente per l'integrazione con gli schedulatori dei telescopi.
• Segmentazione:
  • Viene utilizzato DINOv3 (ViT-L/16) per l'estrazione di caratteristiche locali.
  • Un linear probe (sonda lineare) viene addestrato sulle feature locali di DINOv3 per la segmentazione, evitando la necessità di addestrare modelli da zero.

3. Risultati Sperimentali

A. Segmentazione delle Nuvole

Il benchmark è stato condotto su un set di test bilanciato (111 immagini) con metriche di accuratezza, precisione, richiamo e F1-score.

• Miglior Modello: Il linear probe su DINOv3 (utilizzando solo le feature locali) ha raggiunto un'accuratezza complessiva del 93,3% ± 1,1%.
• Confronto: Le architetture tradizionali come Encoder-Decoder (CloudSegNet-like), U-Net e SegMAN hanno mostrato prestazioni inferiori (accuratezza tra l'80% e l'88%). L'aggiunta di token globali (CLS) a DINOv3 non ha migliorato significativamente le prestazioni rispetto all'uso delle sole feature locali.
• Significato: Questo dimostra che i modelli pre-addestrati su larga scala (foundation models) possono essere adattati con pochissimi dati annotati per compiti di segmentazione specifici in domini difficili come le immagini all-sky notturne.

B. Nowcasting (Previsione a Breve Termine)

È stato introdotto un benchmark per prevedere l'evoluzione delle nuvole (logit per cielo/nuvola/contaminazione) basandosi su frame precedenti.

• Baseline Testate:
  1. Persistenza (Trivial): Copiare l'ultimo frame.
  2. Flusso Ottico: Estrapolazione del movimento.
  3. ConvLSTM: Reti ricorrenti convoluzionali.
  4. VideoGPT: Modelli generativi basati su VQ-VAE e Transformer.
• Risultati:
  • ConvLSTM ha ottenuto le prestazioni migliori, ma con un margine di guadagno molto limitato rispetto alla semplice persistenza (accuratezza ~89% vs 88,8%).
  • VideoGPT ha mostrato le prestazioni peggiori.
  • Conclusione: L'evoluzione delle nuvole su scale temporali molto brevi (5-15 minuti) è estremamente difficile da prevedere, e i modelli complessi faticano a superare la semplice ipotesi di invarianza temporale immediata.

4. Contributi Chiave

1. Dataset Unico: LenghuSky-8 è il primo dataset all-sky di lunga durata (8 anni) con annotazioni notturne, maschere consapevoli delle stelle e calibrazione geometrica precisa (Alt-Az).
2. Strumenti Open Source: Rilascio di un toolkit completo che include:
   • Un segmentatore basato su DINOv3.
   • Un calibratore astrometrico basato su campi stellari.
   • Script per il caricamento, la valutazione e la generazione di mappe Alt-Az pronte per gli schedulatori.
3. Benchmark: Definizione di standard per la segmentazione e il nowcasting delle nuvole in contesti astronomici, evidenziando le difficoltà attuali nella previsione a breve termine.

5. Significato e Impatto

Questo lavoro è fondamentale per l'astronomia osservativa moderna e per lo studio ambientale:

• Ottimizzazione degli Osservatori: La calibrazione Alt-Az permette di integrare direttamente i dati sulle nuvole negli schedulatori dei telescopi, massimizzando il tempo di osservazione utile e riducendo i tempi morti.
• Validazione dei Modelli: Dimostra l'efficacia dei modelli di visione pre-addestrati (come DINOv3) in scenari di nicchia con dati annotati limitati.
• Sfida per il Nowcasting: I risultati del nowcasting evidenziano un limite fondamentale: prevedere l'evoluzione delle nuvole su scale temporali di pochi minuti è un problema intrinsecamente difficile, suggerendo che futuri progressi richiederanno l'integrazione di vincoli fisici (es. conservazione della massa, advezione) piuttosto che solo modelli puramente basati sui dati.

In sintesi, LenghuSky-8 fornisce le risorse necessarie per passare da una gestione reattiva delle condizioni meteorologiche negli osservatori a una gestione proattiva e autonoma, pur ponendo una sfida aperta per la ricerca sull'evoluzione atmosferica a breve termine.