LenghuSky-8: An 8-Year All-Sky Cloud Dataset with Star-Aware Masks and Alt-Az Calibration for Segmentation and Nowcasting

O artigo apresenta o LenghuSky-8, um conjunto de dados de imagens de céu completo de oito anos com máscaras de nuvens conscientes de estrelas e calibração alt-azimutal, projetado para aprimorar a segmentação de nuvens, a previsão de curto prazo e as operações autônomas de observatórios astronômicos.

O essencial

Imagine que você é o capitão de um navio de exploração espacial (um telescópio) que precisa navegar pelo oceano do universo. Mas há um problema: às vezes, nuvens cobrem o céu, impedindo você de ver as estrelas. Para não perder tempo tentando olhar através de nuvens, você precisa de um previsor de tempo superinteligente que diga: "Ei, capitão, daqui a 10 minutos aquela nuvem vai passar, mas agora está muito nublado, melhor esperar!"

O artigo que você enviou apresenta uma solução incrível para esse problema, chamada LenghuSky-8. Vamos descomplicar como se fosse uma receita de bolo ou uma história de aventura:

1. O Grande Álbum de Fotos (O Dataset)

Pense no LenghuSky-8 como um álbum de fotos gigantesco e histórico.

• O que é: São 8 anos de fotos tiradas ininterruptamente de um local especial no topo de uma montanha na China (o deserto de Lenghu), que é um dos melhores lugares do mundo para observar estrelas.
• O tamanho: São mais de 429.000 fotos do céu inteiro (como se você tirasse uma foto de 360 graus a cada 5 minutos, dia e noite).
• O diferencial: A maioria das fotos antigas de nuvens só mostrava o dia ou tinha poucos detalhes. Este álbum tem fotos de dia, de noite, com lua cheia, lua nova, e até com neve ou poeira. É como ter um diário de bordo completo de 8 anos, não apenas alguns dias.

2. O Mapa do Tesouro (Calibração Alt-Az)

Imagine que você tem uma foto de um céu cheio de nuvens, mas não sabe onde exatamente no céu real aquela nuvem está. É como ter um mapa de um tesouro sem as coordenadas.

• A mágica: Os pesquisadores usaram as estrelas (que são como faróis fixos no céu) para criar um mapa de coordenadas perfeito para cada pixel da foto.
• Para que serve: Isso permite que o telescópio saiba exatamente: "Ah, aquela nuvem está a 30 graus de altura e 120 graus de direção". Assim, o telescópio pode desviar o olhar para um lugar limpo, como um carro de GPS desviando de um engarrafamento.

3. O "Olho" que Entende Nuvens (Segmentação)

Nuvens são chatas para computadores porque não têm bordas definidas (elas são fofas e mudam de forma).

• O problema: Ensinar um computador a diferenciar uma nuvem fina de uma poeira ou de um reflexo da lua é difícil.
• A solução: Eles usaram uma inteligência artificial moderna (chamada DINOv3) que já "viu" milhões de imagens antes. Eles treinaram essa IA para olhar para as fotos e pintar o céu de azul (céu limpo), cinza (nuvem) ou rosa (sujeira/interferência).
• O resultado: A IA acertou 93,3% das vezes em testar fotos novas. É como ter um assistente que nunca se cansa e vê o que nossos olhos às vezes confundem.

4. A Bola de Cristal (Previsão de Curto Prazo)

Agora que sabemos onde estão as nuvens, a pergunta é: O que vai acontecer daqui a 10 minutos?

• O desafio: Nuvens se movem de formas caóticas. Tentar prever o futuro delas é como tentar prever a trajetória de uma folha caindo em um rio turbulento.
• O teste: Eles testaram várias "bolas de cristal" (modelos de IA):
  1. A "Cópia" (Trivial): "Se estava nublado agora, vai estar nublado daqui a 5 minutos." (Surpreendentemente, isso funciona muito bem!).
  2. O "Vento" (Fluxo Óptico): Tenta ver para onde a nuvem está indo e empurrá-la.
  3. O "Cérebro" (ConvLSTM): Uma IA que tenta aprender o padrão de movimento.
  4. O "Sonhador" (VideoGPT): Uma IA que tenta "imaginar" o futuro.
• A descoberta curiosa: A IA mais complexa (VideoGPT) foi a pior! A IA que apenas "copia" a imagem atual (Trivial) funcionou quase tão bem quanto as complexas. Isso nos ensina uma lição importante: prever nuvens a curto prazo é incrivelmente difícil, e às vezes, assumir que "o que está acontecendo agora vai continuar acontecendo" é a melhor aposta.

Por que isso importa?

Este trabalho é como dar um superpoder aos observatórios astronômicos modernos.

• Economia de tempo: Em vez de o telescópio ficar "olhando para a parede" (céu nublado) e perdendo tempo valioso, o sistema avisa: "Espere 5 minutos, a nuvem vai passar".
• Autonomia: Os telescópios podem tomar decisões sozinhos, sem precisar de um humano no computador dizendo o que fazer.
• Ciência: Isso ajuda a entender melhor o clima local e a proteger equipamentos caríssimos de condições ruins.

Resumo da Ópera:
Os pesquisadores criaram um "livro de receitas" de 8 anos de fotos do céu, ensinaram um robô a ler esse livro com precisão cirúrgica e descobriram que, embora prever o futuro das nuvens seja difícil, ter esse mapa detalhado e esse robô inteligente já é o suficiente para fazer os telescópios trabalharem de forma muito mais eficiente, como um capitão experiente que sabe exatamente quando içar as velas e quando se abrigar.

Resumo técnico

Resumo Técnico: LenghuSky-8

1. Problema e Motivação

Os observatórios terrestres de domínio temporal (como o ZTF, Vera C. Rubin e o Projeto Tianyu) dependem de programadores de telescópios ("schedulers") conscientes das nuvens para maximizar o retorno científico. Esses sistemas exigem modelos de nuvens realistas, de alta resolução e capazes de prever o tempo em curtos horizontes (5–15 minutos) para decisões em tempo real.

No entanto, os conjuntos de dados existentes de câmeras de céu inteiro (all-sky) apresentam limitações críticas:

• Cobertura temporal curta: A maioria cobre apenas meses, impedindo a modelagem sazonal.
• Viés diurno: Poucos dados noturnos, essenciais para a astronomia.
• Falta de calibração astrométrica: Dificuldade em mapear pixels para coordenadas de altitude e azimute (Alt-Az), necessárias para alinhar com os programadores de telescópios.
• Máscaras manuais não escaláveis: Anotações que não cobrem a complexidade do mundo real ou que são inconsistentes.

2. Metodologia e o Conjunto de Dados (LenghuSky-8)

A. Coleta de Dados:

• Localização: Observatório de Lenghu, Qinghai, China (um dos melhores locais astronômicos do mundo).
• Período: 8 anos (2018–2025).
• Volume: 429.620 imagens de 512×512 pixels (derivadas de imagens brutas de 4000×6000).
• Cobertura: 81,2% das imagens são noturnas. A taxa de captura varia de 5 minutos (noite) a 20 minutos (dia).
• Divisão: O dataset é dividido em duas partes devido a mudanças no equipamento e limpeza da lente (Parte I: antes de setembro de 2023; Parte II: após).

B. Anotação e Segmentação:

• Classes: O dataset utiliza três classes: Céu (limpo), Nuvem (qualquer região inadequada para observação, incluindo nuvens finas) e Contaminação (áreas ambíguas como neve, orvalho, saturação de luz ou poeira).
• Estratégia de Rótulo: Apenas regiões de alta confiança são anotadas manualmente (1.111 imagens) para evitar viés em bordas difusas.
• Método de Segmentação: Utiliza-se o modelo DINOv3 (ViT-L/16). Em vez de treinar uma rede do zero, aplica-se uma sonda linear (linear probe) nos features locais (local features) do DINOv3.
  • Resultado: A sonda linear alcançou uma precisão geral de 93,3% ± 1,1% no conjunto de teste balanceado.
  • Comparação: Métodos baseados em features globais (CLS token) ou arquiteturas tradicionais (U-Net, CloudSegNet, SegMAN) tiveram desempenho inferior ou estatisticamente equivalente, mas com maior complexidade.

C. Calibração Astrométrica (Alt-Az):

• Desafio: Lentes fisheye introduzem distorções severas que tornam ferramentas padrão (como Astrometry.net) ineficazes diretamente.
• Solução:
  1. Uso de campos estelares noturnos para calibração.
  2. Divisão da imagem em patches HEALPix.
  3. Aplicação de transformações de rotação para minimizar a distorção local em cada patch.
  4. Uso de um modelo de projeção ortográfica para interpolar patches não resolvidos.
• Precisão: Incerteza de calibração de ≈0,37° no zênite e ≈1,34° a 30° de altitude. Isso é suficiente para integração com programadores de telescópios modernos.

D. Benchmark de Nowcasting (Previsão de Curto Prazo):

• Tarefa: Prever a segmentação da próxima frame (logits de 3 classes) baseada nas $n$ frames anteriores.
• Baselines Testados:
  1. Trivial: Copiar a última frame (persistência).
  2. Fluxo Óptico: Extrapolando movimento (Farneback).
  3. ConvLSTM: Rede recorrente convolucional.
  4. VideoGPT: Modelo generativo baseado em VQ-VAE e Transformer.
• Resultados: O ConvLSTM obteve o melhor desempenho, mas com ganhos marginais sobre a linha de base trivial (persistência). Isso sugere que a evolução de nuvens em curtíssimo prazo é extremamente difícil de prever com modelos atuais, sendo a persistência muitas vezes a melhor aposta. O VideoGPT teve o pior desempenho.

3. Principais Contribuições

1. Dataset LenghuSky-8: O maior e mais longo conjunto de dados de céu inteiro (8 anos) com cobertura noturna significativa, anotações de nuvens sensíveis a estrelas e calibração geoespacial (Alt-Az) por pixel.
2. Ferramentas de Processamento:
   • Um segmentador baseado em linear probe do DINOv3, eficiente e robusto para câmeras de céu inteiro.
   • Um calibrador astrométrico baseado em campos estelares para câmeras fisheye.
   • Um toolkit de código aberto para carregamento, avaliação e geração de mapas Alt-Az.
3. Benchmark de Nowcasting: Estabelecimento de uma linha de base rigorosa para previsão de nuvens, demonstrando a dificuldade atual do estado da arte em superar a simples persistência em horizontes de 5-15 minutos.

4. Resultados Chave

• Segmentação: Precisão de 93,3% com o modelo DINOv3 + sonda linear.
• Calibração: Erro médio de 0,37° no zênite, permitindo mapeamento preciso para coordenadas de telescópio.
• Nowcasting:
  • A linha de base trivial (copiar a última frame) atingiu 88,8% de precisão.
  • O ConvLSTM atingiu 89,0%, mostrando que modelos complexos de aprendizado de máquina ainda lutam para capturar a dinâmica rápida de nuvens além da persistência imediata.
  • O VideoGPT falhou em superar as abordagens mais simples, indicando desafios na modelagem de evolução temporal de nuvens com dados limitados.

5. Significado e Impacto

O trabalho preenche uma lacuna crítica na astronomia observacional e na meteorologia de superfície.

• Para Astronomia: Permite a criação de programadores de telescópios autônomos e inteligentes que podem reagir a mudanças de nuvens em tempo real, otimizando o tempo de observação de grandes projetos como o LSST (Rubin Observatory).
• Para IA/Visão Computacional: Demonstra o poder de modelos pré-treinados auto-supervisionados (como DINOv3) em tarefas de segmentação específica de domínio, mesmo com poucos dados anotados.
• Para Pesquisa Futura: O dataset serve como um benchmark padrão para o desenvolvimento de algoritmos de nowcasting mais avançados, possivelmente incorporando restrições físicas (como conservação de massa) para melhorar a previsão além da simples persistência.

O código, dados e documentação estão disponíveis publicamente no repositório GitHub do projeto.