Contrastive Heliophysical Image Pretraining for Solar Dynamics Observatory Records

1. Formulação do Problema

A aprendizagem profunda transformou a análise de imagens solares, mas as abordagens atuais enfrentam limitações significativas quando aplicadas a dados do Observatório de Dinâmica Solar (SDO):

• Falta de Backbones Específicos do Domínio: A maioria dos modelos treina codificadores específicos da tarefa do zero ou depende de pré-treinamento com imagens naturais (por exemplo, ImageNet), o que falha em capturar as características físicas únicas dos dados solares.
• Desafios Únicos dos Dados: Os dados do SDO apresentam três desafios específicos que o pré-treinamento com imagens naturais não aborda:
  1. Sensoriamento Multimodal: Os dados provêm de múltiplos instrumentos (AIA e HMI) observando diferentes fenômenos físicos (temperatura/altura versus campos magnéticos) que não estão alinhados em pixel, mas são fisicamente correlacionados.
  2. Baixa Separabilidade Interclasse: A evolução solar é lenta; imagens consecutivas frequentemente parecem traduções rígidas do disco, tornando difícil distinguir entre diferentes passos de tempo ou classes de eventos com base apenas na morfologia global.
  3. Alta Variabilidade Intraclasse e Esparsidade: A atividade relevante (erupções, flares) é esparsa e localizada, enquanto a maioria da imagem é um fundo de baixo contraste. Modelos padrão frequentemente falham em extrair características de alta granularidade desses sinais esparsos.

2. Metodologia: SolarCHIP

Os autores propõem o SolarCHIP, uma família de backbones visuais pré-treinados contrastivamente projetados especificamente para dados do SDO. O framework emprega uma estratégia de pré-treinamento contrastivo multigranular que alinha características através de modalidades (AIA e HMI) e escalas (global e local).

A. Pré-processamento de Dados

• Entrada: Imagens do SDO (HMI e 10 bandas de passagem AIA) são reduzidas para $1024 \times 1024$.
• Normalização: Aplica-se uma transformação logarítmica com sinal para lidar com a distribuição de cauda pesada da atividade solar (eventos raros de alta magnitude versus fundo tranquilo).
• Aumento de Dados: Transformações geométricas (rotação, inversão) são aplicadas sincronamente em todas as modalidades para preservar o registro comum, evitando distorções fotométricas como jitter de cor.

B. Arquitetura

O framework utiliza uma arquitetura de Autoencoder (suportando backbones tanto de CNN quanto de Vision Transformer) consistindo em:

• Codificadores: Codificadores específicos da modalidade extraem sequências de tokens (token de classe + tokens de patch).
• Decodificadores: Reconstroem as imagens de entrada para preservar detalhes espaciais e fotométricos de alta granularidade.
• Projeções: Cabeças lineares separadas projetam tokens de classe e tokens de patch para aprendizagem contrastiva.

C. Objetivos Contrastivos Multigranulares

A inovação central é uma função de perda conjunta combinando três componentes contrastivos:

1. Alinhamento Global Nível de Classe (Indexado por Tempo):
   • Alinha os tokens globais [CLS] de pares AIA-HMI co-temporais.
   • Objetivo: Impor discriminação temporal. Imagens do mesmo tempo são aproximadas; imagens de tempos diferentes são afastadas.
2. Alinhamento Local Nível de Patch (Consciente de Posição):
   • Alinha tokens de patch no mesmo índice espacial fixo através de pares AIA-HMI co-temporais.
   • Objetivo: Impor características invariantes à modalidade em locais específicos (por exemplo, um patch de campo magnético no HMI corresponde a um patch específico de EUV no AIA).
3. Discriminação Espacial Intra-Amostra:
   • Trata patches em diferentes índices espaciais dentro da mesma imagem como classes distintas.
   • Objetivo: Prevenir o colapso de características em regiões inativas. Ao usar outros patches na mesma imagem como "negativos difíceis", o modelo é forçado a aprender características discriminativas tanto para regiões ativas quanto tranquilas, não dependendo apenas de pistas de cena global.

Perda Total: $L = L_{rec} + \lambda_1 L_{cls} + \lambda_2 L_{pat} + \lambda_3 L_{int}$

3. Contribuições Principais

1. Framework SolarCHIP: A primeira família publicamente lançada de backbones visuais pré-treinados adaptados especificamente para dados multi-instrumento do SDO, incluindo pesos e código de treinamento.
2. Objetivo de Pré-treinamento Novel: Um framework contrastivo unificado e multigranular que alinha conjuntamente tokens globais (indexados por tempo) e locais (conscientes de posição) através de modalidades, abordando a esparsidade e a baixa separabilidade dos dados solares.
3. Avaliação Abrangente: Demonstrou desempenho de última geração (SOTA) em duas tarefas downstream distintas:
   • Tradução Cross-modal: Geração de imagens AIA a partir de HMI (e vice-versa) usando ControlNet.
   • Classificação de Flares: Reconhecimento de flares solares de disco completo (classes A, B, C, M, X).

4. Resultados Experimentais

• Tradução Cross-modal: O SolarCHIP alcançou desempenho SOTA na tradução entre bandas de passagem HMI e AIA. Visualizações mostram alta fidelidade na preservação de estruturas físicas (por exemplo, jatos coronais) e direções de campo magnético, superando baselines padrão e métodos de tradução SOTA (medidos por MSE, PSNR, SSIM).
• Classificação de Flares: O modelo superou significativamente baselines específicos da tarefa e modelos inicializados com ImageNet na classificação de níveis de flare de disco completo.
• Aprendizagem Few-Shot (Baixo Recurso): Em cenários com dados rotulados limitados (até 5% do conjunto de treinamento), modelos pré-treinados com SolarCHIP mantiveram desempenho robusto, enquanto modelos treinados do zero sofreram degradação severa. Isso destaca a eficiência da estratégia de pré-treinamento na redução dos requisitos de rótulos.
• Estudos de Ablação: Confirmou que todos os três componentes contrastivos (Classe, Patch, Intra-amostra) são essenciais. A remoção de qualquer componente único levou a uma queda mensurável no desempenho downstream, provando que alinhamento global, consistência local e discriminação intra-amostra são todos necessários para uma representação ótima.

5. Significado e Impacto

• Padronização: O SolarCHIP fornece um extrator de características "plug-and-play" para a comunidade de heliofísica, padronizando representações e reduzindo a necessidade de treinar modelos do zero para cada nova tarefa.
• Eficiência: Reduz drasticamente os requisitos computacionais e de dados, permitindo sistemas de IA precisos mesmo quando dados solares rotulados são escassos.
• Fundação para Trabalhos Futuros: Ao liberar pesos pré-treinados, os autores permitem o desenvolvimento de modelos de fundação mais complexos para a ciência solar, incluindo síntese de atividade de longo prazo e previsão aprimorada de clima espacial para proteção de satélites e redes elétricas.
• Insight Científico: A abordagem conecta com sucesso a lacuna entre modalidades físicas distintas (campos magnéticos versus emissões térmicas), provando que a aprendizagem contrastiva pode capturar a topologia física subjacente dos fenômenos solares melhor do que o pré-treinamento genérico com imagens naturais.