Contrastive Heliophysical Image Pretraining for Solar Dynamics Observatory Records

1. Enunciato del Problema

L'apprendimento profondo ha trasformato l'analisi delle immagini solari, ma gli approcci attuali affrontano limitazioni significative quando applicati ai dati del Solar Dynamics Observatory (SDO):

• Mancanza di Backbone Specifici per il Dominio: La maggior parte dei modelli addestra encoder specifici per il compito da zero o si basa su pre-addestramento con immagini naturali (ad es. ImageNet), il che non riesce a catturare le caratteristiche fisiche uniche dei dati solari.
• Sfide Uniche dei Dati: I dati SDO presentano tre sfide specifiche che il pre-addestramento su immagini naturali non affronta:
  1. Rilevamento Multimodale: I dati provengono da più strumenti (AIA e HMI) che osservano fenomeni fisici diversi (temperatura/altezza rispetto ai campi magnetici) che non appaiono allineati a livello di pixel ma sono fisicamente correlati.
  2. Scarsa Separabilità Inter-classe: L'evoluzione solare è lenta; le immagini consecutive spesso sembrano traslazioni rigide del disco, rendendo difficile distinguere tra diversi passaggi temporali o classi di eventi basandosi solo sulla morfologia globale.
  3. Forte Variabilità Intra-classe e Sparsità: L'attività rilevante (brillamenti, eruzioni) è sparsa e localizzata, mentre la maggior parte dell'immagine è uno sfondo a basso contrasto. I modelli standard spesso non riescono a estrarre caratteristiche fini da questi segnali sparsi.

2. Metodologia: SolarCHIP

Gli autori propongono SolarCHIP, una famiglia di backbone visivi pre-addestrati in modo contrastivo progettati specificamente per i dati SDO. Il framework impiega una strategia di pre-addestramento contrastivo multi-granularità che allinea le caratteristiche attraverso le modalità (AIA e HMI) e le scale (globale e locale).

A. Preprocessing dei Dati

• Input: Le immagini SDO (HMI e 10 bande passanti AIA) vengono ridimensionate a $1024 \times 1024$.
• Normalizzazione: Viene applicata una trasformazione logaritmica con segno per gestire la distribuzione a code pesanti dell'attività solare (eventi rari ad alta magnitudine rispetto allo sfondo tranquillo).
• Aumento dei Dati: Trasformazioni geometriche (rotazione, ribaltamento) vengono applicate sincronamente su tutte le modalità per preservare la co-registrazione, evitando distorsioni fotometriche come il jitter di colore.

B. Architettura

Il framework utilizza un'architettura Autoencoder (che supporta sia backbone CNN che Vision Transformer) composta da:

• Encoder: Encoder specifici per modalità estraggono sequenze di token (token di classe + token di patch).
• Decoder: Ricostruiscono le immagini in input per preservare dettagli spaziali e fotometrici fini.
• Proiezioni: Teste lineari separate proiettano i token di classe e i token di patch per l'apprendimento contrastivo.

C. Obiettivi Contrastivi Multi-Granularità

L'innovazione principale è una funzione di perdita congiunta che combina tre componenti contrastive:

1. Allineamento Globale a Livello di Classe (Indice Temporale):
   • Allinea i token [CLS] globali delle coppie AIA-HMI co-temporali.
   • Obiettivo: Imporre la discriminazione temporale. Le immagini dello stesso momento vengono avvicinate; le immagini di momenti diversi vengono allontanate.
2. Allineamento Locale a Livello di Patch (Consapevole della Posizione):
   • Allinea i token di patch allo stesso indice spaziale fisso attraverso le coppie AIA-HMI co-temporali.
   • Obiettivo: Imporre caratteristiche invarianti alla modalità in posizioni specifiche (ad es., una patch di campo magnetico in HMI corrisponde a una specifica patch EUV in AIA).
3. Discriminazione Spaziale Intra-campione:
   • Tratta le patch a diversi indici spaziali all'interno della stessa immagine come classi distinte.
   • Obiettivo: Prevenire il collasso delle caratteristiche nelle regioni inattive. Utilizzando altre patch nella stessa immagine come "negativi difficili", il modello è costretto a imparare caratteristiche discriminative sia per le regioni attive che per quelle tranquille, non basandosi solo su indizi della scena globale.

Perdita Totale: $L = L_{rec} + \lambda_1 L_{cls} + \lambda_2 L_{pat} + \lambda_3 L_{int}$

3. Contributi Chiave

1. Framework SolarCHIP: La prima famiglia pubblicamente rilasciata di backbone visivi pre-addestrati su misura specificamente per i dati multi-strumento SDO, inclusi pesi e codice di addestramento.
2. Obiettivo di Pre-addestramento Innovativo: Un framework contrastivo unificato e multi-granularità che allinea congiuntamente token globali (indice temporale) e locali (consapevoli della posizione) attraverso le modalità, affrontando la sparsità e la debole separabilità dei dati solari.
3. Valutazione Completa: Ha dimostrato prestazioni all'avanguardia (SOTA) su due distinti compiti downstream:
   • Traduzione Cross-modale: Generazione di immagini AIA da HMI (e viceversa) utilizzando ControlNet.
   • Classificazione dei Brillamenti: Riconoscimento dei brillamenti solari a disco intero (classi A, B, C, M, X).

4. Risultati Sperimentali

• Traduzione Cross-modale: SolarCHIP ha raggiunto prestazioni SOTA nella traduzione tra le bande passanti HMI e AIA. Le visualizzazioni mostrano un'alta fedeltà nel preservare strutture fisiche (ad es. getti coronali) e direzioni del campo magnetico, superando i baselines standard e i metodi di traduzione SOTA (misurati tramite MSE, PSNR, SSIM).
• Classificazione dei Brillamenti: Il modello ha superato significativamente i baselines specifici per il compito e i modelli inizializzati con ImageNet nella classificazione dei livelli di brillamento a disco intero.
• Apprendimento Few-Shot (Bassa Risorse): In scenari con dati etichettati limitati (fino al 5% del set di addestramento), i modelli pre-addestrati con SolarCHIP hanno mantenuto prestazioni robuste, mentre i modelli addestrati da zero hanno subito un degrado severo. Ciò evidenzia l'efficienza della strategia di pre-addestramento nel ridurre i requisiti di etichettatura.
• Studi di Ablazione: Hanno confermato che tutti e tre i componenti contrastivi (Classe, Patch, Intra-campione) sono essenziali. La rimozione di qualsiasi singolo componente ha portato a un calo misurabile nelle prestazioni downstream, dimostrando che l'allineamento globale, la coerenza locale e la discriminazione intra-campione sono tutti necessari per una rappresentazione ottimale.

5. Significato e Impatto

• Standardizzazione: SolarCHIP fornisce un estrattore di caratteristiche "plug-and-play" per la comunità eliofisica, standardizzando le rappresentazioni e riducendo la necessità di addestrare modelli da zero per ogni nuovo compito.
• Efficienza: Riduce drasticamente i requisiti computazionali e di dati, consentendo sistemi AI accurati anche quando i dati solari etichettati sono scarsi.
• Fondamento per Lavori Futuri: Rilasciando pesi pre-addestrati, gli autori abilitano lo sviluppo di modelli fondazionali più complessi per la scienza solare, inclusa la sintesi di attività a lungo termine e il miglioramento delle previsioni meteorologiche spaziali per la protezione di satelliti e reti elettriche.
• Insight Scientifico: L'approccio colma con successo il divario tra modalità fisiche distinte (campi magnetici rispetto alle emissioni termiche), dimostrando che l'apprendimento contrastivo può catturare la topologia fisica sottostante dei fenomeni solari meglio del pre-addestramento generico su immagini naturali.