Domain-Informed Multi-View Self-Distillation for Astronomical Light-Curve Representation Learning with JEPA

Sintesi Tecnica: Apprendimento di Rappresentazioni di Curve di Luce Astronomiche tramite Auto-Distillazione Multi-Vista Informata dal Dominio con JEPA

Problema

Le curve di luce astronomiche, che descrivono le variazioni temporali della luminosità degli oggetti celesti, sono fondamentali per comprendere l'universo dinamico. Tuttavia, l'apprendimento di rappresentazioni globali robuste da queste serie temporali è complesso a causa di tre caratteristiche distinte che differiscono dai dati di serie temporali standard:

1. Campionamento Estremamente Irregolare: Le osservazioni da terra sono limitate alla notte, creando inevitabili lacune tra le notti e le stagioni, oltre a cadenze intra-notturne irregolari.
2. Rumore Complicato: Il rumore deriva da effetti quantistici, turbolenza atmosferica, meteo e strumentazione. Crucialmente, questo rumore è temporalmente correlato e, per sorgenti deboli, il rumore può superare il segnale stesso.
3. Ampio Range Dinamico di Scale Temporali: I fenomeni spaziano da minuti ad anni, e un singolo oggetto può esibire molteplici periodi di variazione.

I modelli di fondazione per serie temporali (TSFM) "off-the-shelf" esistenti, come le architetture basate su Transformer, spesso ottengono prestazioni scarse sulle curve di luce. I classici embedding temporali non riescono a catturare la densità di campionamento e l'addestramento auto-regressivo (es. stile GPT) tende a fare overfitting su sequenze ad alto rumore. Di conseguenza, questi modelli spesso non riescono a superare le caratteristiche artigianali (hand-crafted features) nei benchmark come StarEmbed.

Metodologia

Gli autori propongono un framework di Auto-Distillazione Multi-Vista Informata dal Dominio basato sulla Joint-Embedding Predictive Architecture (JEPA). L'innovazione principale risiede nel combinare bias induttivi specifici del dominio con una strategia di apprendimento multi-vista per gestire l'irregolarità e il rumore.

1. Architettura Multi-Vista
Il modello elabora tre viste distinte di ogni curva di luce, assumendo che condividano semantiche simili derivate dai dati grezzi:

• Sequenza Grezza ($T$): La serie temporale originale $\{(t_i, m_{t_i}, e_{t_i})\}$.
• Periodogramma di Lomb-Scargle Generalizzato (GLS) ($P$): Uno spettro di potenza utilizzato per estrarre la periodicità e diagnosticare target con molteplici modi di oscillazione.
• Curva di Luce Fase-Ripiegata ($T_p$): I dati grezzi ripiegati sul periodo dominante ($P_o$) per estrarre la morfologia delle variazioni periodiche.

2. Encoder Specializzati
Ogemma vista è elaborata da un encoder Transformer separato dotato di due componenti innovative:

• Continuous Rotary Positional Embedding (C-RoPE): A differenza degli embedding posizionali discreti, il C-RoPE mappa le coordinate temporali continue $t$ in rotazioni complesse nello spazio latente. Ciò assicura che il meccanismo di attenzione sia invariante agli spostamenti temporali assoluti e dipenda solo dagli intervalli relativi ($\Delta t$), accogliando spaziature temporali arbitrarie.
• Error-Aware Numeric Embedding (EANE): Invece di trattare le misurazioni come stime puntuali, l'EANE le modella come distribuzioni di probabilità $N(m_{t_i}, e_{t_i}^2)$. Calcola il vettore di embedding atteso integrando sulla PDF gaussiana dell'incertezza della misurazione, propagando l'informazione dell'errore attraverso la rete.

3. Obiettivo di Addestramento: LeJEPA
Il modello è addestrato utilizzando la regolarizzazione LeJEPA, una perdita di auto-distillazione multi-vista. L'obiettivo consiste in due termini:

• Perdita di Allineamento ($L_{inv}$): Minimizza la distanza tra gli embedding latenti delle tre viste e il loro centroide, garantendo la coerenza semantica tra le viste.
• Perdita di Regolarizzazione ($L_{SIGReg}$): Allinea la funzione caratteristica empirica delle feature proiettate con una distribuzione gaussiana standard. Questo ottimizza lo spazio latente per il linear probing e il k-NN basato su raggio.

Contributi Chiave

• Primo Modello di Deep Learning a Superare le Caratteristiche Artigianali: Il modello proposto è il primo modello di fondazione che supera le caratteristiche artigianali (basate su FATS) nel benchmark di classificazione StarEmbed su 15 dei 16 metriche.
• Nuovi Meccanismi di Embedding: Introduzione di C-RoPE per il campionamento irregolare e di EANE per l'incertezza di misurazione, affrontando specifiche caratteristiche dei dati astronomici che i modelli generici ignorano.
• Strategia Multi-Vista Informata dal Dominio: Dimostrazione che combinare le viste grezza, spettrale (GLS) e morfologica (fase-ripiegata) tramite auto-distillazione produce rappresentazioni superiori rispetto agli approcci a vista singola.
• Adattabilità Cross-Domain: Il framework mostra potenziale oltre l'astronomia, ottenendo risultati allo stato dell'arte (SOTA) o competitivi su 5 dei 12 dataset di serie temporali irregolari nel benchmark PYRREGULAR dopo l'adattamento del dominio.

Risultati Sperimentali

• Benchmark StarEmbed: Nel compito di classificazione, il modello completo ha ottenuto prestazioni superiori in 15/16 metriche rispetto alle caratteristiche artigianali e ad altri baseline (Chronos-2, Astromer-2, FALCO).
• Few-Shot Learning: Nel linear probing con dati limitati, il modello ha costantemente superato le caratteristiche artigianali. Con 1 campione per classe, ha raggiunto un macro-F1 di 42.56 ± 7.21, rispetto al 30.28 delle caratteristiche artigianali. Con 100 campioni per classe, ha raggiunto il 63.58 ± 1.20.
• Studi di Ablazione:
  • Rimuovere C-RoPE o EANE ha degradato le prestazioni, confermando la necessità di gestire il tempo irregolare e l'incertezza.
  • Rimuovere una qualsiasi delle tre viste (Grezza, GLS, Fase-Ripiegata) ha ridotto l'accuratezza, validando l'approccio multi-vista.
  • L'uso della standard CLIP loss invece di LeJEPA ha portato a prestazioni inferiori.
• Applicazioni:
  • Ricerca di Similarità: Ha recuperato con successo curve di luce della stessa classe (es. variabili RRc) basandosi sulla distanza L2 nello spazio degli embedding.
  • Stima dei Parametri: I linear probe sugli embedding hanno recuperato con successo il periodo e l'ampiezza di segnali sinusoidali ($R^2 \approx 0.81$ e $0.99$), sebbene la fase non sia stata recuperata a causa dell'invarianza per traslazione temporale del modello.
  • Rilevamento del Drift: Il modello ha rilevato efficacementamente i drift del punto zero fotometrico, con EANE e input multi-vista che migliorano il rilevamento di piccoli drift.

Significatività e Rivendicazioni

L'articolo sostiene che l'apprendimento di rappresentazioni di serie temporali di successo richiede bias induttivi specifici del dominio piuttosto che un'architettura universalmente ottimale. Gli autori affermano che i modelli "off-the-shelf" falliscono perché mancano dei priori specifici necessari per i dati astronomici (es. invarianza per traslazione temporale, propagazione dell'incertezza ed estrazione della periodicità).

Integrando la conoscenza del dominio (GLS, fase-ripiegamento) direttamente nell'architettura e nell'obiettivo di addestramento, il metodo proposto colma il divario tra l'ingegneria delle caratteristiche artigianali e il deep learning. I risultati suggeriscono che, sebbene le viste specifiche (GLS/Fase-Ripiegata) siano difficili da sostituire con moduli apprendibili per le curve di luce a causa della natura non differenziabile delle frequenze di Nyquist nel campionamento irregolare, la strategia di auto-distillazione multi-vista è una strategia trasferibile. Gli autori concludono che per altri domini, un successo simile richiede di adattare le viste e gli encoder alla dinamica sottostante specifica di quel dominio di serie temporali.