StarEmbed: Benchmarking Time Series Foundation Models on Astronomical Observations of Variable Stars

1. Il Problema

I modelli fondazione per serie temporali (TSFM, Time Series Foundation Models) come Moirai, Chronos e Chronos-Bolt stanno guadagnando popolarità grazie alle loro capacità di apprendimento di rappresentazioni generiche su dati commerciali, finanziari e di traffico. Tuttavia, questi modelli non sono stati addestrati su dati astronomici.

Le serie temporali astronomiche (curve di luce delle stelle) presentano sfide uniche rispetto ai dataset standard utilizzati per il pre-addestramento dei TSFM:

• Campionamento irregolare: Le osservazioni non avvengono a intervalli di tempo costanti a causa dei cicli giorno/notte e delle condizioni meteorologiche.
• Eteroschedasticità: L'incertezza sulle misurazioni di luminosità varia significativamente da punto a punto.
• Multivariabilità: Le osservazioni avvengono in diverse bande spettrali (passband), fornendo informazioni su "colore" e luminosità.
• Mancanza di benchmark: Non esisteva un benchmark standardizzato per valutare la capacità di generalizzazione "zero-shot" (senza ri-addestramento) dei TSFM su dati astronomici reali.

2. Metodologia

Gli autori hanno introdotto StarEmbed, il primo benchmark pubblico per la valutazione rigorosa dei TSFM sulle osservazioni stellari.

• Dataset:

  • Utilizzo dei dati del Zwicky Transient Facility (ZTF) (Release 23), che copre circa 6,5 anni di osservazioni.
  • Integrazione con il catalogo CSPVS (Catalina Surveys Periodic Variable Star Catalog), che fornisce etichette verificate da esperti.
  • Il dataset finale comprende circa 40.000 curve di luce multivariata (bande g e r) etichettate in 7 classi astrofisiche: EW, EA, RRab, RRc, RRd, RS CVn e LPV.
  • Il dataset è suddiviso in set di training, validazione e test con un rapporto 7:1:2.

• Modelli Valutati:

  • TSFM Generici: Moirai-small, Chronos-tiny, Chronos-Bolt-tiny.
  • Modello Specifico per il Dominio: Astromer (una variante transformer pre-addestrata su dati astronomici, Astromer-1 e Astromer-2).
  • Baseline: Estrazione di caratteristiche manuali (hand-crafted features) utilizzando le librerie FATS e light_curve (69 feature per banda, per un totale di 138 feature), che rappresentano lo stato dell'arte (SOTA) nella letteratura astrofisica.
  • Baseline di Controllo: Embedding casuali.

• Compiti di Valutazione:

  1. Clustering Non Supervisionato: Valutazione della struttura intrinseca degli embedding tramite K-means e clustering gerarchico (Ward), misurata con NMI, ARI e Macro-F1.
  2. Classificazione Supervisionata: Addestramento di classificatori semplici (k-NN, regressione logistica, Random Forest, MLP) sugli embedding fissi (senza fine-tuning del modello fondazione) per prevedere la classe stellare.
  3. Rilevamento di Fonti Out-of-Distribution (OOD): Identificazione di stelle rare o anomale non presenti nel set di training, utilizzando un algoritmo di "Isolation Forest" multi-classe.

3. Contributi Chiave

1. StarEmbed Benchmark: Introduzione del primo benchmark standardizzato per TSFM su curve di luce stellari irregolari ed eteroschedastiche.
2. Dataset Curato: Creazione e rilascio pubblico di ~40k curve di luce etichettate da esperti con split fissi, disponibili su Hugging Face.
3. Valutazione Zero-Shot: Dimostrazione delle capacità di generalizzazione di modelli pre-addestrati su dati non astronomici in un dominio scientifico complesso.
4. Rilascio Completo: Pubblicazione di codice, dati, embedding e documentazione per garantire riproducibilità e confronto equo.

4. Risultati Principali

• Clustering Non Supervisionato:

  • I modelli Chronos (in particolare Chronos-tiny) hanno ottenuto le prestazioni migliori tra i TSFM, superando Moirai e Astromer.
  • Tuttavia, le feature manuali hanno mantenuto la superiorità complessiva, suggerendo che l'informazione fisica estratta manualmente (come il periodo) è ancora cruciale.
  • Astromer ha mostrato prestazioni deludenti in modalità zero-shot, con embedding che tendevano a collassare in direzioni simili, perdendo la struttura discriminativa.

• Classificazione Supervisionata:

  • Le feature manuali rimangono lo stato dell'arte (F1 score di ~0.804 con Random Forest).
  • Chronos-tiny si è posizionato al secondo posto, superando Moirai e Astromer, dimostrando che i TSFM generici possono estrarre informazioni utili per la classificazione senza adattamento specifico.
  • L'analisi di importanza delle feature ha confermato che il periodo di variabilità è la caratteristica più determinante per le feature manuali, un'informazione che i TSFM faticano a catturare appieno a causa del campionamento irregolare.

• Rilevamento Out-of-Distribution (OOD):

  • Chronos-Bolt-tiny ha ottenuto prestazioni eccezionali, superando di gran lunga le feature manuali e tutti gli altri modelli.
  • È stato in grado di isolare quasi il 50% delle fonti OOD analizzando solo il 10% dei dati, un miglioramento di efficienza di 5 volte rispetto agli embedding casuali. Questo suggerisce che l'architettura di Chronos-Bolt è meno sensibile alle variazioni a livello di singolo passo temporale, creando una varietà di inlier più stretta e distanze maggiori per le morfologie rare.

• Limiti:

  • L'analisi visiva (UMAP) e la regressione del periodo hanno rivelato che i TSFM attuali faticano a gestire il campionamento irregolare, producendo una visione "distorta" della serie temporale che perde informazioni critiche come il periodo esatto.

5. Significato e Implicazioni

Il lavoro di StarEmbed segna un potenziale cambiamento di paradigma nell'astronomia temporale:

• Transizione verso Modelli Generici: I risultati indicano che è possibile passare da pipeline completamente supervisionate e specifiche per il compito a rappresentazioni generiche basate su modelli fondazione, seguite da "testine" (heads) leggere per compiti specifici.
• Scalabilità: Questo approccio è essenziale per gestire i prossimi dati su scala petabyte provenienti da osservatori come il Vera C. Rubin Observatory (LSST), che produrranno miliardi di curve di luce.
• Collaborazione Interdisciplinare: Il benchmark funge da ponte tra l'astronomia e il campo dell'IA per le serie temporali, offrendo dati reali complessi per spingere i limiti della generalizzazione dei modelli AI.
• Sviluppi Futuri: Il paper suggerisce che per migliorare ulteriormente le prestazioni, i futuri TSFM dovranno incorporare meccanismi architetturali specifici per il campionamento irregolare e includere dati astronomici nei loro corpus di pre-addestramento.

In sintesi, StarEmbed dimostra che i modelli fondazione generici hanno un potenziale significativo per l'astrofisica, specialmente nel rilevamento di anomalie, ma che l'integrazione della conoscenza di dominio (come l'estrazione manuale del periodo) rimane ancora superiore per compiti di classificazione fine.