ASTRAFier: A Novel and Scalable Transformer-based Stellar Variability Classifier

Titolo: ASTRAFier: Un Classificatore di Variabilità Stellare Basato su Transformer, Innovativo e Scalabile

1. Il Problema

Le missioni spaziali come Kepler e TESS (Transiting Exoplanet Survey Satellite) hanno generato milioni di curve di luce che coprono quasi l'intero cielo, offrendo opportunità senza precedenti per lo studio della variabilità stellare. Tuttavia, la scala massiccia di questi dati rende impossibile l'analisi manuale.
I metodi tradizionali di classificazione si basavano spesso sull'ingegneria delle caratteristiche (feature engineering), dove le curve di luce venivano trasformate in vettori di caratteristiche statistiche (momenti, periodogrammi di Lomb-Scargle, entropia) prima di essere alimentate a modelli di machine learning (es. Random Forest, CNN). Questo approccio presenta limiti:

• Richiede un pre-processing manuale complesso.
• Può perdere informazioni temporali sottili o pattern non lineari complessi.
• Non scala efficientemente con l'aumento esponenziale dei dati.

L'obiettivo è sviluppare un framework end-to-end che possa elaborare direttamente le serie temporali grezze, eliminando la necessità di estrazione manuale delle caratteristiche, mantenendo alta accuratezza e scalabilità.

2. Metodologia: L'Architettura ASTRAFier

Gli autori presentano ASTRAFier (Astronomical Sequence TRansformer-based vAriability classifier), un modello ibrido di deep learning che integra tre componenti principali per sfruttare i loro vantaggi complementari:

1. BiLSTM (Bidirectional Long Short-Term Memory): Gestisce la memoria sequenziale e le dipendenze a lungo termine, processando la serie temporale in entrambe le direzioni (passato e futuro).
2. Transformer (con Self-Attention): Utilizza il meccanismo di attenzione multi-testa (Multi-Head Self-Attention) per catturare il contesto globale e le correlazioni tra punti temporali distanti, superando i limiti delle RNN tradizionali.
3. CNN (Convolutional Neural Networks): Utilizza convoluzioni 1D per estrarre caratteristiche locali e pattern temporali specifici.

Dettagli Architetturali Chiave:

• Input: Il modello opera direttamente sulle curve di luce grezze (flussi scalari) senza feature engineering.
• Codifica Posizionale Adattiva: Poiché le serie temporali astronomiche hanno spesso lacune (gap) e non sono uniformemente spaziate, ASTRAFier utilizza una codifica posizionale sinusoidale derivata direttamente dai timestamp di osservazione, anziché indici interi, per preservare la vera spaziatura temporale.
• Gestione delle Lunghezze Variabili: Le curve di luce hanno durate diverse. Il modello utilizza maschere binarie per ignorare i valori di padding durante il calcolo dell'attenzione e la media globale, evitando che i dati fittizi influenzino l'output.
• Struttura Ibrida: L'input viene elaborato attraverso blocchi sequenziali che contengono un modulo BiLSTM (con proiezione CNN per ridurre la dimensionalità), un Encoder Transformer (con feed-forward convoluzionale) e un modulo CNN finale con kernel multi-scala (3, 7, 15, 111) per catturare trend sia locali che globali.
• Output: Un classificatore MLP (Multi-Layer Perceptron) con funzione di attivazione softmax per assegnare le probabilità di appartenenza alle classi.

3. Contributi Chiave

• Architettura End-to-End: Eliminazione completa della fase di feature engineering manuale, permettendo al modello di apprendere direttamente dai dati grezzi.
• Scalabilità: Capacità di processare milioni di curve di luce in tempi ragionevoli (circa 8 ore per 1 milione di curve su due GPU H200).
• Adattamento ai Dati Astronomici: Implementazione specifica di codifiche posizionali basate sui timestamp reali e gestione robusta dei dati mancanti (gap) tipici delle osservazioni spaziali.
• Catalogo Pubblico: Rilascio di un catalogo di variabilità stellare derivante dall'applicazione del modello su ~2.8 milioni di curve di luce TESS.

4. Risultati

Il modello è stato addestrato e validato utilizzando curve di luce di Kepler e TESS (Settori 14, 15 e 26, sovrapposti al campo di vista di Kepler). Le classi target includono 8 categorie principali (es. binarie a eclisse, pulsatori, variabili rotazionali, ecc.) più una classe di "rifiuti/strumentali".

• Accuratezza su Kepler: Il modello ha raggiunto un'accuratezza del 94,26% sul set di validazione di Kepler, prestazioni paragonabili ai lavori precedenti (es. Audenaert et al. 2021) ma con un'architettura più semplice e meno complessa computazionalmente.
• Accuratezza su TESS: Sul set di validazione TESS, l'accuratezza è stata dell'88,22%.
• Performance per Classe:
  • Eccellente recall (100%) per le binarie a eclisse (ECLIPSE).
  • Buona performance per i pulsatori δ Scuti/β Cephei (DSCT BCEP) e RR Lyrae/Cepheid (RRLYR CEPH).
  • Le classi più difficili da distinguere sono state le variabili rotazionali a contatto (CONTACT ROT) e le variabili aperiodiche (APERIODIC), a causa della sovrapposizione nei periodi di rotazione e della mancanza di periodicità chiara nelle curve di luce di un singolo settore TESS.
• Studio di Ablazione: La rimozione di uno dei tre moduli principali (BiLSTM, Transformer o CNN) ha portato a un calo delle prestazioni, confermando che ogni componente contribuisce in modo significativo e complementare.
• Scalabilità con i Dati: L'aggiunta dei dati di Kepler al set di addestramento TESS ha migliorato le prestazioni complessive (guadagno di +1.04 nel macro-F1), dimostrando che il modello scala bene con l'aumento dei dati di addestramento.

5. Significato e Implicazioni

• Efficienza Operativa: ASTRAFier permette di classificare milioni di stelle in tempi brevi, rendendo fattibile l'analisi completa dei dati di missioni come TESS e future missioni come PLATO (previsto lancio 2027).
• Flessibilità: Essendo basato su apprendimento profondo senza feature engineering, il modello può essere riaddestrato più facilmente per rilevare nuovi tipi di variabilità non previsti inizialmente.
• Catalogo di Variabili: Gli autori hanno classificato ~2.8 milioni di curve di luce TESS, producendo un catalogo di candidati variabili. L'analisi di questo catalogo ha rivelato alcune ambiguità (es. confusione tra oscillatori solari e pulsatori g-mode su certe regioni del diagramma H-R), suggerendo l'uso di soglie di probabilità più conservative (0.75-0.8) per applicazioni scientifiche rigorose.
• Futuro: Il lavoro getta le basi per lo sviluppo di "Foundation Models" per l'astrofisica, potenzialmente estendibili a compiti non supervisionati, rilevamento di anomalie e stima dei parametri, sfruttando anche dati non etichettati tramite apprendimento auto-supervisionato.

In sintesi, ASTRAFier rappresenta un passo avanti significativo nell'automazione dell'analisi della variabilità stellare, combinando la potenza dei Transformer con l'efficienza delle CNN e delle LSTM per gestire la complessità e la scala dei dati astronomici moderni.